Ya sea a través del rostro fruncido de alta definición de un chimpancé o de un doble psicodélico de sí mismo en tonos rosas y rojos , Reuven Cohen utiliza imágenes generadas por IA para captar la atención de la gente. "Siempre me han interesado el arte, el diseño y el vídeo, y disfruto traspasar los límites", dice, pero el consultor con sede en Toronto, que ayuda a las empresas a desarrollar herramientas de inteligencia artificial, también espera crear conciencia sobre los usos más oscuros de la tecnología.
"También se le puede entrenar específicamente para que sea bastante espantoso y malo en una gran variedad de formas", dice Cohen. Es un fanático de la experimentación libre que ha sido desatada por la tecnología de generación de imágenes de código abierto. Pero esa misma libertad permite la creación de imágenes explícitas de mujeres utilizadas para acosar.
Después de que imágenes no consensuadas de Taylor Swift se difundieran recientemente en X , Microsoft agregó nuevos controles a su generador de imágenes. Los modelos de código abierto pueden ser utilizados por casi cualquier persona y, por lo general, no tienen barreras de seguridad. A pesar de los esfuerzos de algunos miembros esperanzados de la comunidad para disuadir los usos explotadores, el código abierto gratuito para todos es casi imposible de controlar, dicen los expertos.
“El código abierto ha impulsado el abuso de imágenes falsas y la pornografía no consensuada. Es imposible endulzarlo o calificarlo”, afirma Henry Ajder , que ha pasado años investigando el uso nocivo de la IA generativa.
Ajder dice que, al mismo tiempo que se está convirtiendo en el favorito de investigadores, creativos como Cohen y académicos que trabajan en inteligencia artificial, el software de generación de imágenes de código abierto se ha convertido en la base del porno deepfake. Algunas herramientas basadas en algoritmos de código abierto están diseñadas específicamente para usos lascivos o acosadores, como aplicaciones de “desnudez” que eliminan digitalmente la ropa de las mujeres en imágenes.
Pero muchas herramientas pueden servir tanto para casos de uso legítimos como para casos de acoso. Un popular programa de intercambio de rostros de código abierto es utilizado por personas de la industria del entretenimiento y como la “herramienta elegida por los malos actores” que hacen deepfakes no consensuados, dice Ajder. Se afirma que el generador de imágenes de alta resolución Stable Diffusion, desarrollado por la startup Stability AI, tiene más de 10 millones de usuarios y tiene barreras de seguridad instaladas para evitar la creación explícita de imágenes y políticas que prohíben el uso malicioso. Pero la compañía también abrió una versión del generador de imágenes en 2022 que es personalizable, y las guías en línea explican cómo evitar sus limitaciones integradas.
4chan, el sitio de foros de mensajes basado en imágenes con reputación de moderación caótica , alberga páginas dedicadas a pornografía deepfake no consensuada, según descubrió WIRED, creada con programas disponibles abiertamente y modelos de inteligencia artificial dedicados exclusivamente a imágenes sexuales. Los foros de mensajes de imágenes para adultos están llenos de desnudos no consensuales de mujeres reales generados por IA, desde artistas porno hasta actrices como Cate Blanchett. WIRED también observó a los usuarios de 4chan compartir soluciones para imágenes NSFW utilizando Dall-E 3 de OpenAI.
Ese tipo de actividad ha inspirado a algunos usuarios de comunidades dedicadas a la creación de imágenes mediante IA, incluidas Reddit y Discord, a intentar luchar contra el mar de imágenes pornográficas y maliciosas. Los creadores también expresan su preocupación de que el software gane reputación por sus imágenes NSFW, animando a otros a denunciar imágenes que representan a menores en Reddit y sitios de alojamiento de modelos.
Otros creadores de IA, incluido Cohen, también están preocupados por la facilidad de crear deepfakes con un nuevo método, InstantID, publicado en enero por investigadores de la Universidad de Pekín y la empresa china de redes sociales Xiaohongshu, que puede usarse para intercambiar caras en imágenes usando solo un único ejemplo, por lo que necesita menos procesamiento o preparación. El equipo expresó preocupación por el potencial de su creación para crear "imágenes ofensivas o culturalmente inapropiadas" con rostros humanos en su artículo que presenta el modelo , pero un canal de YouTube con más de 143.000 suscriptores que publica tutoriales de IA promueve la técnica como permitiendo "rostros de código abierto sin censura". Clonación”.
“Si quisieras crear una imitación de alguien en una posición comprometida”, dice Cohen, “esto lo hace simple y fácil. Esto podría [eventualmente] conectarse a un navegador y ahora puede tenerlo sin gastos generales, lo que lo hizo accesible para todos”.
Algunos creadores de herramientas y software están desalentando el uso malicioso. Cuando David Widder, investigador de ética de la IA y becario postdoctoral en Cornell Tech, entrevistó a las personas detrás de una herramienta de código abierto para deepfake, dejaron claro que no querían que su software se utilizara para pornografía de ningún tipo, consensual o no. Sin embargo, se sentían impotentes para hacer que la gente respetara ese deseo. "No sienten que puedan hacer nada para detenerlo", dice Widder.
Otros creadores de IA de código abierto están creando obstáculos para casos de uso no deseados. Los investigadores de Hugging Face, una comunidad y plataforma en línea para modelos de código abierto , han estado promoviendo herramientas éticas para la IA, incluida la "protección" de imágenes, que, según dicen, protege las imágenes de la edición generativa de la IA, además de permitir a los desarrolladores controlar el acceso a los modelos cargados. a la plataforma. Civitai dice que prohíbe representaciones de personas reales, así como de menores, en un “contexto maduro”, y en diciembre alentó a denunciar violaciones . Sin embargo, los usuarios piden abiertamente a otros en el sitio que creen imágenes no consensuadas, en su mayoría de mujeres, informó 404 Media en noviembre.
Un portavoz de Civitai proporcionó una declaración de la compañía diciendo que las imágenes marcadas como que potencialmente cumplen con la definición de contenido para adultos del sitio por su sistema de moderación se envían para revisión humana. Las violaciones de las políticas de la empresa pueden resultar en la eliminación de imágenes, la suspensión del acceso al generador de imágenes en el sitio de Civitai o la prohibición de acceder a la plataforma. Las personas reales que aparecen en modelos también pueden enviar a Civitai una solicitud de eliminación .
Las “soluciones tecnológicas”, como la limitación de la liberación y la concesión de licencias de código abierto, y las obligaciones contractuales para las plataformas comerciales, podrían no detener todos los usos indebidos, pero podrían detener algunos, dice Widder. E incluso si los miembros individuales de la comunidad pudieran sentir que no pueden marcar la diferencia, los esfuerzos de base también podrían ser una fuente eficaz de cambio. "Establecer normas en una comunidad es una forma infravalorada y a menudo poderosa de influir en el comportamiento y en lo que se considera aceptable, bueno y no bueno", dice Widder.
Compartir imágenes íntimas generadas por IA sin consentimiento fue declarado ilegal en el Reino Unido en virtud de una legislación de seguridad en línea promulgada en enero, y el escándalo Swift ha añadido nuevo combustible a los pedidos de leyes federales similares en Estados Unidos. Al menos 10 estados tienen leyes relacionadas con los deepfakes. Las empresas tecnológicas y las plataformas sociales también están explorando las “marcas de agua” de IA en herramientas destacadas, mientras que las empresas tecnológicas firmaron un acuerdo para tomar medidas enérgicas contra la IA durante las elecciones, aunque no está claro cómo esto afectaría a las generaciones creadas utilizando modelos de nicho, en todo caso.
Elena Michael, directora de NotYourPorn , un grupo del Reino Unido que hace campaña contra el abuso sexual basado en imágenes, sugiere un mayor diálogo entre las nuevas empresas de inteligencia artificial, los desarrolladores de código abierto y los empresarios, así como con los gobiernos, las organizaciones de mujeres, los académicos y la sociedad civil, para explorar posibles elementos disuasorios del abuso sexual no consensual. Pornografía con IA que no obstaculiza el acceso a modelos de código abierto. "No hay suficiente conversación y no hay suficiente colaboración entre las instituciones que intentan abordar este problema", afirma.
Puede que no haya una manera de controlar completamente el problema, pero una coordinación adecuada entre estos grupos podría ayudar a disuadir el abuso y hacer que las personas sean más responsables, dice. "Se trata de crear una comunidad en línea".
En última instancia, esta forma de abuso basado en imágenes genera consecuencias a menudo devastadoras para los afectados, que casi siempre son mujeres. Un estudio de 2019 realizado por el monitor de deepfake Sensity AI encontró que el 96 por ciento de los deepfakes son pornografía no consensuada, dirigida casi exclusivamente a mujeres.
Cohen, el consultor de Toronto, dice que teme el ambiente que se crea para las mujeres jóvenes. “Las cosas realmente terribles no están sucediendo al nivel de Taylor Swift. La capacidad de personas al azar para centrarse realmente en individuos es aterradora”, dice. "En general soy optimista, no fatalista, pero también tengo una hija y quiero que crezca en un mundo que sea seguro para todos los demás".
https://www.wired.com/story/dark-side-open-source-ai-image-generators