Los humanos han luchado para hacer máquinas verdaderamente inteligentes. Tal vez tenemos que dejar que se encarguen ellos mismos.
Una pequeña figura de palo con una cabeza en forma de cuña se arrastra por la pantalla. Se mueve medio agachado, arrastrando una rodilla por el suelo. ¡Está caminando! Er, algo así.
Sin embargo, Rui Wang está encantado. “Todos los días entro a mi oficina y abro mi computadora, y no sé qué esperar”, dice.
Como investigador de inteligencia artificial en Uber, a Wang le gusta dejar el Paired Open-Ended Trailblazer , una pieza de software que ayudó a desarrollar, ejecutándose en su computadora portátil durante la noche. POET es una especie de dojo de entrenamiento para bots virtuales. Hasta ahora, no están aprendiendo a hacer mucho en absoluto. Estos agentes de IA no están jugando Go , detectando signos de cáncer o plegando proteínas ; están tratando de navegar por un crudo paisaje de dibujos animados de cercas y barrancos sin caerse.
Pero lo emocionante no es lo que aprenden los bots, sino cómo aprenden. POET genera las carreras de obstáculos, evalúa las habilidades de los bots y asigna su próximo desafío, todo sin la participación humana. Paso a paso vacilante, los bots mejoran a través de prueba y error. “En algún momento podría saltar por un precipicio como un maestro de kung fu”, dice Wang.
Puede parecer básico en este momento, pero para Wang y un puñado de otros investigadores, POET insinúa una nueva y revolucionaria forma de crear máquinas superinteligentes: haciendo que la IA se fabrique sola.
El ex colega de Wang, Jeff Clune, se encuentra entre los mayores impulsores de esta idea. Clune ha estado trabajando en ello durante años, primero en la Universidad de Wyoming y luego en Uber AI Labs, donde trabajó con Wang y otros. Ahora que divide su tiempo entre la Universidad de Columbia Británica y OpenAI, cuenta con el respaldo de uno de los mejores laboratorios de inteligencia artificial del mundo .
Clune llama al intento de construir una IA verdaderamente inteligente la búsqueda científica más ambiciosa en la historia humana. Hoy, siete décadas después de que comenzaran los esfuerzos serios para hacer que la IA, todavía estamos muy lejos de crear máquinas que sean tan inteligentes como los humanos, y mucho menos más inteligentes. Clune cree que POET podría señalar un atajo.
“Tenemos que quitarnos los grilletes y apartarnos de nuestro propio camino”, dice.
Si Clune tiene razón, usar IA para crear IA podría ser un paso importante en el camino que algún día conducirá a la inteligencia artificial general (AGI), máquinas que pueden superar a los humanos. En un plazo más cercano, la técnica también podría ayudarnos a descubrir diferentes tipos de inteligencia: inteligencias no humanas que pueden encontrar soluciones de formas inesperadas y quizás complementar nuestra propia inteligencia en lugar de reemplazarla.
imitando la evolución
Hablé por primera vez con Clune sobre la idea a principios del año pasado, solo unas semanas después de su cambio a OpenAI. Estaba feliz de hablar sobre el trabajo anterior, pero se mantuvo callado sobre lo que estaba haciendo con su nuevo equipo. En lugar de tomar la llamada adentro, prefirió caminar arriba y abajo de las calles fuera de las oficinas mientras hablábamos.
Todo lo que Clune decía era que OpenAI encajaba bien. “Mi idea está muy en línea con muchas de las cosas en las que creen”, dice. “Fue una especie de matrimonio hecho en el cielo. Les gustó la visión y querían que viniera aquí y la persiguiera”. Unos meses después de que Clune se uniera, OpenAI también contrató a la mayoría de su antiguo equipo de Uber.
La ambiciosa visión de Clune se basa en algo más que la inversión de OpenAI. La historia de la IA está llena de ejemplos en los que las soluciones diseñadas por humanos dieron paso a las de aprendizaje automático. Tomemos como ejemplo la visión por computadora: hace una década, el gran avance en el reconocimiento de imágenes se produjo cuando los sistemas artesanales existentes fueron reemplazados por otros que se aprendían solos desde cero. Es lo mismo para muchos éxitos de IA.
Una de las cosas fascinantes de la IA, y del aprendizaje automático en particular, es su capacidad para encontrar soluciones que los humanos no han encontrado, para sorprendernos. Un ejemplo citado con frecuencia es AlphaGo (y su sucesor AlphaZero), que venció a lo mejor que la humanidad tiene para ofrecer en el antiguo y seductor juego de Go empleando estrategias aparentemente alienígenas. Después de cientos de años de estudio por parte de maestros humanos, la IA encontró soluciones en las que nadie había pensado.
Clune ahora está trabajando con un equipo en OpenAI que desarrolló bots que aprendieron a jugar al escondite en un entorno virtual en 2018. Estas IA comenzaron con objetivos simples y herramientas simples para lograrlos: un par tenía que encontrar al otro, que podría esconderse detrás de obstáculos móviles. Sin embargo, cuando estos bots se soltaron para aprender, pronto encontraron formas de aprovechar su entorno de formas que los investigadores no habían previsto. Aprovecharon fallas en la física simulada de su mundo virtual para saltar e incluso atravesar paredes.
Ese tipo de comportamientos emergentes inesperados ofrecen pistas tentadoras de que la IA podría llegar a soluciones técnicas en las que los humanos no pensarían por sí mismos, inventando tipos de algoritmos o redes neuronales nuevos y más eficientes, o incluso abandonando por completo las redes neuronales, una piedra angular de la IA moderna.
A Clune le gusta recordarle a la gente que la inteligencia ya surgió de comienzos simples. “Lo interesante de este enfoque es que sabemos que puede funcionar”, dice. “El algoritmo muy simple de la evolución darwiniana produjo su cerebro, y su cerebro es el algoritmo de aprendizaje más inteligente del universo que conocemos hasta ahora”. Su punto es que si la inteligencia, tal como la conocemos, resultó de la mutación sin sentido de los genes durante innumerables generaciones, ¿por qué no buscar replicar el proceso de producción de inteligencia, que podría decirse que es más simple, en lugar de la inteligencia misma?
Pero hay otra observación crucial aquí. La inteligencia nunca fue un punto final para la evolución, algo a lo que apuntar. En cambio, surgió de muchas formas diferentes, desde innumerables soluciones diminutas hasta desafíos que permitieron que los seres vivos sobrevivieran y enfrentaran desafíos futuros. La inteligencia es el punto culminante actual en un proceso continuo y abierto. En este sentido, la evolución es bastante diferente de los algoritmos en la forma en que la gente suele pensar en ellos: como medios para un fin.
Es esta apertura, vislumbrada en la secuencia aparentemente sin rumbo de desafíos generados por POET, que Clune y otros creen que podría conducir a nuevos tipos de IA. Durante décadas, los investigadores de IA han tratado de crear algoritmos para imitar la inteligencia humana, pero el verdadero avance puede provenir de la creación de algoritmos que intenten imitar la resolución de problemas abiertos de la evolución, y sentarse a observar lo que surge.
Los investigadores ya están utilizando el aprendizaje automático en sí mismo, entrenándolo para encontrar soluciones a algunos de los problemas más difíciles del campo, como hacer máquinas que puedan aprender más de una tarea a la vez o hacer frente a situaciones que no han encontrado antes. Algunos ahora piensan que adoptar este enfoque y ejecutarlo podría ser el mejor camino hacia la inteligencia artificial general. “Podríamos iniciar un algoritmo que inicialmente no tenga mucha inteligencia en su interior, y observar cómo se arranca hasta llegar potencialmente a AGI”, dice Clune.
Lo cierto es que por ahora AGI sigue siendo una fantasía. Pero eso se debe en gran parte a que nadie sabe cómo hacerlo. Los avances en IA son graduales y los llevan a cabo humanos, y el progreso generalmente implica ajustes a las técnicas o algoritmos existentes, lo que produce saltos incrementales en el rendimiento o la precisión. Clune caracteriza estos esfuerzos como intentos de descubrir los componentes básicos de la inteligencia artificial sin saber qué está buscando o cuántos bloques necesitará. Y eso es solo el comienzo. “En algún momento, tenemos que asumir la hercúlea tarea de ponerlos todos juntos”, dice.
Pedirle a la IA que encuentre y ensamble esos componentes básicos para nosotros es un cambio de paradigma. Está diciendo que queremos crear una máquina inteligente, pero no nos importa cómo se verá, solo danos lo que sea que funcione.
Incluso si nunca se logra el AGI, el enfoque de autoaprendizaje aún puede cambiar los tipos de IA que se crean. El mundo necesita más que un muy buen jugador de Go, dice Clune. Para él, crear una máquina superinteligente significa construir un sistema que inventa sus propios desafíos, los resuelve y luego inventa otros nuevos. POET es un pequeño vistazo de esto en acción. Clune imagina una máquina que le enseña a un bot a caminar, luego a jugar a la rayuela y luego quizás a jugar al Go. “Entonces tal vez aprenda acertijos matemáticos y comience a inventar sus propios desafíos”, dice. “El sistema innova continuamente, y el cielo es el límite en términos de adónde podría llegar”.
Tal vez sea una especulación salvaje, pero una esperanza es que máquinas como esta puedan evadir nuestros callejones sin salida conceptuales, ayudándonos a resolver crisis enormemente complejas como el cambio climático o la salud global.
Pero primero tenemos que hacer uno.
Cómo crear un cerebro
Hay muchas maneras diferentes de conectar un cerebro artificial.
Las redes neuronales están hechas de múltiples capas de neuronas artificiales codificadas en software. Cada neurona se puede conectar a otras en las capas superiores. La forma en que se conecta una red neuronal marca una gran diferencia, y las nuevas arquitecturas a menudo conducen a nuevos avances.
Las redes neuronales codificadas por científicos humanos son a menudo el resultado de prueba y error. Hay poca teoría sobre lo que funciona y lo que no, y no hay garantía de que se hayan encontrado los mejores diseños. Es por eso que la automatización de la búsqueda de mejores diseños de redes neuronales ha sido uno de los temas más candentes en IA desde al menos la década de 1980. La forma más común de automatizar el proceso es dejar que una IA genere muchos diseños de red posibles y que la red pruebe automáticamente cada uno de ellos y elija los mejores. Esto se conoce comúnmente como neuroevolución o búsqueda de arquitectura neuronal (NAS).
En los últimos años, estos diseños de máquinas han comenzado a superar a los humanos. En 2018, Esteban Real y sus colegas de Google utilizaron NAS para generar una red neuronal para el reconocimiento de imágenes que superó a las mejores redes diseñadas por humanos en ese momento. Eso fue una revelación.
El sistema 2018 es parte de un proyecto en curso de Google llamado AutoML, que también utilizó NAS para producir EfficientNets, una familia de modelos de aprendizaje profundo que son más eficientes que los diseñados por humanos , logrando altos niveles de precisión en tareas de reconocimiento de imágenes con modelos más pequeños y más rápidos.
Tres años después, Real está ampliando los límites de lo que se puede generar desde cero. Los sistemas anteriores simplemente reorganizaron piezas de redes neuronales probadas y comprobadas, como los tipos existentes de capas o componentes. “Podríamos esperar una buena respuesta”, dice.
Sorprendentemente, AutoML Zero no solo creó espontáneamente una red neuronal, sino que ideó el descenso de gradiente, la técnica matemática más común que los diseñadores humanos usan para entrenar una red. “Me sorprendió bastante”, dice Real. “Es un algoritmo muy simple, toma como seis líneas de código, pero escribió las seis líneas exactas”.
AutoML Zero aún no genera arquitecturas que compitan con el rendimiento de los sistemas diseñados por humanos, ni está haciendo mucho que un diseñador humano no habría hecho. Pero Real cree que algún día podría hacerlo.
Es hora de formar un nuevo tipo de profesor
Primero haces un cerebro; entonces tienes que enseñarlo. Pero los cerebros de las máquinas no aprenden como lo hacen los nuestros. Nuestros cerebros son fantásticos para adaptarse a nuevos entornos y nuevas tareas. Las IA de hoy pueden resolver desafíos bajo ciertas condiciones, pero fallan cuando esas condiciones cambian aunque sea un poco. Esta inflexibilidad está obstaculizando la búsqueda para crear una IA más generalizable que pueda ser útil en una amplia gama de escenarios, lo que sería un gran paso para hacerlos verdaderamente inteligentes.
Para Jane Wang, investigadora de DeepMind en Londres, la mejor manera de hacer que la IA sea más flexible es lograr que aprenda ese rasgo por sí misma. En otras palabras, quiere construir una IA que no solo aprenda tareas específicas, sino que también aprenda a aprender esas tareas de manera que pueda adaptarse a situaciones nuevas.
Los investigadores han estado tratando de hacer que la IA sea más adaptable durante años. Wang cree que hacer que la IA resuelva este problema por sí misma evita parte del ensayo y error de un enfoque diseñado a mano: "No podemos esperar encontrar la respuesta correcta de inmediato". En el proceso, espera, también aprenderemos más sobre cómo funciona el cerebro. “Todavía hay mucho que no entendemos sobre la forma en que los humanos y los animales aprenden”, dice ella.
Existen dos enfoques principales para generar algoritmos de aprendizaje automáticamente, pero ambos comienzan con una red neuronal existente y usan IA para enseñarla.
El primer enfoque, inventado por separado por Wang y sus colegas de DeepMind y por un equipo de OpenAI aproximadamente al mismo tiempo, utiliza redes neuronales recurrentes. Este tipo de red se puede entrenar de tal manera que las activaciones de sus neuronas, más o menos similares a la activación de las neuronas en los cerebros biológicos, codifiquen cualquier tipo de algoritmo. DeepMind y OpenAI aprovecharon esto para entrenar una red neuronal recurrente para generar algoritmos de aprendizaje por refuerzo, que le dicen a una IA cómo comportarse para lograr objetivos determinados.
El segundo enfoque proviene de Chelsea Finn de la Universidad de California, Berkeley, y sus colegas. Llamado metaaprendizaje agnóstico del modelo , o MAML, entrena un modelo utilizando dos procesos de aprendizaje automático, uno anidado dentro del otro.
Aproximadamente, así es como funciona. El proceso interno en MAML se entrena con datos y luego se prueba, como de costumbre. Pero luego, el modelo externo toma el rendimiento del modelo interno (qué tan bien identifica imágenes, digamos) y lo usa para aprender cómo ajustar el algoritmo de aprendizaje de ese modelo para mejorar el rendimiento. Es como si tuvieras un inspector escolar vigilando a un grupo de profesores, cada uno ofreciendo diferentes técnicas de aprendizaje. El inspector comprueba qué técnicas ayudan a los estudiantes a obtener las mejores puntuaciones y las modifica en consecuencia.
A través de estos enfoques, los investigadores están construyendo una IA que es más robusta, más generalizada y capaz de aprender más rápido con menos datos. Por ejemplo, Finn quiere un robot que haya aprendido a caminar sobre terreno plano para poder hacer la transición, con un entrenamiento adicional mínimo, a caminar en una pendiente o sobre césped o mientras transporta una carga.
El año pasado, Clune y sus colegas ampliaron la técnica de Finn para diseñar un algoritmo que aprende usando menos neuronas para que no sobrescriba todo lo que ha aprendido previamente, un gran problema sin resolver en el aprendizaje automático conocido como olvido catastrófico. Un modelo entrenado que usa menos neuronas, conocido como modelo "escaso", tendrá más neuronas sin usar para dedicarlas a nuevas tareas cuando se vuelva a entrenar, lo que significa que se sobrescribirán menos neuronas "usadas". Clune descubrió que establecer su IA para el desafío de aprender más de una tarea lo llevó a crear su propia versión de un modelo disperso que superó a los diseñados por humanos.
Si vamos a permitir que la IA cree y se enseñe a sí misma, entonces las IA también deberían generar sus propios entornos de capacitación: las escuelas y los libros de texto, así como los planes de lecciones.
Y el año pasado ha visto una serie de proyectos en los que la IA ha sido entrenada en datos generados automáticamente. Los sistemas de reconocimiento facial se están entrenando con rostros generados por IA, por ejemplo. Las IA también están aprendiendo a entrenarse unas a otras. En un ejemplo reciente, dos brazos robóticos trabajaron juntos, con un brazo aprendiendo a establecer desafíos de apilamiento de bloques cada vez más difíciles que entrenaron al otro para agarrar y sujetar objetos.
De hecho, Clune se pregunta si la intuición humana sobre qué tipo de datos necesita una IA para aprender puede estar equivocada. Por ejemplo, él y sus colegas han desarrollado lo que él llama redes generativas de enseñanza ., que aprenden qué datos deben generar para obtener los mejores resultados al entrenar un modelo. En un experimento, usó una de estas redes para adaptar un conjunto de datos de números escritos a mano que a menudo se usa para entrenar algoritmos de reconocimiento de imágenes. Lo que surgió se veía muy diferente del conjunto de datos original curado por humanos: cientos de dígitos no del todo, como la mitad superior de la figura siete o lo que parecían dos dígitos fusionados. Algunos ejemplos generados por IA fueron difíciles de descifrar. A pesar de esto, los datos generados por IA aún hicieron un gran trabajo al entrenar el sistema de reconocimiento de escritura a mano para identificar dígitos reales.
No intentes tener éxito
Los datos generados por IA siguen siendo solo una parte del rompecabezas. La visión a largo plazo es tomar todas estas técnicas, y otras aún no inventadas, y entregárselas a un entrenador de IA que controle cómo se conectan los cerebros artificiales, cómo se entrenan y en qué se entrenan. Incluso Clune no tiene claro cómo sería ese sistema futuro. A veces habla de una especie de caja de arena simulada hiperrealista, donde las IA pueden cortarse los dientes y despellejar sus rodillas virtuales. Algo así de complejo aún está a años de distancia. Lo más parecido hasta ahora es POET, el sistema que Clune creó con Rui Wang de Uber y otros.
POET fue motivado por una paradoja, dice Wang. Si intenta resolver un problema, fracasará; si no intentas resolverlo, es más probable que lo logres. Esta es una de las ideas que Clune extrae de su analogía con la evolución: los sorprendentes resultados que surgen de un proceso aparentemente aleatorio a menudo no se pueden recrear tomando medidas deliberadas hacia el mismo fin. No hay duda de que las mariposas existen, pero retroceda a sus precursores unicelulares e intente crearlas desde cero eligiendo cada paso de bacteria a insecto, y es probable que falle.
POET inicia a su agente de dos piernas en un entorno simple, como un camino plano sin obstáculos. Al principio el agente no sabe qué hacer con sus piernas y no puede caminar. Pero a través de prueba y error, el algoritmo de aprendizaje por refuerzo que lo controla aprende a moverse a lo largo de un terreno plano. POET luego genera un nuevo entorno aleatorio que es diferente, pero no necesariamente más difícil de mover. El agente intenta caminar allí. Si hay obstáculos en este nuevo entorno, el agente aprende a superarlos. Cada vez que un agente tiene éxito o se atasca, se traslada a un nuevo entorno. Con el tiempo, los agentes aprenden una variedad de acciones para caminar y saltar que les permiten sortear carreras de obstáculos cada vez más difíciles.
El equipo descubrió que el cambio aleatorio de entornos era esencial.
Por ejemplo, los agentes a veces aprendían a caminar sobre terreno llano arrastrando los pies de forma extraña, medio arrodillados, porque eso era lo suficientemente bueno. “Nunca aprenden a ponerse de pie porque nunca lo necesitan”, dice Wang. Pero después de que se vieron obligados a aprender estrategias alternativas en un terreno lleno de obstáculos, pudieron regresar a la etapa inicial con una mejor forma de caminar, usando ambas piernas en lugar de arrastrar una detrás, por ejemplo, y luego llevar adelante esa versión mejorada de sí mismos. a desafíos más difíciles.
POET entrena a sus bots de una manera que ningún humano lo haría: toma caminos erráticos y poco intuitivos hacia el éxito. En cada etapa, los bots intentan encontrar una solución a cualquier desafío que se les presente. Al hacer frente a una selección aleatoria de obstáculos que se les presentan, mejoran en general. Pero no hay un punto final para este proceso, no hay una prueba definitiva que aprobar o una puntuación alta que superar.
Clune, Wang y varios de sus colegas creen que esta es una idea profunda. Ahora están explorando lo que podría significar para el desarrollo de máquinas superinteligentes. ¿Podría tratar de no trazar un camino específico en realidad ser un avance clave en el camino hacia la inteligencia artificial general?
POET ya está inspirando a otros investigadores, como Natasha Jaques y Michael Dennis en la Universidad de California, Berkeley. Han desarrollado un sistema llamado PAIRED que usa IA para generar una serie de laberintos para entrenar a otra IA para navegar por ellos.
Rui Wang cree que los desafíos diseñados por humanos serán un cuello de botella y que el progreso real en la IA requerirá que la IA presente los suyos. “No importa cuán buenos sean los algoritmos hoy en día, siempre se prueban en algún punto de referencia diseñado a mano”, dice. "Es muy difícil imaginar que la inteligencia general artificial surja de esto, porque está limitada por objetivos fijos".
Un nuevo tipo de inteligencia
El rápido desarrollo de la IA que puede entrenarse a sí misma también plantea preguntas sobre qué tan bien podemos controlar su crecimiento. La idea de una IA que construye una mejor IA es una parte crucial de la creación de mitos detrás de la "Singularidad", el punto imaginado en el futuro cuando las IA comienzan a mejorar a un ritmo exponencial y se mueven más allá de nuestro control. Eventualmente, advierten ciertos agoreros, la IA podría decidir que no necesita humanos en absoluto.
Eso no es lo que ninguno de estos investigadores tiene en mente: su trabajo está muy centrado en mejorar la IA actual. Las máquinas que se vuelven locas siguen siendo una antifantasía lejana.
Aun así, Jane Wang de DeepMind tiene reservas. Una gran parte de la atracción de usar IA para hacer IA es que puede generar diseños y técnicas en las que la gente no había pensado. Sin embargo, Wang señala que no todas las sorpresas son buenas sorpresas: "La apertura es, por definición, algo inesperado". Si la idea es lograr que la IA haga algo que no anticipó, se vuelve más difícil de controlar. "Eso es a la vez emocionante y aterrador", dice ella.
Clune también destaca la importancia de pensar en la ética de la nueva tecnología desde el principio. Existe una buena posibilidad de que las redes neuronales y los algoritmos diseñados por IA sean aún más difíciles de entender que los sistemas de caja negra ya opacos de la actualidad. ¿Son las IA generadas por algoritmos más difíciles de auditar por sesgo ? ¿Es más difícil garantizar que no se comportarán de manera indeseable?
Clune espera que tales preguntas sean formuladas y respondidas a medida que más personas se den cuenta del potencial de las IA autogeneradas. “La mayoría de las personas en la comunidad de aprendizaje automático nunca hablan realmente sobre nuestro camino general hacia una IA extremadamente poderosa”, dice; en cambio, tienden a enfocarse en mejoras pequeñas e incrementales. Clune quiere volver a iniciar una conversación sobre las mayores ambiciones del campo.
Sus propias ambiciones se relacionan con sus primeros intereses en la inteligencia humana y cómo evolucionó. Su gran visión es configurar las cosas para que las máquinas algún día puedan ver su propia inteligencia, o inteligencias, emerger y mejorar a través de innumerables generaciones de prueba y error, guiadas por algoritmos sin un plan final en mente.
Si la IA comienza a generar inteligencia por sí misma, no hay garantía de que sea similar a la humana. En lugar de que los humanos enseñen a las máquinas a pensar como humanos, las máquinas podrían enseñarles a los humanos nuevas formas de pensar.
“Probablemente hay una gran cantidad de maneras diferentes de ser muy inteligente”, dice Clune. “Una de las cosas que me emocionan de la IA es que podríamos llegar a comprender la inteligencia de manera más general, al ver qué variación es posible.
“Creo que eso es fascinante. Quiero decir, es casi como inventar un viaje interestelar y poder visitar culturas alienígenas. No habría mayor momento en la historia de la humanidad que encontrarse con una raza alienígena y aprender sobre su cultura, su ciencia, todo. El viaje interestelar es extremadamente difícil, pero tenemos la capacidad de crear potencialmente inteligencias extraterrestres digitalmente”.