¿Usted puede distinguir a un humano de una IA?
Hoy, el rival de OpenAI, AI21 Labs, publicó los resultados de un experimento social, un juego en línea llamado » Humano o no « , que descubrió que un enorme 32 % de las personas no pueden distinguir entre un humano y un bot de IA.
El juego, que según la compañía es la prueba de Turing a mayor escala hasta la fecha, emparejó a los jugadores para conversaciones de dos minutos utilizando un bot de IA basado en modelos líderes de lenguaje grande (LLM) como GPT-4 de OpenAI y Jurassic- de AI21 Labs. 2, y finalmente analizó más de un millón de conversaciones y conjeturas.
Los resultados fueron reveladores: por un lado, la prueba reveló que a las personas les resultaba más fácil identificar a un compañero humano; cuando hablaban con humanos, los participantes acertaron el 73 % de las veces. Pero al hablar con los bots, los participantes acertaron solo el 60 % de las veces.
Educar a los participantes sobre las capacidades de LLM
Pero más allá de los números, los investigadores notaron que los participantes usaron varios enfoques y estrategias populares para determinar si estaban hablando con un humano o un bot. Por ejemplo, asumieron que los bots no cometen errores tipográficos, errores gramaticales ni usan jerga, a pesar de que la mayoría de los modelos en el juego fueron entrenados para cometer este tipo de errores y usar palabras de jerga.
Los participantes también hicieron preguntas personales frecuentes, como «¿De dónde eres?», «¿Qué estás haciendo?» o «¿Cómo te llamas?», creyendo que los bots de IA no tendrían un historial o antecedentes personales, y que sus respuestas se limitarían a ciertos temas o indicaciones. Sin embargo, la mayoría de los bots pudieron responder este tipo de preguntas, ya que fueron entrenados en muchas historias personales.
Después de las conversaciones de dos minutos, se les pidió a los usuarios que adivinaran con quién habían estado hablando: un humano o un bot. Después de más de un mes de juego y millones de conversaciones, los resultados han demostrado que el 32 % de las personas no pueden diferenciar entre un ser humano y una IA.
Distinguir a un humano de una AI
Y en un giro filosófico interesante, algunos participantes asumieron que, si su interlocutor era demasiado educado, probablemente era un bot.
Pero el propósito de ‘Human or AI’ va mucho más allá de un simple juego, dijo a VentureBeat en una entrevista Amos Meron, creador de juegos y líder creativo de productos en AI21 Labs con sede en Tel Aviv.
“La idea es tener algo más significativo en varios niveles: primero es educar y permitir que las personas experimenten la IA de esta manera [conversacional], especialmente si solo la han experimentado como una herramienta de productividad”, dijo. “Nuestro mundo en línea estará poblado con una gran cantidad de bots de IA , y queremos trabajar con el objetivo de que se utilicen para siempre, por lo que queremos que la gente sepa de lo que es capaz la tecnología. .”
AI21 Labs ha utilizado el juego para la educación de IA antes
Esta no es la primera ronda de AI21 Labs con el juego como una herramienta educativa de IA. Hace un año, apareció en los principales titulares con el lanzamiento de ‘Ask Ruth Bader Ginsburg’, un modelo de inteligencia artificial que predijo cómo respondería Ginsburg a las preguntas. Se basa en 27 años de escritos legales de Ginsburg en la Corte Suprema, junto con entrevistas de noticias y discursos públicos.
‘Human or AI’ es una versión más avanzada de ese juego, dijo Meron, quien agregó que él y su equipo no estaban muy sorprendidos por los resultados.
“Creo que asumimos que algunas personas no notarían la diferencia”, dijo. Sin embargo, lo que sí lo sorprendió fue lo que realmente nos enseña sobre los humanos.
“El resultado es que la gente ahora asume que la mayoría de las cosas que los humanos hacen en línea pueden ser groseras, lo que creo que es divertido”, dijo, y agregó la advertencia de que las personas experimentaron los bots de una manera muy específica, similar a un servicio.
Por qué los formuladores de políticas deberían tomar nota
Aún así, con las elecciones estadounidenses acercándose, es importante considerar si los humanos pueden notar la diferencia entre otro humano y una IA.
“Siempre va a haber malos actores, pero lo que creo que nos puede ayudar a prevenir eso es el conocimiento”, dijo Meron. “La gente debe ser consciente de que esta tecnología es más poderosa que lo que han experimentado antes”.
Eso no significa que las personas deban sospechar en línea debido a los bots, enfatizó. “Si se trata de un ataque de phishing humano, o un humano con una persona [alternativa convincente] en línea, eso es peligroso”, dijo.
El juego tampoco aborda el tema de la sensibilidad, agregó. “Esa es una discusión diferente”, dijo.
Pero los formuladores de políticas deberían tomar nota, dijo.
“Necesitamos asegurarnos de que si es una empresa y tiene un servicio que utiliza un agente de IA , debe aclarar si se trata de un humano o no”, dijo. “Este juego ayudaría a las personas a comprender que esta es una discusión que deben tener, porque para fines de 2023 se puede suponer que cualquier producto podría tener este tipo de capacidad de IA”.
También puedes leer: Los principales investigadores y directores ejecutivos de IA advierten contra el ‘riesgo de extinción’ en una declaración conjunta