Hay un problema con las principales herramientas de inteligencia artificial, como ChatGPT, Gemini y Claude: en realidad, no sabemos cuán preparadas están.

Esto se debe a que, a diferencia de las empresas que fabrican automóviles, medicamentos o fórmulas infantiles, las empresas de inteligencia artificial no están obligadas a someter sus productos a pruebas antes de lanzarlos al público. No existe un sello de calidad para los chatbots de inteligencia artificial y son pocos los grupos independientes que someten a estas herramientas a ensayos rigurosos.

También consulte: Los vehículos eléctricos necesitan dejar de ser tan aburridos

En cambio, nos queda confiar en las afirmaciones de las empresas de inteligencia artificial, las cuales a menudo utilizan frases vagas y confusas como “capacidades mejoradas” para describir en qué se diferencian sus modelos de una versión a otra. Y, aunque hay algunas pruebas estándar para evaluar la capacidad de los modelos de inteligencia artificial, digamos razonamiento matemático o lógico, muchos expertos dudan de la confiabilidad real de esas pruebas.

Esto puede sonar como una queja insignificante. No obstante, estoy convencido de que la falta de una buena medida y evaluación de los sistemas de inteligencia artificial es un problema importante.

Para empezar, sin información confiable sobre los productos de inteligencia artificial, ¿cómo se supone que la gente va a saber qué hacer con ellos?

No puedo contar la cantidad de veces que en el último año un amigo o un colega me preguntó qué herramienta de inteligencia artificial debía utilizar para una tarea determinada. ¿Cuál escribe mejor el código Python, ChatGPT o Gemini? ¿Es mejor DALL-E 3 o Midjourney para generar imágenes realistas de personas?

No queda más que encoger los hombros en respuesta. Incluso para alguien que se gana la vida escribiendo sobre inteligencia artificial y que prueba nuevas herramientas todo el tiempo, me desquicia lo difícil de seguir el ritmo de las fortalezas y debilidades relativas de los distintos productos que aparecen. La mayoría de las empresas tecnológicas no publican manuales de usuario, comunicados ni detalles sobre sus productos de inteligencia artificial. Además, los modelos se actualizan con tanta frecuencia que un chatbot que un día tiene dificultades para realizar una tarea, al día siguiente puede destacar misteriosamente en ella.

Las mediciones deficientes también crean un riesgo para la seguridad. Sin mejores pruebas para los modelos de inteligencia artificial, es difícil saber qué capacidades están mejorando más rápido de lo esperado o qué productos podrían presentar amenazas reales de peligro.

En el Índice de Inteligencia Artificial de este año —un gran informe anual que elabora el Instituto de Inteligencia Artificial Centrada en el Ser Humano, de la Universidad de Stanford—, los autores describen las mediciones deficientes como uno de los principales desafíos que enfrentan los investigadores de inteligencia artificial.

“La falta de una evaluación estandarizada dificulta una enormidad la comparación sistemática de las limitaciones y riesgos de varios modelos de inteligencia artificial”, me comentó Nestor Maslej, editor jefe del informe.

Una de las pruebas actuales más comunes que realizan los modelos de inteligencia artificial, casi el equivalente del examen para ingresar a la universidad de los chatbots, es una prueba conocida como Massive Multitask Language Understanding (MMLU).

La MMLU, lanzada en 2020, consiste en una colección de unas 16.000 preguntas de opción múltiple que cubren decenas de temas académicos, que van desde el álgebra abstracta hasta el derecho y la medicina. Se supone que es una especie de examen de inteligencia general: mientras más de estas preguntas responden de manera correcta un chatbot, más inteligente es.

Se ha vuelto el criterio de referencia para las empresas de inteligencia artificial que compiten por el dominio. (A principios de este año, cuando Google lanzó su modelo de inteligencia artificial más avanzada, Gemini Ultra, la compañía presumió de haber obtenido un 90% en la MMLU, la puntuación más alta que se haya registrado).

Dan Hendrycks, un investigador en seguridad de la inteligencia artificial que ayudó a desarrollar la MMLU cuando estudiaba su posgrado en la Universidad de California, campus Berkeley, me contó que nunca se pensó que la prueba se usara para presumir. Le alarmaba la rapidez con la que mejoraban los sistemas de inteligencia artificial y quería animar a los investigadores a tomarlo más en serio.

Hendrycks señaló que, aunque pensaba que la MMLU “pueda tener uno o dos años más de vida útil”, pronto la tendrán que remplazar pruebas distintas y más difíciles. Los sistemas de inteligencia artificial se están volviendo demasiado inteligentes para las pruebas que tenemos ahora y cada vez es más difícil diseñar nuevos.

También puede haber problemas con las mismas pruebas. Varios investigadores con los que hablé advirtieron que el proceso de administrar pruebas de referencia como la MMLU varía un poco de una empresa a otra y que las evaluaciones de varios modelos podrían no ser directamente comparables.

Hay un problema conocido como “contaminación de datos”, cuando las preguntas y respuestas de las pruebas de referencia se incluyen en los datos de entrenamiento de un modelo de inteligencia artificial, lo que en esencia le permite hacer trampa. Además, estos modelos no se someten a pruebas o auditorías independientes, es decir que las empresas de inteligencia artificial en esencia califican su propia tarea.

En resumen, la medición de la inteligencia artificial es un desastre: una maraña de pruebas descuidadas, comparaciones de manzanas con naranjas y publicidades voluntarias que han dejado en la oscuridad a los usuarios, reguladores y los propios desarrolladores de inteligencia artificial.

Es probable que la solución para esto sea una combinación de iniciativas públicas y privadas.

Los gobiernos pueden y deben idear programas de pruebas sólidas que midan tanto las capacidades brutas como los riesgos de seguridad de los modelos de inteligencia artificial y deben financiar subvenciones y proyectos de investigación destinados a idear nuevas evaluaciones de alta calidad.

(*) Kevin Roose es columnista de tecnología del New York Times

¿Qué nos puede enseñar el colapso de Silicon Valley Bank sobre la industria de la tecnología?

Por un lado, no mucho. Es cierto que SVB, como lo llamaban los expertos en el sector, era una institución de Silicon Valley, y que tenía como clientes a muchas de las empresas emergentes y firmas de inversión más conocidas de la industria de la tecnología. También es verdad que el fracaso del banco tendrá un efecto multiplicador en todo el sector tecnológico a corto plazo porque las empresas que tenían su dinero depositado ahí batallarán para retirar sus fondos y pagar sus nóminas.

Pero lo que contribuyó al derrumbe de Silicon Valley Bank no fueron los préstamos a empresas emergentes riesgosas, ni las apuestas por criptomonedas poco confiables, ni cualquier otro esquema tecnológico poco meditado. Fue un clásico pánico bancario (también conocido como corrida bancaria), detonado ya en 2021 por una serie de clásicas malas decisiones.

Ese año, el mercado de valores estaba en auge, las tasas de interés eran de casi cero y el dinero fluía en el sector tecnológico. Muchas empresas emergentes depositaron sus fondos en Silicon Valley Bank, y el banco, a su vez, tomó los fondos y los invirtió, entre otras cosas, en un montón de bonos a largo plazo. En ese entonces, esas inversiones parecían relativamente seguras, pero se volvieron más riesgosas el año pasado, cuando las tasas de interés ascendieron y los bonos perdieron parte de su valor. Este año, cuando la inversión en tecnología se desaceleró y las empresas emergentes buscaron retirar efectivo del banco para pagar sus gastos, Silicon Valley Bank se vio en la necesidad de vender algunos de sus bonos con pérdidas y buscar capital nuevo para cumplir sus obligaciones.

El banco podría haber sobrevivido a todo esto, pero cuando les explicó a sus clientes (de mala manera) lo que había ocurrido, a algunos les preocupó que el banco estuviera en problemas. Los inversionistas de capital de riesgo se espantaron y les dijeron a las empresas emergentes de su portafolio que retiraran todos los fondos que habían depositado en SVB. Otros clientes vieron eso y también se asustaron, ¡y listo! Pánico bancario.

Tal vez esa es la única moraleja de la historia de Silicon Valley Bank: si eres un banco y muchos de tus clientes son empresas emergentes tecnológicas cuya capacidad para financiarse fluctúa cuando las tasas de interés están al alza, no inviertas sus depósitos en bonos a largo plazo que perderán su valor si las tasas de interés se elevan. Pero creo que podemos aprender otras lecciones de esta situación.

La primera es que, aunque Silicon Valley Bank era pequeño, según los parámetros de Wall Street (hasta enero, era el decimosexto banco más grande del país, con alrededor de $us 200.000 millones en activos), ocupaba un lugar privilegiado en la comunidad tecnológica. Fundado en 1983, el banco gozaba de una reputación dorada dentro de Silicon Valley. Se le conocía por tomar riesgos con empresas emergentes que ningún otro banco estaba dispuesto a tomar. Cuando colapsó, varios fundadores de empresas emergentes contaron historias de cómo habían obtenido sus primeros préstamos empresariales o sus primeras tarjetas de crédito de Silicon Valley Bank. Algunos trabajadores del sector consiguieron las hipotecas de sus casas o los préstamos de sus autos con ese banco.

Relaciones como esas son valiosas, y lo más probable en este caso es que, en el futuro cercano, un banco grande de Wall Street adquiera Silicon Valley Bank en un concurso de acreedores. El banco grande asumirá los activos y pasivos de Silicon Valley Bank, compensará a sus depositantes y nadie sufrirá pérdidas catastróficas (excepto los accionistas de SVB).

En el mejor de los casos, se hará una transferencia rápida y ordenada de los activos y pasivos de Silicon Valley Bank a un nuevo banco. En el peor de los casos, o sea que no surja ningún comprador, los clientes del banco tendrán que esperar semanas o meses para acceder a sus fondos y todo el ecosistema de empresas emergentes colapsará porque muchas no podrán pagar su nómina, lo cual sería catastrófico.

Pero incluso si las consecuencias de la quiebra de Silicon Valley Bank se contienen, quedan muchas preguntas por responder. ¿Hay otros bancos vinculados a la industria tecnológica que sean vulnerables al riesgo de los tipos de interés, como lo era Silicon Valley Bank? Si un gran banco adquiere SVB, ¿será tan amigo de las empresas emergentes como Silicon Valley Bank? Y después de lo que acaba de ocurrir, ¿volverá algún fundador de una empresa emergente a confiar su dinero a SVB o a cualquier banco?

La segunda lección es que es posible que la clientela de Silicon Valley Bank, que pasa tanto tiempo en línea, haya contribuido a su ruina.

En la mayoría de los bancos regionales normales y medianos, lo que ocurrió en Silicon Valley Bank quizá no habría provocado un pánico bancario. Los bancos venden activos todo el tiempo. Cuando enfrentan problemas de liquidez, recaudan capital a corto plazo para resolverlos. La mayoría de las veces, los clientes ni siquiera se enteran o no les interesa.

También puede leer: Lo que podemos esperar del nuevo horizonte financiero

Pero los depositantes de SVB no son clientes normales. Son fundadores e inversionistas de empresas emergentes, el tipo de personas que escudriñan los registros de valores de los bancos, que prestan especial atención al riesgo y la volatilidad y que —lo más importante— hablan entre sí todo el día en internet. En cuanto a algunos miembros del sector empezaron a plantear dudas sobre la solvencia de la firma, los canales de Slack y perfiles de Twitter se activaron con advertencias graves de capitalistas de riesgo y, al poco rato, muchas personas tenían miedo.

La tercera lección que podemos aprender es que la regulación bancaria funciona. El 10 de marzo, en cuanto quedó claro que el banco no se recuperaría, la Corporación Federal de Seguro de Depósitos hizo lo que siempre hace cuando un banco quiebra: intervino, tomó el control e intentó compensar a los clientes del banco. Como resultado, los clientes que tenían $us 250.000 o menos depositados en cuentas aseguradas pronto podrán acceder a esos fondos. Con suerte, un banco grande va a subsumir al antiguo SVB sin problema y compensará a quienes depositaron sumas más cuantiosas.

Kevin Roose Columnista del área de tecnología para el New York Times.