Máquinas infiables

Que nadie se llame a engaño. La mal llamada ‘inteligencia artificial’ ni es inteligente en términos humanos, ni siente, ni padece, ni razona, y por supuesto carece de sentido común. Los chatbots de IA generativa son buenos imitadores, pero son solo eso: imitadores. Hay quienes los definen como “loros estocásticos”, algo a todas luces injusto para los loros, cuya complejidad va mucho más allá de la mera regurgitación de palabras.

A los grandes modelos de lenguaje (LLM) también se les llama “máquinas gigantes de autocompletar” o “sistemas sofisticados de extrusión de texto”. Se basan en la arquitectura ‘transformer’, que funciona según el principio de predicción de la siguiente palabra. Son sistemas predictivos basados en probabilidades y en el reconocimiento de patrones.

Para ello, se entrena a estos modelos con prácticamente todo el contenido de internet: miles de billones de tokens (trozos de palabras o unidades de texto). Un proceso que realizan personas, que ajustan dichas probabilidades con un sistema de pesos, para que los resultados sean mejores, más acertados, verosímiles… Y, pese a su apariencia de precisión, fallan sistemáticamente: su propósito no es decir la verdad, sino generar texto plausible.

Los chatbots de IA generativa -basados en dichos LLM- no son razonadores de propósito general; no entienden, sino que correlacionan. Carecen de abstracciones, lógica simbólica y modelos complejos del mundo. Y, por mucho que la industria hable de “modelos de razonamiento”, estos son pura mímica estadística, no pensamiento. Además, incurren frecuentemente en sesgos: problemas de discriminación y precisión. Por eso, necesitan recurrir a muletas: afinar su entrenamiento, salvaguardas, buscadores online, herramientas externas… Y por eso fallan cuando les pedimos lo que no están diseñados para dar.

Los problemas de fondo persisten. El más serio son las alucinaciones (errores o incorrecciones con apariencia verosímil). Estas pueden llegar hasta casi un 80% para preguntas generales, según el modelo. Según la propia OpenAI, su lanzamiento más reciente (GPT-5) tiene una tasa de alucinaciones de entre un 40% y un 47% cuando no tiene acceso a internet, dependiendo de si se usa la versión “thinking” o la normal (en cuyo caso su rendimiento es incluso peor que modelos anteriores).

El problema no es solo que los chatbots ofrezcan datos o información incorrecta, sino que nunca lo reconocen. No dicen “no lo sé”. Siempre responden. Si no saben algo, ofrecen una respuesta errónea o especulativa, y lo hacen con confianza, tal y como muestra un estudio de la Universidad de Columbia (EE.UU.). Es más, las opciones premium muestran más confianza en respuestas incorrectas que los gratuitos. Y no solo eso: fabrican enlaces a contenidos inexistentes, y enlazan a copias no autorizadas de artículos, en lugar de a las versiones originales.

Estas incorrecciones ya han causado serios problemas a numerosas empresas y particulares. Hay abogados al borde de ser expulsados de la profesión por haber presentado alegaciones y documentación con errores generados por IA, con casos documentados en varios países, incluido España. También hay compañías obligadas a indemnizar a consumidores por fallos de sus chatbots, como ocurrió con Canadian Airlines, que tuvo que pagar a un pasajero después de que su asistente virtual le ofreciera una política de reembolso por duelo que, en realidad, no existía.

No son meras anécdotas. Los riesgos derivados de las limitaciones de los sistemas de IA generativa son múltiples: legales y regulatorios, reputacionales, de negocio, financieros, éticos, de alienación y de dependencia, y de seguridad. Los malos no solo aprovechan su arquitectura para lograr modificar las respuestas de los chatbots. También toman ventaja de sus vulnerabilidades para saltarse las barreras de seguridad y hacerse con las suyas, ya sea conseguir documentos confidenciales, borrar bases de datos o cualquier otra fechoría.

Así lo han demostrado diversos investigadores de ciberseguridad, que han logrado usar ChatGPT para acceder a emails privados y al contenido del Google drive de usuarios; o para cosas como generar cupones falsos en plataformas de pago como Stripe. No solo ha sucedido en investigaciones sino en la vida real. Un hacker insertó instrucciones de borrado de datos en el agente Q de IA de Amazon, y la empresa lo lanzó sin darse cuenta. Los ciberdelincuentes también pudieron acceder a las criptomonedas y claves de miles de usuarios que usaban una herramienta de IA llamada NX, que había sido comprometida.

Frente a estos problemas, es necesario exigir a las plataformas que dejen de antropomorfizar las capacidades de la IA generativa, que abandonen el marketing engañoso y que sean mucho más transparentes sobre sus límites, riesgos e impacto.

El otro gran frente de acción es la alfabetización crítica de la población. Se necesitan programas formativos dirigidos a estudiantes, empleados y ciudadanía en general, que garanticen un conocimiento y comprensión de las capacidades reales de estas herramientas y de dichos riesgos e impactos. Solo así será posible prevenirlos y mitigarlos.

Incluso quienes no utilizan estas herramientas deben entender sus implicaciones, y quienes sí lo hacen deberían estar obligados -como ya empieza a reconocer la Ley- a formarse en su uso responsable. La regla de oro es siempre verificar los resultados que ofrece la IA generativa y conocer para qué usos es más o menos adecuada.

Los chatbots generalistas no están hechos para ofrecer verdades, ni mucho menos para dar consejos de salud o ejercer de terapeutas. Confundir facilidad con fiabilidad puede salir muy caro, y hay mucho en juego. Por eso, el juicio crítico humano debe seguir siendo la primera y la última línea de defensa.