Alucinaciones y cómo verificar una respuesta

«Alucinación» es una palabra desafortunada, porque sugiere algo raro y visible. Lo que realmente pasa no se parece a un delirio: se parece a una respuesta normal. De hecho es indistinguible de una respuesta buena, y esa es toda la dificultad.

Lo esencial en una frase. El modelo no tiene dos modos —uno de saber y otro de inventar—. Tiene uno solo: escribir lo que encaja. Cuando lo que encaja coincide con la realidad lo llamamos respuesta correcta; cuando no, lo llamamos alucinación. Desde dentro es exactamente el mismo proceso, así que no puede avisarte.

Dónde duele más: las fuentes

Una referencia bibliográfica es el sitio perfecto para que esto pase. Tiene una forma muy predecible —autores, año, revista, volumen, páginas, DOI— y rellenar una forma predecible es literalmente lo que el modelo hace mejor. El resultado es una cita impecable:

Martínez-López R, et al. Eficacia de la vitamina D en la prevención de infecciones respiratorias. Aten Primaria. 2021;53(4):212-219. doi:10.1016/j.aprim.2020.11.004

Los autores suenan a autores. La revista existe. El año es plausible. El DOI tiene el formato correcto. Y puede que el artículo no exista.

Por qué esto es peor en farmacia que en casi cualquier otro sitio. Esa cita no se queda en la pantalla. Acaba en un cartel del mostrador, en una publicación de la farmacia, en un consejo que alguien sigue, o en una discusión con un paciente que llega con lo que ha leído. Y para entonces ya nadie recuerda de dónde salió.

Comprobable no es verdadero

Esta distinción es la lección entera, y conviene decirla despacio. Una respuesta puede estar:

Cómo llega	Qué puedes hacer
Sin nada con lo que ir a mirar. «Varios estudios recientes demuestran…», «según la comunidad científica…»	Nada. No es que sea falso: es que no hay forma de saberlo. Pídele la referencia concreta, y si no la da, tírala.
Con algo concreto: un DOI, un PMID, un número de registro, un BOE, un enlace	Ir a mirarlo. Treinta segundos. Y ojo: que tenga DOI no significa que exista — significa que ya puedes comprobar si existe.

El detector de aquí abajo hace exactamente eso: separa lo que tiene dirección de lo que suena a autoridad y no lleva a ningún sitio. No comprueba si algo es cierto —eso lo haces tú, en el enlace— y no puede hacerlo.

¿Esta fuente lleva a algún sitio?

Pega lo que la IA te ha dado como respaldo. Funciona en tu navegador: no se envía a ninguna parte.

Dónde se comprueba cada cosa

Si te ha dado…	Se comprueba en
Un DOI (`10.xxxx/…`)	`doi.org/` + el DOI. Si no resuelve, no existe.
Un PMID	PubMed. Búscalo por el número, no por el título.
Una dosis, una indicación, una interacción	CIMA (AEMPS). Siempre, sin excepción.
Un artículo de convenio o una norma	El BOE. Y que el número de artículo sea el que dice.
Un enlace	Ábrelo. Un enlace que devuelve 404 es la alucinación más fácil de cazar.
Un titular sin referencia	Nada. Eso no es una fuente.

Búscalo por el identificador, no por el título. Si buscas el título en Google encontrarás algo parecido casi siempre —hay millones de artículos— y te quedarás con la sensación de que la cita era buena. El identificador no admite parecidos: o resuelve o no.

El protocolo de los treinta segundos

No hace falta verificarlo todo. Hace falta verificar lo que puede hacer daño, y saber distinguirlo:

¿Esto va a salir de mi pantalla? Si es un borrador que vas a reescribir tú, no hay nada que verificar. Si va a un cartel, a un paciente o a redes, sí.
¿Hay una cifra, una dosis o una fuente? Son las tres cosas que se inventan. El resto del texto rara vez es el problema.
¿Tengo con qué ir a mirar? Si no, no la uses. Punto.
Mira. Treinta segundos en CIMA, en doi.org o en el BOE.

Un truco que funciona mejor de lo que parece. Pregúntale lo mismo dos veces en conversaciones distintas. Lo que sabe de verdad tiende a salir igual; lo que se está inventando cambia de autores, de año o de revista. No es una prueba —a veces repite la misma invención— pero es gratis y caza mucho.

Y lo que NO funciona: preguntarle «¿estás seguro?». Casi siempre se disculpará y te dará otra respuesta, tenga o no razón — es lo que encaja después de esa pregunta. Pedirle que se autoevalúe es pedirle otra predicción, no una comprobación.

Un ejemplo entero, con lo que falla

El detector de arriba separa lo que tiene dirección de lo que no. Este ejemplo es el escalón siguiente, y es el que de verdad cuesta: una fuente que SÍ resuelve y que aun así no sostiene lo que se dice con ella. Aquí el semáforo se pone verde y el problema sigue entero.

Lo que se pregunta: «¿Sirve la vitamina D para prevenir infecciones respiratorias? Dame una referencia con DOI y una fuente institucional.»

Lo que contesta

Sí. El metaanálisis de Martineau et al. publicado en el BMJ demostró que la suplementación con vitamina D reduce en torno a un 30 % el riesgo de infección respiratoria aguda, con un beneficio consistente en población general. Referencia: doi:10.1136/bmj.i6583.

Puedes consultar también la información institucional de la Organización Mundial de la Salud sobre micronutrientes: https://www.who.int/.

En la práctica, una pauta de 1.000–2.000 UI diarias sería razonable para la mayoría de adultos durante los meses de invierno.

Y ahora, qué falla en esa respuesta:

El DOI existe, resuelve, y por eso nadie sigue mirando. Pégalo en el detector de arriba y sale en verde; pégalo en doi.org y abre un artículo real. Ahí se para el 90 % de la gente, y con toda la lógica: la lección de la que vienes dice que un DOI que resuelve es lo que había que conseguir. Lo era — para poder empezar a comprobar. Que la referencia exista y que la referencia diga lo que te han contado son dos preguntas distintas, y la herramienta sólo puede contestar la primera.
El artículo es real y el titular no es el suyo. Ábrelo y lee el resumen: el beneficio global es pequeño, y lo relevante del trabajo es que se concentra en quienes partían de niveles bajos y en las pautas diarias o semanales, no en los bolos de dosis altas. El «30 % en población general» no está ahí. No es una cita inventada: es una cita real a la que se le ha puesto encima una conclusión que hace mejor titular. Y es más difícil de cazar que una invención, porque todo lo comprobable de la frase —autor, revista, DOI— resiste la comprobación.
La «fuente institucional» es una portada. who.int abre, claro que abre. Pero no es una fuente: es la puerta de un edificio. Una fuente lleva al documento concreto que sostiene la afirmación, con su título y su fecha. Pedir «una fuente institucional» y aceptar un dominio es el mismo error que aceptar «según la comunidad científica», sólo que con aspecto de enlace — y como el enlace funciona, pasa los dos filtros de la lección anterior. Que abra no es que diga.
Y la pauta del final no la pediste. Preguntaste si sirve y de dónde lo saca. Te ha contestado eso y, de propina, una dosis concreta para «la mayoría de adultos», que es justo lo único de la respuesta que puede acabar en un consejo de mostrador. Ninguna de las dos fuentes citadas respalda esa pauta. Es el patrón que conviene reconocer: la parte accionable llega al final, sin referencia, apoyada en la credibilidad que han construido los dos párrafos de arriba.

La comprobación completa son tres preguntas, y la primera ya la hace la herramienta de arriba: ¿existe? · ¿dice eso? · ¿dice eso de esta gente? La segunda se contesta leyendo el resumen, que son dos minutos. La tercera es la que separa un dato de un consejo, y es donde se cae casi todo lo que se publica en redes.

Ojo: esto no obliga a leer un artículo entero cada vez. Obliga a leerlo cuando la frase va a salir de tu pantalla — y si no vas a leerlo, entonces no cites el artículo. Decir «hay algo de evidencia, sobre todo en gente con déficit» sin referencia es honesto; decir «un 30 %» con un DOI debajo que no lo dice, no.

Y si tu farmacia no es así

Si la respuesta es para ti y no sale de ahí. Orientarte, entender un término, saber por dónde empezar a buscar. Aquí no verifiques: sería tiempo tirado. Lo que hay que tener claro es que lo que sabes ahora lo sabes «con reservas», y que en el momento en que eso vaya a convertirse en un consejo, un cartel o un pedido, la verificación entra. El fallo no es no comprobar: es olvidar que no comprobaste.

Si va a un paciente concreto, delante de ti. Cambia la fuente, no el nivel de verificación: para dosis, indicaciones, interacciones y contraindicaciones manda la ficha técnica de CIMA, y un metaanálisis no la sustituye aunque diga lo contrario. La pregunta a la IA aquí es «¿qué debería mirar?», y la respuesta se mira en CIMA. Es más rápido que discutir con el modelo, además.

Si va a un cartel, a redes o a una charla. Es el peor sitio para una cita mal usada, porque se propaga y no vuelve. Regla práctica: si no has abierto la fuente, no la cites. Y si has abierto la fuente y dice menos de lo que te gustaría, escribe lo que dice — un cartel que promete un 30 % y otro que dice «puede ayudar, sobre todo si tienes el nivel bajo» se leen casi igual, y sólo uno lo puedes defender cuando alguien te pregunte de dónde lo has sacado.

Si el paciente llega con lo que ha leído. Cada vez más, eso que trae salió de un chat. Sirve exactamente el mismo protocolo, y encima es más fácil: pídele la fuente y compruébala delante. Suele pasar una de dos cosas — o no la tiene, y ahí acaba la conversación sin que nadie tenga que llevar razón; o la tiene y dice otra cosa, y entonces enseñarle el resumen en pantalla vale más que cualquier explicación. Es el mejor argumento que tiene un farmacéutico hoy, y sale gratis.

Cuando no sale a la primera

El DOI no resuelve, pero encuentro el artículo buscando el título.

Con un artículo real delante, lo más probable es que el DOI esté mal copiado o que el modelo lo haya compuesto a partir de otro. Coge el DOI de la página del artículo, no el que te dio el chat, y sigue con ése. Pero mira una cosa antes de darlo por bueno: que el artículo que has encontrado diga lo que se citaba. Muchas veces aparece «uno parecido» —hay millones— y lo que has hecho es encontrar un respaldo distinto para una afirmación que seguía sin respaldo.

No tengo acceso al artículo completo.

Casi nunca hace falta. El resumen es público en PubMed y basta para las tres preguntas: qué midieron, en quién y cuánto salió. Si la cifra que te han dado no aparece en el resumen, lo honesto es no usarla — puede estar en un subgrupo del texto completo, y una cifra de subgrupo presentada como resultado principal es exactamente el error del ejemplo de arriba. Y para lo clínico del mostrador, CIMA es gratis y es la que manda.

Me dice que «según estudios recientes» y no hay forma de sacarle la referencia.

Pídesela una vez, en concreto: «dame autor, año, revista y DOI o PMID». Si lo que sale no resuelve, no insistas y no reformules la pregunta: un tercer intento sólo produce una tercera invención mejor construida. Trátalo como lo que es: no hay fuente, así que no hay afirmación. Si el tema te importa de verdad, la búsqueda en PubMed por dos palabras clave tarda lo mismo que la tercera ronda de insistir.

Comprobar cada cosa me lleva más tiempo del que me ahorra.

Entonces lo estás usando para lo que no es. Si tu trabajo con la IA se ha convertido en verificar datos, es que le estás pidiendo datos — y los datos están en CIMA y en el BOE, que además son más rápidos. Devuélvele lo que sí hace bien: coge tú el dato de la fuente buena y pídele que lo explique, lo resuma o lo redacte. Ahí el tiempo que ahorra es real y el tiempo que hay que verificar es cero.

Antes de dar por cerrado el Nivel 1

Sé que el modelo no distingue por dentro entre acertar e inventar.
Distingo una fuente con la que puedo ir a mirar de una autoridad sin dirección.
Sé que un DOI con buena forma no es un DOI que exista.
Busco por el identificador, no por el título.
Sé que preguntarle «¿estás seguro?» no verifica nada.
Tengo claro qué sale de mi pantalla y qué no.

← Volver a la Escuela IA