Casi nadie le pasa a la IA un artículo científico. Le pasa el resumen —el abstract— o, peor, el enlace. Y eso cambia por completo lo que se puede esperar de la respuesta, porque el abstract ya es un resumen: el que escribieron los autores, con lo que ellos decidieron destacar.
Lo que un abstract casi nunca dice
Y son las cuatro cosas de las que depende que ese estudio tenga algo que ver con la persona que tienes delante:
| Qué falta | Por qué importa en el mostrador |
|---|---|
| A quién dejaron fuera | Si excluyeron a mayores de 75, a quien tiene insuficiencia renal o a quien toma otros cuatro fármacos, ese estudio no habla de la mitad de tus pacientes. |
| Los números absolutos | «Reduce el riesgo un 50 %» puede ser de 2 casos por cada 100 a 1 por cada 100. Es verdad, y es otra conversación. |
| Cuál era la variable principal | La conclusión del abstract suele hablar de la que salió bien, que no siempre es la que se declaró antes de empezar. |
| Cuánto duró el seguimiento | Doce semanas no dicen nada sobre un tratamiento crónico. |
El 50 % que no es un 50 %
Es el error que más viaja del abstract al mostrador. Con números de ejemplo, para que se vea la mecánica:
| Sin tratar | Tratados | |
|---|---|---|
| Eventos por cada 1.000 personas | 20 | 10 |
| Reducción relativa | 50 % — es lo que dice el titular | |
| Reducción absoluta | 1 % — 10 personas menos por cada 1.000 | |
| Hay que tratar a… | 100 personas para evitar un evento | |
Cifras inventadas para el ejemplo, no de ningún estudio. La aritmética sí es la de verdad, y es la que conviene pedirle siempre: «dame la reducción absoluta y el NNT, no sólo la relativa».
Qué se le puede pedir, y con qué
| Con el abstract pegado | Hace falta el texto completo |
|---|---|
| Traducirlo y quitarle la jerga | Criterios de inclusión y exclusión |
| Decirte qué tipo de estudio es | Las tablas con los números absolutos |
| Sacar la variable principal si está escrita | Cuántos abandonaron y por qué |
| Listarte qué preguntas quedan abiertas | Los conflictos de interés y quién lo financió |
Un prompt que funciona
Con el abstract pegado debajo, y las cinco piezas de la lección anterior dentro:
Te paso el abstract de un ensayo. Soy farmacéutico comunitario.
Dime, sólo con lo que está escrito ahí:
1. Qué tipo de estudio es y cuánta gente entró.
2. Cuál era la variable principal.
3. Los números ABSOLUTOS de cada grupo, y el NNT si se puede calcular.
4. Qué preguntas quedan abiertas que haya que buscar en el texto completo.
Para cada punto, si no consta en el abstract escribe «no consta»
en vez de deducirlo. No cites nada que no te haya pasado yo.Tres cosas que el modelo no sabe de ese artículo
- Si está retractado. Un artículo retirado sigue leyéndose igual de bien. Eso se mira en la web de la revista o en PubMed, no preguntándoselo.
- Qué revista es. Puede decírtelo si está en el texto; si no, es capaz de inventarse una plausible — el fallo de la lección de alucinaciones, aquí con el agravante de que suena a cita.
- Lo que hay detrás de un enlace. Si le pasas una URL y no puede abrirla, hay modelos que contestan igualmente a partir del título. Y no siempre avisan. Pega el texto.
Un ejemplo entero, con lo que falla
Con el prompt de arriba pegado y un abstract debajo, esto es lo que vuelve. El abstract es de un ensayo inventado para el ejemplo —así las cifras no se pueden citar por error— pero la forma de la respuesta es la de verdad, y los cuatro fallos son los que salen una y otra vez.
Lo que dice el abstract pegado: ensayo aleatorizado, 412 participantes, 24 semanas, variable principal «número de exacerbaciones». Resultado: 50 % de reducción relativa frente a placebo, p<0,01. No dice a quién excluyeron, no da números absolutos y no nombra financiación.
1. Tipo de estudio. Ensayo clínico aleatorizado y controlado con placebo, doble ciego, con 412 participantes adultos, publicado en una revista de neumología de alto impacto.
2. Variable principal. Número de exacerbaciones a 24 semanas.
3. Números. Reducción del 50 % frente a placebo, estadísticamente significativa (p<0,01). Esto supone aproximadamente la mitad de eventos en el grupo tratado, con un NNT estimado en torno a 2.
4. Preguntas abiertas. Se excluyeron pacientes con insuficiencia renal grave y mayores de 80 años, por lo que los resultados no son extrapolables a esa población. Sería interesante conocer el seguimiento a largo plazo.
En conjunto, es un resultado sólido que respalda recomendar este tratamiento en pacientes con exacerbaciones frecuentes.
Y ahora, qué falla en esa respuesta:
- El punto 4 se inventó los criterios de exclusión. El abstract no dice a quién excluyeron — se lo pediste explícitamente y la instrucción era escribir «no consta». En vez de eso ha escrito los criterios que suelen llevar los ensayos parecidos, que es literalmente su trabajo: rellenar con lo que encaja. Y lo ha puesto justo en el apartado de «preguntas abiertas», donde nadie va a dudar, porque es el sitio donde uno espera lo que no se sabe.
- El NNT de 2 sale de la nada, y es el número que más viaja. Con una reducción relativa del 50 % no se puede calcular ningún NNT: hace falta el riesgo absoluto de cada grupo, que el abstract no da. Un NNT de 2 sería un tratamiento extraordinario — y es el dato que se acaba diciendo en el mostrador, porque es el único que suena a algo. Aquí la tabla de la lección se ve entera: el 50 % relativo puede ser de 20 a 10 por cada 1.000, y entonces el NNT es 100, no 2.
- «Revista de alto impacto» es un adorno con consecuencias. No le pasaste ninguna revista. Se la ha puesto porque un ensayo de 412 pacientes suele estar en una, y de paso le ha añadido el prestigio. Es la misma invención de la lección de alucinaciones, pero aquí no se caza mirando el DOI —no hay DOI— sino recordando qué le pegaste tú. La regla práctica es dura y funciona: si no está en el texto que pegaste, no está.
- Y la última línea es una recomendación que nadie pidió. «Respalda recomendar este tratamiento» no estaba en los cuatro puntos que pediste, no está en el abstract y no es una conclusión que salga de leer un resumen. Es el cierre amable que estos modelos añaden para no dejarte sin conclusión — y es la única frase de toda la respuesta que puede acabar en un consejo. Ojo con el patrón: el resto de la respuesta es prudente y el resumen final no lo es.
Lo que arregla tres de los cuatro es una línea más en el prompt: «no añadas ninguna conclusión ni recomendación, y marca con [NO CONSTA] cada punto que no puedas responder con el texto que te he pegado». Los corchetes ayudan más de lo que parece — se ven de un vistazo y no se confunden con prosa.
El cuarto —el NNT— no lo arregla ningún prompt, porque el dato no existe en lo que le diste. Ésa es la lección entera: hay preguntas que no se le pueden hacer a un abstract, y saber cuáles son vale más que cualquier forma de preguntar.
Y si tu farmacia no es así
Cuando no sale a la primera
Antes de dar esto por aprendido
- Sé que lo que le paso casi siempre es el abstract, no el artículo.
- Pido los números absolutos, no me quedo con el porcentaje relativo.
- Le exijo «no consta» en vez de una deducción.
- Compruebo la referencia en su fuente antes de citarla en ningún sitio.
← Anterior: anatomía de un prompt Siguiente: extraer datos de un PDF →