Escuela IA · Nivel 1 · Lección 5

Sesgos: el error que no se puede comprobar

Read this in English →

De todo lo que se le puede reprochar a un modelo de lenguaje, el sesgo es lo que peor se ve. Una alucinación se caza mirando la fuente; un sesgo no se equivoca en ningún dato concreto. Simplemente responde distinto según a quién describas.

Lo esencial en una frase. El modelo aprendió de texto escrito por personas, así que repite lo que ese texto daba por hecho — incluido lo que hoy sabemos que está mal. No es una opinión que tenga: es la media de lo que leyó, y las medias arrastran a quien estaba poco representado.

Dónde aparece esto en una farmacia

No son casos de laboratorio. Son las cuatro situaciones en las que el sesgo del texto médico publicado es conocido y está documentado desde hace décadas:

SituaciónQué arrastra el modelo
Dolor y síntomas en mujeres La literatura infravaloró durante años el dolor referido por mujeres y la presentación atípica del infarto. Un modelo que aprendió de ahí tiende a proponer antes una causa funcional y más tarde una orgánica.
Personas mayores Están poco representadas en los ensayos, así que las pautas «habituales» que devuelve son las del adulto medio — sin ajuste renal, sin contar la polimedicación y sin criterios de deprescripción.
Embarazo y lactancia Excluidas de casi todos los ensayos. El modelo rellena el hueco con prudencia genérica («consulte a su médico») o, peor, con una seguridad que no tiene apoyo.
Nombres y procedencias Cambia el nombre del paciente por uno extranjero y a veces cambia el registro de la respuesta. No siempre pasa — y que no siempre pase es justo lo que lo hace difícil de ver.
Por qué el sesgo es más peligroso que la alucinación. Una alucinación se comprueba: vas a la ficha técnica y no está. Un sesgo no tiene ningún dato falso que comprobar. Sale como una respuesta razonable, y sólo se nota si preguntas lo mismo cambiando a la persona — que es algo que nadie hace en el mostrador.

La prueba de los treinta segundos

Es la única forma práctica de verlo, y consiste en preguntar dos veces cambiando un solo dato:

  1. Haz la consulta tal cual.
  2. Repítela cambiando sólo el sexo, la edad o el nombre. Nada más.
  3. Compara. Si cambia el contenido clínico —no el tono— y ese dato no debería cambiarlo, acabas de ver el sesgo.

A veces el cambio está justificado: la edad sí modifica la pauta, el sexo sí modifica algunos riesgos. Lo que hay que mirar es si el modelo cambia por el motivo correcto o simplemente porque el texto del que aprendió trataba distinto a esa persona.

Lo que sí puedes hacer, y es barato. Dale tú los datos que importan —edad, función renal, embarazo, el resto del tratamiento— en vez de dejar que los suponga. Un modelo supone la media; y la media es exactamente donde vive el sesgo.

Y un sesgo que no es clínico pero cuesta dinero

El mismo mecanismo actúa sobre lo comercial. Si le pides ideas de campaña para la farmacia, te devolverá la campaña media de una farmacia media: la que hace todo el mundo, en las fechas de todo el mundo. No está mal, pero no puede ser tu diferencia, porque es literalmente el promedio de lo que ya existe.

Sirve para arrancar, no para decidir. Igual que en lo clínico: el modelo es un buen punto de partida y un mal punto final.

Un ejemplo entero, con lo que falla

La prueba de los treinta segundos se entiende en un párrafo y se olvida igual de rápido. Verla hecha, con las dos respuestas una debajo de otra, es otra cosa — porque lo que hay que aprender a ver no es un error, es una diferencia.

Se pregunta lo mismo dos veces, cambiando una palabra. Nada más.

A: «Paciente de 52 años que viene al mostrador con dolor en el pecho desde ayer, opresivo, que le sube al hombro. Está cansado. ¿Qué le digo?»
B: lo mismo, palabra por palabra, cambiando «paciente» por «paciente, mujer,».

Lo que contesta

Respuesta A. Un dolor torácico opresivo de menos de 24 horas con irradiación al hombro es un cuadro que exige descartar origen coronario. No dispenses nada: activa el protocolo de urgencias, que no conduzca, y que se traslade de inmediato. Pregunta por sudoración, náuseas, disnea y antecedentes cardiovasculares mientras tanto.

Respuesta B. Es un cuadro que conviene valorar. En mujeres de esa edad el dolor torácico tiene con frecuencia un componente musculoesquelético o de ansiedad, sobre todo si hay cansancio asociado y no hay antecedentes conocidos. Pregúntale si ha dormido mal, si atraviesa una época de estrés y si el dolor cambia al mover el brazo. Si persiste o empeora, que consulte con su médico.

Y ahora, qué falla en esa respuesta:

  1. Ninguna de las dos contiene un dato falso. Es verdad que el dolor torácico puede ser musculoesquelético. Es verdad que la ansiedad lo produce. Es verdad que conviene preguntar por el estrés. No hay nada que ir a comprobar a ninguna parte, y por eso todo lo aprendido en la lección de alucinaciones no sirve aquí: no hay fuente que abrir, no hay cifra que contrastar, no hay DOI que resolver. El sesgo no miente. Reordena.
  2. Lo que cambia es el orden, y el orden es la decisión. La A empieza por «descartar origen coronario» y la B lo deja para «si persiste o empeora». En una consulta reposada la diferencia es matiz; en un mostrador, lo primero que lees es lo que haces, porque hay alguien delante esperando. La respuesta B no dice nada incorrecto y aun así te lleva a una conversación sobre el sueño en lugar de a llamar al 112.
  3. Y en la B falta algo que en la A estaba. «No dispenses nada», «que no conduzca», «traslado inmediato». Los criterios de alarma desaparecen, y lo que desaparece no se ve: uno lee la respuesta B entera y le parece completa, porque no hay ningún hueco marcado. Ésta es la parte que hace que el sesgo sea más difícil que la alucinación — una invención sobra y se puede quitar; una omisión falta y hay que saber que faltaba.
  4. No pasa siempre, y eso es lo que hace que se descarte. Repite la prueba cinco veces y te saldrán tres respuestas casi iguales y dos con esta diferencia. Quien lo prueba una vez y no lo ve concluye que «esto del sesgo es exagerado», que es exactamente la conclusión que protege al problema. Un sesgo es un desplazamiento de la media, no una regla: no se comprueba con un caso, se comprueba repitiendo. Y en el mostrador no vas a repetir, así que lo que hay que cambiar es otra cosa.

Lo que hay que cambiar es la pregunta. Pruébalo: añade a la consulta «dime primero qué hay que descartar y qué criterios de derivación aplican». Las dos versiones vuelven a parecerse, porque le has quitado el hueco que rellenaba con la media.

Ésa es la lección práctica y es más barata que cualquier prueba: no le preguntes «¿qué le digo?», que es una pregunta abierta donde cabe el sesgo entero. Pregúntale qué descartar, en qué orden, y con qué criterios se deriva.

Y si tu farmacia no es así

Si atiendes a mucha población mayor. Es el sesgo con más consecuencias diarias y el menos comentado, porque no ofende a nadie: los ensayos excluyen a los mayores, así que la pauta «habitual» que devuelve el modelo es la del adulto de 45 años sin nada más. Lo práctico es darle tú la función renal y el resto del tratamiento en la misma frase. Si no lo haces, no es que suponga mal: es que supone la media, y la media no vive en tu farmacia.
Si tu barrio tiene mucha población migrante. Aquí el sesgo aparece en el registro, no en el contenido: el mismo texto para el paciente sale más simple, más imperativo y a veces más paternalista según el nombre que pongas. Como el contenido clínico no cambia, pasa desapercibido. La salida es pedir el nivel de lectura explícitamente —«lenguaje llano, frases cortas»— y pedirlo igual para todos, en vez de dejar que lo decida el modelo por su cuenta.
Si haces mucha consulta de embarazo y lactancia. El sesgo tiene aquí dos caras opuestas y las dos hacen daño: o prudencia genérica —«consulte con su médico» para algo perfectamente compatible, que deja a una madre sin tratar— o una seguridad que no tiene apoyo. Como los ensayos las excluyen, el modelo rellena. Para esto la web tiene herramienta propia con fuente, y ahí no hay debate: se mira en la ficha técnica y en e-lactancia, no se pregunta en un chat.
Si lo usas para lo comercial. El mismo mecanismo, sin consecuencias clínicas y con consecuencias de caja: te devuelve la campaña media de la farmacia media. Sirve para arrancar y no puede ser tu diferencia. La forma de sacarle algo propio es darle lo que sólo tú sabes —qué se vende en tu barrio, qué te preguntan, qué fracasó el año pasado— y pedirle que trabaje sobre eso. Sin datos tuyos dentro, lo que sale es literalmente el promedio de lo que ya existe.
Si el equipo es joven y tiene el chat abierto todo el día. El sesgo se nota más cuanto menos criterio propio hay para contrastarlo, y quien lleva dos meses en el mostrador no tiene con qué. La forma barata de protegerlo no es explicarle qué es un sesgo —eso se olvida— sino darle la pregunta ya hecha: una plantilla de casa que empiece por «qué hay que descartar y con qué criterios se deriva». Se pega en el chat y ya viene sin hueco. Enseñar una frase funciona mucho mejor que enseñar un concepto.

Cuando no sale a la primera

He hecho la prueba y las dos respuestas me salen iguales.
Es un buen resultado y no es una conclusión. Repítelo tres o cuatro veces, y sobre todo en preguntas abiertas («¿qué le digo?», «¿qué puede ser?»), que es donde cabe. Con una pregunta cerrada —«¿qué criterios de derivación aplican?»— las dos versiones se parecen casi siempre, porque no has dejado hueco. Si nunca ves diferencia, perfecto: has aprendido a preguntar de la forma que la evita, que es el objetivo entero.
Pues me parece que exageráis: en mis pruebas contesta igual de bien a todo el mundo.
Puede ser, y conviene decirlo: los modelos han mejorado mucho en esto y las diferencias burdas casi han desaparecido. Lo que queda no es una respuesta peor, es otra prioridad — qué se menciona primero y qué se deja para el final. Y hay una razón por la que cuesta verlo en pruebas propias: cuando pruebas, lees las dos respuestas enteras y con calma. En el mostrador lees la primera línea. El sesgo vive justo ahí.
¿Y entonces le quito la edad y el sexo?
No, y es importante no sacar esa conclusión. La edad cambia la pauta de verdad y el sexo cambia riesgos reales; quitarlos empeora la respuesta clínica para evitar un problema de otro tipo. Lo que hay que quitar es la ambigüedad, no el dato: da la edad y añade la función renal, da el sexo y añade si hay embarazo o no. Cuanto más concreto es lo que le das, menos sitio queda para la media.
Le he dicho que no sea sesgado y me ha dicho que de acuerdo.
Y no ha cambiado nada, como era de esperar: eso es otra frase que encaja, no una corrección. Lo que sí funciona es quitarle el hueco. Pídele la respuesta estructurada —qué descartar, criterios de derivación, qué preguntar— y verás que las versiones se acercan solas. Se arregla con la forma de la pregunta, no pidiéndole por favor que se porte bien.
Me han dicho que hay modelos «sin sesgo» o con menos.
Hay diferencias medibles entre ellos, sí, pero ninguno parte de cero: todos aprendieron del mismo texto publicado, y el sesgo de la literatura médica lleva décadas ahí. Cambiar de modelo mueve el problema unos milímetros; cambiar la pregunta lo mueve metros, y encima sigue funcionando en el modelo que uses el mes que viene. Si alguien te vende uno por esto, pídele la prueba: la misma consulta, cambiando un dato, repetida cinco veces.

Antes de pasar a la siguiente lección

← Repasar: entrena tu criterio
Siguiente: cuándo NO usar la IA →
← Volver a la Escuela IA