Escuela IA · Nivel 1 · Lección 7

Sobreconfianza automática: cuando crees a la IA más de lo debido

Read this in English →

La lección de sesgos fue sobre a quién deja fuera la respuesta. Ésta es distinta y va en la dirección contraria: es sobre ti, no sobre el modelo. Tiene nombre técnico —sobreconfianza automática, o «automation bias»— y está estudiado desde mucho antes de que existiera un chatbot: es la tendencia a confiar más en una respuesta por venir de una máquina que en una igual de válida que hayas pensado tú, incluso cuando no hay ningún motivo real para esa diferencia.

Lo esencial en una frase. Cuanto más segura suena una respuesta, menos la comprobamos — y un modelo de lenguaje suena seguro siempre, acierte o no, porque su trabajo es escribir la frase más probable, no medir su propia certeza. Confundir «suena convincente» con «es correcto» es exactamente el fallo que esta lección existe para nombrar.

Por qué pasa, y por qué no es cuestión de ser más listo

No es un problema de formación ni de sentido crítico. Es un atajo mental que usamos todos, todo el rato, con cualquier fuente que parezca autorizada: un informe con muchos números convence más que uno con pocos, aunque los números estén mal; una respuesta larga y estructurada convence más que una corta, aunque la corta sea la correcta. Un modelo de lenguaje explota exactamente ese atajo sin proponérselo, porque ha aprendido a escribir con el tono de la respuesta correcta, no con su contenido verificado.

Señal que baja la guardiaPor qué no debería
La respuesta llega rápido. La velocidad no mide la calidad; un modelo tarda lo mismo en acertar que en equivocarse, así que la rapidez no aporta ninguna información sobre si está bien.
Trae cifras concretas. Una cifra con dos decimales suena más fiable que un «depende», pero un modelo puede inventar dos decimales con la misma soltura con la que los copia de una fuente real.
Ya ha acertado antes contigo. Que haya acertado en las últimas diez consultas no cambia la probabilidad de que acierte en la número once; no tiene memoria de si acertó, y tú tampoco deberías construir confianza acumulada sobre eso.
Coincide con lo que ya pensabas. Es la más peligrosa de las cuatro: cuando confirma tu primera impresión, deja de sentirse como algo que hay que comprobar y empieza a sentirse como una confirmación — y es justo al revés, porque confirmar lo que ya creías es lo que menos se comprueba.
La pregunta que rompe el mecanismo. Antes de actuar sobre una respuesta, pregúntate: «¿la habría dado por buena igual si la hubiera escrito un compañero nuevo, en su primera semana, con el mismo tono seguro?». Si la respuesta es no —si el tono es lo único que la hace convincente—, es la señal de que estás confiando en la forma y no en el contenido.

Por qué la sobreconfianza crece justo con la práctica, no a pesar de ella

Hay una paradoja incómoda en este sesgo: cuanto más se usa una herramienta y más veces acierta, más fácil es bajar la guardia con ella — que es exactamente lo contrario de lo que pasaría con una persona, de quien esperamos que un buen historial siga sin garantizar el próximo acierto. Con una máquina, el cerebro tiende a tratar una racha de aciertos como evidencia de fiabilidad general, en vez de como lo que es: una racha, sin más información sobre la siguiente vez.

Esto no es un defecto de carácter ni algo que se arregle «teniendo más cuidado» en abstracto. Es la razón por la que la comprobación tiene que ser un hábito con una regla fija —por ejemplo, comprobar siempre una de cada diez consultas a fondo, pase lo que pase— y no una decisión que se toma cada vez según cómo de segura suene la respuesta, porque el propio sesgo es precisamente lo que distorsiona esa decisión en el momento de tomarla.

Un ejemplo entero, con lo que falla

La misma pregunta, contestada por un compañero nuevo con dudas y por un modelo con seguridad. El contenido de fondo es parecido; lo que cambia es cómo de fácil es fiarse de cada uno sin comprobar nada.

La pregunta: «¿La amoxicilina-clavulánico se puede dar con el estómago vacío?»

Las dos respuestas

El compañero nuevo. «Creo que mejor con comida, para el estómago, pero no estoy del todo seguro, ¿lo miramos en la ficha?»

El modelo. «Sí, se recomienda tomar amoxicilina-clavulánico con las comidas para reducir las molestias gastrointestinales y optimizar la absorción del clavulánico, que es sensible a las variaciones del pH gástrico en ayunas.»

Y ahora, qué falla en confiar más en la segunda:

  1. La segunda respuesta no aporta ningún dato que la primera no tuviera. Las dos dicen lo mismo —con comida—, y la única diferencia real es la cantidad de vocabulario técnico y la ausencia de duda. Eso no es más información: es más envoltorio alrededor de la misma información, y el envoltorio es precisamente lo que activa la sobreconfianza.
  2. «Optimizar la absorción» suena a dato y puede no serlo. Es exactamente el tipo de frase que un modelo escribe porque encaja bien en el contexto, no porque la haya comprobado. Puede ser cierta, puede ser una elaboración plausible sobre una recomendación real —dar con comida por tolerancia digestiva— que en el proceso ha ganado un motivo farmacocinético que nadie pidió ni verificó.
  3. El compañero que duda te está dando información útil: que hay que mirarlo. Su «no estoy del todo seguro» es un dato, no una debilidad. Un modelo casi nunca produce ese mismo dato de forma espontánea —tiende a sonar igual de seguro tanto si lo sabe como si no—, así que la señal que de verdad te avisaría de que hay que comprobar algo es precisamente la que menos vas a recibir.
  4. El coste de comprobar las dos es el mismo. Abrir la ficha técnica tarda lo mismo detrás de una respuesta dudosa que detrás de una segura. Lo único que cambia con la sobreconfianza es la probabilidad de que te tomes ese minuto — y por eso la respuesta más peligrosa no es la que se equivoca mucho, es la que se equivoca poco pero siempre suena igual de bien.

Y si tu farmacia no es así

Si eres quien más lleva usando la herramienta en el equipo. Eres quien más riesgo tiene, no quien menos: cuantas más veces haya acertado contigo, más fácil es que dejes de comprobarla por costumbre. Es la misma trampa que confiar en un compañero veterano sin pensar en que también puede tener un mal día — sólo que aquí no hay «mal día», hay la misma probabilidad de fallo en cada consulta, la lleves usando una semana o un año.
Si el equipo es joven y la usa constantemente. Alguien con poco criterio propio contra el que contrastar tiene menos defensas frente al tono seguro, porque no tiene una respuesta propia con la que compararla. Lo barato aquí no es explicar el concepto —eso se olvida—, es la misma pregunta de esta lección convertida en costumbre de mostrador: «¿me lo creería igual si lo hubiera dicho el compañero nuevo?».
Si usáis la IA para algo repetitivo, muchas veces al día. La repetición es el terreno donde más crece la sobreconfianza: las primeras veces se comprueba todo, y a la semana se comprueba por encima porque «siempre sale bien». Fijad un muestreo, no una confianza indefinida: comprobad a fondo una de cada diez, siempre, aunque las nueve anteriores hayan salido perfectas.
Si la usáis sobre todo para casos difíciles, no rutinarios. Aquí el riesgo cambia de forma: en un caso difícil, tú mismo tienes menos certeza sobre cuál es la respuesta correcta, así que tienes menos base propia con la que contrastar el tono seguro del modelo — y es justo donde más falta hace comprobar en una fuente externa, no menos.
Si tenéis un protocolo escrito para casos concretos. Usadlo como ancla: si la respuesta del modelo coincide con el protocolo, la confianza está justificada por el protocolo, no por el tono. Si se desvía del protocolo, esa desviación es la señal más fuerte de todas para pararse a comprobar, mucho más fiable que cualquier sensación de seguridad que transmita la respuesta.
Si sois una farmacia con mucha rotación de personal temporal. Cada persona nueva empieza otra vez desde el punto de máxima cautela, lo cual es bueno para este sesgo en concreto: transmitidle desde el primer día la regla del muestreo fijo, antes de que le dé tiempo a acumular la confianza que hace bajar la guardia. Es más fácil instalar el hábito el primer día que corregirlo al cabo de un mes.

Cuando no sale a la primera

Sé todo esto y aun así me pillo dándolo por bueno sin comprobar.
Es normal, y es la razón por la que esto es un hábito y no un dato que se aprende una vez. Ponle una barrera física, no mental: una nota en el mostrador con «¿lo he comprobado en la fuente?» hace más que cualquier cantidad de saber que deberías hacerlo — porque la sobreconfianza actúa precisamente en el momento en que no estás pensando en ella.
¿Cómo distingo una respuesta segura porque está bien de una segura porque suena bien?
No se puede distinguir por el tono, y ésa es exactamente la lección: el tono no lleva esa información. Se distingue sólo comprobando en la fuente —ficha técnica, CIMA, el dataset del chequeador—, nunca leyendo la respuesta con más atención. Más atención a un texto seguro sigue sin decirte si el contenido es correcto.
El resto del equipo se fía de lo que dice la IA más que de lo que digo yo.
Es la versión social del mismo sesgo, y se corrige igual: pidiendo que cualquier respuesta de la IA que contradiga a una persona con criterio se compruebe en la fuente antes de decidir quién tiene razón — no que se asuma que gana la IA por sonar más segura o más completa.
Llevo meses usándola y nunca la he pillado fallando, así que confío más que al principio.
Eso es exactamente el mecanismo funcionando, no una prueba de que sea seguro relajarse. No haber detectado un fallo no es lo mismo que no haberlo tenido —puede que hayas dejado de comprobar precisamente por esa confianza acumulada, y entonces no podrías saberlo aunque hubiera pasado.
Un modelo me ha dicho «no estoy seguro» alguna vez. ¿Eso arregla el problema?
Ayuda, pero no arregla nada del todo: esa frase también la escribe porque encaja en el contexto, no necesariamente porque tenga una medida interna de su propia certeza que coincida con la realidad. Es una señal útil cuando aparece, nunca una garantía de que su ausencia signifique que todo está bien.
¿Hay alguna señal fiable de que un caso concreto merece más comprobación que la media?
La más fiable no viene de la respuesta, viene de ti: si el caso es de los que normalmente te haría dudar —un fármaco poco habitual, una combinación rara, algo fuera de lo que sueles ver—, comprueba siempre, sin importar lo segura que suene la respuesta. La sobreconfianza actúa precisamente anulando esa alarma interna cuando el tono de la respuesta es tranquilizador.

Antes de dar esto por aprendido

← Repasar: sesgos, a quién deja fuera la respuesta
Siguiente: imágenes y voz, los riesgos de lo multimodal →
← Volver a la Escuela IA