Por qué avisar que la IA puede equivocarse no cambia lo que hace la gente

Avisarle a alguien que la IA puede equivocarse no alcanza para cambiar lo que hace.

Un estudio de Carnegie Mellon probó durante dos semanas un sistema que marcaba señales de alucinación, exceso de confianza, complacencia y antropomorfismo en conversaciones reales. Participaron 45 usuarios frecuentes.

Casi todos dijeron que las alertas aumentaron su conciencia sobre los riesgos. Pero esa mayor conciencia no produjo cambios claros en su comportamiento.

Es un resultado pequeño y preliminar, pero incómodo.

Del cartel al control

Muchas estrategias de adopción y seguridad descansan en la misma idea: si explicamos el riesgo, la persona va a actuar distinto. A veces no pasa.

Si una falla es predecible, el diseño no puede terminar en un cartel. También necesita buenos defaults, permisos, confirmaciones o un workflow que haga fácil la conducta correcta.

La capacitación sirve para entender. El producto y el proceso deciden qué ocurre cuando llega el apuro.

¿En qué punto de tu proceso una advertencia debería convertirse en un control?