Máquinas y personas

El accidente de tren ocurrido en Urda, con independencia de lo que arroje la investigación sobre todos los elementos relacionados con la tragedia, plantea un debate en el que no se ha profundizado lo suficiente. Me refiero al papel del factor humano frente al factor tecnológico en el control de las situaciones que pueden desencadenar el resultado final de un accidente. La idea se puede resumir en una pregunta simple: ¿ quién debe controlar a quién , las máquinas a las personas o las personas a las máquinas? La cuestión es que, en la cadena de un sistema de seguridad, ante el fallo sucesivo de los elementos de control se llegará a un último paso en el que la acción para evitar el accidente dependerá de una persona o de una máquina. ¿Quién debe ser el elemento responsable de ese último paso? El debate no debe limitarse a la falibilidad humana o a la infalibilidad de la tecnología , pues tenemos ejemplos de fallos en los dos sentidos, ni tampoco a la frecuencia con la que se pueden presentar en una u otra circunstancia, puesto que la variabilidad de estas puede conducir a conclusiones erróneas. Creer que las máquinas garantizan la seguridad “absoluta” no es cierto, y de hecho tenemos ejemplos de graves accidentes desencadenados por “errores técnicos”, como el accidente de avión del vuelo JK5022 de Spanair ocurrido en Barajas en 2008, que causó 154 muertos cuando el avión intentó despegar sin los flaps desplegados, y la alarma que debía avisar (sistema TOWS) no sonó por un fallo eléctrico. O el del vuelo 610 de la compañía Lion Air con un Boeing 737 MAX, ocurrido en Indonesia en 2018, en el que se produjeron 346 víctimas mortales debido a que un software automático (MCAS) que dependía de un único sensor falló. Sin embargo, la reacción social es muy diferente ante el fallo humano y el fallo técnico . Cuando el error es de una persona se genera toda una respuesta en demanda de la responsabilidad individual, evidentemente teniendo en cuenta las circunstancias en las que se produjo, pero cuando el fallo es técnico normalmente la reacción se centra en la identificación del problema para garantizar una tecnología con la que no se pueda volver a producir. Este mismo esquema se traslada a cuando la responsabilidad humana se produce en un contexto donde la tecnología puede contribuir a minimizar, o incluso evitar, el fallo humano. Es lo que sucedió en el accidente del Alvia en Angrois cuando el error humano del exceso de velocidad, algo similar al accidente del metro en Valencia, se integra en un contexto de análisis en el que se concluye que si hubiera existido una determinada tecnología, el error del exceso de velocidad se habría corregido con los sistemas de seguridad diseñados para eso. En el caso del accidente de Urda los factores se invierten, pero el razonamiento es similar . En este caso el fallo inicial es de la tecnología y el error humano al controlar la situación de manera directa tiene un papel determinante en el desencadenamiento del accidente, según las informaciones sobre el caso. Pero el análisis debe ser más amplio para definir dónde debe terminar el control sobre el elemento controlador. Tenemos situaciones en las que el fallo humano se presenta solucionado con el control tecnológico, y otras en las que el fallo del sistema tecnológico de seguridad se controla por la supervisión humana. Pero si falla cualquier nivel de supervisión, ¿quién debe controlar, y cuál debe ser el último nivel de control, el humano o el tecnológico? Y necesitamos responder esta pregunta porque con frecuencia los accidentes no obedecen a una sola causa, tal y como explica el modelo del “queso suizo” de James Reason, que indica que los accidentes ocurren cuando se alinean los agujeros de varias capas de protección, técnicas y humanas, insistiendo en que ninguna de las capas es infalible y por eso hay que superponerlas. El ejemplo lo podemos llevar a los casos conocidos y apuntados. Así, se explica que el accidente de Angrois se habría evitado si hubiera estado operativo el sistema de frenado automático ERTMS, pero si hubiera estado y fallara, ¿quién controlaría ese fallo? En el caso de Urda lo que ha fallado es el sistema de segurida d, y luego lo ha hecho el control humano establecido para supervisar posibles fallos técnicos. Ante esta posible situación, ¿debe existir otro nivel de control? ¿Dñe qué tipo debe ser, tecnológico o humano? La decisión sobre este tipo de actuaciones no es baladí en un contexto en el que cada vez más el protagonismo de las máquinas desplaza a las personas de muchas acciones que antes estaban bajo su responsabilidad, y que van de situaciones más materiales y operativas, como es la utilización de coches y diferentes vehículos sin conductor, a los análisis y valoraciones realizados por IA en campos como la medicina, la ingeniería o la arquitectura. Y es importante porque no solo se trata de evitar la consecuencia dramática del accidente, sino de darle un significado al factor humano en cada una de las situaciones. Pero también de exigir responsabilidad a una política que tiene que definir el marco adecuado de integración para todo ese tipo de situaciones en las que la tecnología va ocupando un papel más relevante en la ejecución de acciones, y en el control y seguridad de las actuaciones realizadas por la propia tecnología y por las personas. Y es el significado y el papel que se le dé a cada elemento lo que va a guardar la clave para integrar y responder ante las diferentes situaciones que se pueden presentar. Porque lo que se deduce de la respuesta ante los errores técnicos es que se entienden como una limitación de la propia tecnología y del diseño que la incorpora a una máquina. No se ve responsabilidad en quien construye el aparato o el material encargado de mantener el funcionamiento o velar por la seguridad en las distintas circunstancias. Sin embargo, en el caso del error humano no se contempla una limitación como factor desencadenante del error, una limitación que puede estar relacionada con diferentes factores “humanos” como la formación, el cansancio, la percepción, la experiencia… y que se busca compensar con una máquina con sus limitaciones, como si el hecho de que las “limitaciones tasadas” de las máquinas por sí mismas fueran la solución única a las “limitaciones variables” humanas. Y lo sorprendente es que cuando existe la interacción entre el factor humano y el tecnológico la responsabilidad se diluye, tal y como se ha argumentado en el accidente de Angrois y en el de Urda respecto al papel humano, pero si no existe una tecnología de apoyo que controle la seguridad de la acción, como puede ocurrir, por ejemplo, en una intervención quirúrgica, no se produce un análisis que analice las circunstancias del cirujano o cirujana que comete el error. No se habla de cuántas horas lleva trabajando en una guardia, del cansancio acumulado, del estrés que pueda estar soportando, de la experiencia ante un campo quirúrgico mucho más complejo e inesperado… Necesitamos poner orden y establecer criterios, tanto para definir los elementos de seguridad cercanos a las consecuencias, como para definir el sistema de control en sus diferentes niveles. El desarrollo científico y tecnológico nos lleva a un escenario donde las máquinas van a actuar y a decidir cada vez con más frecuencia, y esta situación, al margen de los controles que requiera, también conduce al denominado “sesgo de automatización” , es decir, a desarrollar una tendencia que deposite más confianza en lo que dice la máquina por encima del propio juicio humano, situación que conduce a una relajación en la vigilancia y control. Y si depositamos más control sobre las máquinas y luego exigimos menos responsabilidad cuando fallan porque entendemos sus limitaciones técnicas, la instrumentalización que alguien pueda hacer para reducir costos y aumentar beneficios puede ser muy grave. ________________________ Miguel Lorente Acosta es médico y profesor en la Universidad de Granada y fue delegado del Gobierno para la Violencia de Género.