Problema 5352

La inteligencia artificial se está adoptando rápidamente para ayudar a prevenir el abuso y proteger a las personas vulnerables, como los niños en hogares de acogida (https://imprintnews.org/top-stories/in-a-new-study-georgia-professor-explores-the-use-of-artificial-intelligence-in-the-child-welfare-field/256116), los adultos en residencias de ancianos y los estudiantes en escuelas (https://scienceblog.cincinnatichildrens.org/how-artificial-intelligence-could-help-reduce-risk-of-school-violence/). Estas herramientas prometen detectar el peligro en tiempo real y alertar a las autoridades antes de que se produzcan daños graves.

Los desarrolladores utilizan, por ejemplo, el procesamiento del lenguaje natural (una forma de IA que interpreta el lenguaje escrito o hablado) para intentar detectar patrones de amenazas, manipulación y control en mensajes de texto. Esta información podría ayudar a detectar el abuso doméstico y, potencialmente, ayudar a los tribunales o a las fuerzas del orden en la intervención temprana. Algunas agencias de bienestar infantil utilizan el modelado predictivo, otra técnica común de IA, para calcular qué familias o personas corren mayor riesgo de sufrir abuso.

Si se implementan de forma inteligente, las herramientas de IA tienen el potencial de mejorar la seguridad y la eficiencia. Por ejemplo, los modelos predictivos han ayudado a los trabajadores sociales a priorizar los casos de alto riesgo e intervenir con mayor rapidez.

Pero como trabajador social con 15 años de experiencia investigando la violencia familiar —y cinco años en primera línea como gestor de casos de acogida, investigador de abuso infantil y coordinador de primera infancia—, he visto cómo los sistemas bienintencionados a menudo fallan a las mismas personas a las que se supone que deben proteger. Actualmente, estoy ayudando a desarrollar iCare, una cámara de vigilancia impulsada por IA que analiza los movimientos de las extremidades (no rostros ni voces) para detectar violencia física. Me enfrento a una pregunta crucial: ¿Puede la IA realmente ayudar a proteger a las personas vulnerables o simplemente está automatizando los mismos sistemas que les han causado daño durante mucho tiempo?

Nueva tecnología, vieja injusticia

Muchas herramientas de IA están entrenadas para "aprender" analizando datos históricos. Pero la historia está llena de desigualdad, sesgo y suposiciones erróneas. También lo están las personas que diseñan, prueban y financian la IA.

Esto significa que los algoritmos de IA pueden terminar replicando formas sistémicas de discriminación, como el racismo o el clasismo. Un estudio de 2022 en el condado de Allegheny, Pensilvania, descubrió que un modelo predictivo de riesgo para evaluar los niveles de riesgo de las familias (puntuaciones otorgadas al personal de la línea directa para ayudarles a filtrar las llamadas) habría marcado a los niños negros para investigación con un 20 % más de frecuencia que a los niños blancos, si se hubiera utilizado sin supervisión humana. Cuando se incluyó a los trabajadores sociales en la toma de decisiones, esa disparidad se redujo al 9 %.

La IA basada en el lenguaje también puede reforzar el sesgo. Por ejemplo, un estudio demostró que los sistemas de procesamiento del lenguaje natural clasificaron erróneamente el inglés vernáculo afroamericano como "agresivo" con una frecuencia significativamente mayor que el inglés estadounidense estándar, hasta un 62 % más frecuente en ciertos contextos.

Por otro lado, un estudio de 2023 descubrió que los modelos de IA a menudo tienen dificultades con las claves del contexto, lo que significa que los mensajes sarcásticos o en broma pueden clasificarse erróneamente como amenazas graves o señales de angustia.

Estas fallas pueden replicar problemas mayores en los sistemas de protección. Las personas de color han sido objeto de una vigilancia excesiva en los sistemas de bienestar infantil durante mucho tiempo, a veces debido a malentendidos culturales, a veces a prejuicios. Diversos estudios han demostrado que las familias negras e indígenas enfrentan tasas de denuncia, investigación y separación familiar desproporcionadamente más altas en comparación con las familias blancas, incluso después de considerar los ingresos y otros factores socioeconómicos. Muchas de estas disparidades se derivan del racismo estructural arraigadas en décadas de decisiones políticas discriminatorias, así como en sesgos implícitos y la toma de decisiones discrecional por parte de trabajadores sociales sobrecargados.

Vigilancia del apoyo

Incluso cuando los sistemas de IA reducen el daño a los grupos vulnerables, a menudo lo hacen a un costo alarmante.

En hospitales y centros de atención a personas mayores, por ejemplo, se han utilizado cámaras con IA para detectar agresiones físicas entre el personal, los visitantes y los residentes. Si bien los proveedores comerciales promocionan estas herramientas como innovaciones de seguridad, su uso plantea serias preocupaciones éticas sobre el equilibrio entre protección y privacidad.

En un programa piloto en Australia de 2022, los sistemas de cámaras con IA implementados en dos residencias generaron más de 12 000 alertas falsas a lo largo de 12 meses, lo que abrumó al personal y pasó por alto al menos un incidente real. La precisión del programa "no alcanzó un nivel aceptable para el personal y la dirección", según el informe independiente.

Los niños también se ven afectados. En las escuelas estadounidenses, programas de vigilancia con IA como Gaggle, GoGuardian y Securly se promocionan como herramientas para mantener la seguridad de los estudiantes. Estos programas pueden instalarse en los dispositivos de los estudiantes para supervisar la actividad en línea y detectar cualquier problema.

Pero también se ha demostrado que detectan comportamientos inofensivos, como escribir cuentos con violencia leve o investigar temas relacionados con la salud mental. Como reveló una investigación de Associated Press, estos sistemas también han revelado la identidad de estudiantes LGBTQ+ ante padres o administradores escolares al monitorear registros o conversaciones sobre género y sexualidad.

Otros sistemas utilizan cámaras y micrófonos en las aulas para detectar la "agresión". Sin embargo, con frecuencia identifican erróneamente comportamientos normales como reír, toser o jugar bruscamente, lo que a veces provoca intervenciones o medidas disciplinarias. Estos no son fallos técnicos aislados; reflejan profundas deficiencias en la forma en que se entrena e implementa la IA. Los sistemas de IA aprenden de datos históricos seleccionados y etiquetados por humanos, datos que a menudo reflejan desigualdades y sesgos sociales (https://www.hachettebookgroup.com/titles/dorothy-roberts/torn-apart/9781541675445/?lens=basic-books). Como escribió la socióloga Virginia Eubanks (https://www.albany.edu/rockefeller/faculty/virginia-eubanks) en "Automatizando la desigualdad" (https://us.macmillan.com/books/9781250074317/automatinginequality/), los sistemas de IA corren el riesgo de agravar estos problemas persistentes.

Cuidado, no castigo

Creo que la IA puede seguir siendo una fuerza positiva, pero solo si sus desarrolladores priorizan la dignidad de las personas a quienes estas herramientas deben proteger. He desarrollado un marco de cuatro principios clave para lo que llamo "IA sensible al trauma".

1. Control de los sobrevivientes: Las personas deben tener voz y voto sobre cómo, cuándo y si se les monitorea. Brindar a los usuarios un mayor control sobre sus datos puede aumentar la confianza en los sistemas de IA y aumentar su participación en los servicios de apoyo, como la creación de planes personalizados para mantenerse a salvo o acceder a ayuda.

2. Supervisión humana: Los estudios demuestran que combinar la experiencia de los trabajadores sociales con el apoyo de la IA mejora la equidad y reduce el maltrato infantil, como en el condado de Allegheny, donde los trabajadores sociales utilizaron puntuaciones de riesgo algorítmicas como un factor, junto con su criterio profesional, para decidir qué denuncias de abuso infantil investigar.

3. Auditoría de sesgos: Se insta cada vez más a los gobiernos y desarrolladores a evaluar los sistemas de IA para detectar sesgos raciales y económicos. Herramientas de código abierto como AI Fairness 360 de IBM (https://research.ibm.com/blog/ai-fairness-360), la herramienta What-If de Google (https://pair-code.github.io/what-if-tool/) y Fairlearn (https://fairlearn.org/) ayudan a detectar y reducir estos sesgos en los modelos de aprendizaje automático.

4. Privacidad desde el diseño: La tecnología debe diseñarse para proteger la dignidad de las personas. Herramientas de código abierto como Amnesia, la biblioteca de privacidad diferencial de Google y SmartNoise de Microsoft ayudan a anonimizar datos confidenciales eliminando u ocultando información identificable. Además, técnicas basadas en IA, como el desenfoque facial, permiten anonimizar la identidad de las personas en vídeos o fotos.

Honrar estos principios implica construir sistemas que respondan con cuidado, no con castigo.

Ya están surgiendo algunos modelos prometedores. La Coalición contra el Stalkerware y sus socios abogan por la inclusión de las personas sobrevivientes en todas las etapas del desarrollo tecnológico, desde la evaluación de necesidades hasta las pruebas de usuario y la supervisión ética.

La legislación también es importante. El 5 de mayo de 2025, por ejemplo, el gobernador de Montana firmó una ley que restringe a los gobiernos estatales y locales el uso de IA para tomar decisiones automatizadas sobre personas sin supervisión humana significativa. Exige transparencia sobre el uso de la IA en los sistemas gubernamentales y prohíbe la elaboración de perfiles discriminatorios.

Como les digo a mis estudiantes, las intervenciones innovadoras deben interrumpir los ciclos de daño, no perpetuarlos. La IA nunca reemplazará la capacidad humana de contextualizar y compadecerse. Pero con los valores correctos como base, podría ayudarnos a ofrecer más de ella.