Incidentes Asociados
Mark notó que algo andaba mal con su niño pequeño. El pene de su hijo se veía hinchado y le dolía. Mark, un padre que se queda en casa en San Francisco, tomó su teléfono inteligente Android y tomó fotos para documentar el problema y poder seguir su evolución. Era un viernes por la noche de febrero de 2021. Su esposa llamó a una enfermera asesora de su proveedor de atención médica para programar una consulta de emergencia para la mañana siguiente, por video porque era sábado y había una pandemia. La enfermera dijo que enviara fotos para que el médico pudiera revisarlas con anticipación. La esposa de Mark tomó el teléfono de su esposo y envió un mensaje de texto con algunos primeros planos de alta calidad del área de la ingle de su hijo a su iPhone para poder subirlos al sistema de mensajería del proveedor de atención médica. En uno, la mano de Mark era visible, lo que ayudaba a mostrar mejor la hinchazón. Mark y su esposa no pensaron en los gigantes tecnológicos que hicieron posible esta rápida captura e intercambio de datos digitales, ni en lo que esos gigantes podrían pensar de las imágenes. Con la ayuda de las fotos, el médico diagnosticó el problema y le recetó antibióticos, lo que lo solucionó rápidamente. Pero el episodio dejó a Mark con un problema mucho mayor, uno que le costaría más de una década de contactos, correos electrónicos y fotos, y lo convertiría en el objetivo de una investigación policial. Mark, que pidió ser identificado solo por su nombre por temor a un posible daño a su reputación, había sido atrapado en una red algorítmica diseñada para atrapar a las personas que intercambian material de abuso sexual infantil. Debido a que las empresas de tecnología capturan tantos datos de manera rutinaria, se las ha presionado para que actúen como centinelas, examinando lo que pasa a través de sus servidores para detectar y prevenir comportamientos delictivos. Los defensores de los niños dicen que la cooperación de las empresas es esencial para combatir la propagación desenfrenada en línea de [imágenes de abuso sexual] (https://www.nytimes.com/interactive/2019/09/28/us/child-sex-abuse.html) . Pero puede implicar mirar archivos privados, como álbumes de fotos digitales, una intrusión que los usuarios pueden no esperar, que ha arrojado un comportamiento inocente bajo una luz siniestra en al menos dos casos que The Times ha descubierto. Jon Callas, tecnólogo de Electronic Frontier Foundation, una organización de libertades civiles digitales, calificó los casos de canarios **“**en esta mina de carbón en particular”. “Podría haber decenas, cientos, miles más de estos”, dijo. Dada la naturaleza tóxica de las acusaciones, Callas especuló que la mayoría de las personas señaladas indebidamente no darían a conocer lo sucedido. “Sabía que estas empresas estaban observando y que la privacidad no es lo que esperábamos que fuera”, dijo Mark. “Pero no he hecho nada malo”. La policía estuvo de acuerdo. Google no lo hizo. 'Una infracción grave' -------------------- Después de configurar una cuenta de Gmail a mediados de los años, Mark, que tiene 40 años, llegó a depender en gran medida de Google. Sincronizó citas con su esposa en Google Calendar. La cámara de su teléfono inteligente Android hizo una copia de seguridad de sus fotos y videos en la nube de Google. Incluso tenía un plan de teléfono con Google Fi. Dos días después de tomar las fotos de su hijo, el teléfono de Mark emitió un ruido de notificación: su cuenta había sido inhabilitada debido a "contenido dañino" que era "una violación grave de las políticas de Google y podría ser ilegal". Un enlace de "más información" conducía a una lista de posibles motivos, que incluía "explotación y abuso sexual infantil". Mark estaba confundido al principio, pero luego recordó la infección de su hijo. “Oh, Dios, probablemente Google piense que eso fue pornografía infantil”, pensó. En un giro inusual, Mark había trabajado como ingeniero de software en la herramienta automatizada de una gran empresa de tecnología para eliminar contenido de video señalado por los usuarios como problemático. Sabía que tales sistemas a menudo tienen un ser humano al tanto para asegurarse de que las computadoras no cometan un error, y asumió que su caso se aclararía tan pronto como llegara a esa persona. Rellenó un formulario solicitando una revisión de la decisión de Google, explicando la infección de su hijo. Al mismo tiempo, descubrió el efecto dominó del rechazo de Google. No solo perdió correos electrónicos, información de contacto de amigos y antiguos colegas y documentación de los primeros años de vida de su hijo, sino que su cuenta de Google Fi se cerró, lo que significa que tuvo que obtener un nuevo número de teléfono con otro proveedor. Sin acceso a su antiguo número de teléfono y dirección de correo electrónico, no pudo obtener los códigos de seguridad que necesitaba para iniciar sesión en otras cuentas de Internet, lo que lo bloqueó de gran parte de su vida digital. “Cuantos más huevos tenga en una canasta, es más probable que la canasta se rompa”, dijo. En un comunicado, Google dijo: “El material de abuso sexual infantil es abominable y estamos comprometidos a evitar su difusión en nuestras plataformas”. Unos días después de que Mark presentara la apelación, Google respondió que no restablecería la cuenta, sin dar más explicaciones. Mark no lo sabía, pero el equipo de revisión de Google también había marcado un video que hizo y el Departamento de Policía de San Francisco ya había comenzado a investigarlo. Cómo marca Google las imágenes ----------------------- El día después de que comenzaran los problemas de Mark, el mismo escenario estaba ocurriendo en Texas. Un niño pequeño en Houston tenía una infección en sus "partes íntimas", escribió su padre en [una publicación en línea] (https://googlemessingupmylife.quora.com/Google-incorrectly-judged-my-case-On-February-22nd- 2021-Google-deshabilitó-mi-cuenta-diciendo-que-había-violado-gravemente-th) con el que me topé mientras informaba sobre la historia de Mark. A pedido del pediatra, Cassio, quien también pidió ser identificado solo por su nombre de pila, usó un Android para tomar fotos, las cuales fueron respaldadas automáticamente en Google Photos. Luego se los envió a su esposa a través del servicio de chat de Google. Cassio estaba comprando una casa y firmando innumerables documentos digitales cuando su cuenta de Gmail fue desactivada. Le pidió a su corredor de hipotecas que cambiara su dirección de correo electrónico, lo que hizo que el corredor sospechara hasta que el agente de bienes raíces de Cassio respondió por él. “Fue un dolor de cabeza”, dijo Cassio. Las imágenes de niños explotados o abusados sexualmente son marcadas por gigantes tecnológicos millones de veces al año. En 2021, solo Google presentó más de 600 000 denuncias de material de abuso infantil y deshabilitó como resultado, las cuentas de más de 270.000 usuarios. Las experiencias de Mark y Cassio fueron gotas en un gran balde. La primera herramienta de la industria tecnológica que interrumpió seriamente el vasto intercambio en línea de la llamada pornografía infantil fue PhotoDNA, una base de datos de imágenes conocidas de abuso, convertidas en códigos digitales únicos o hashes; podría usarse para examinar rápidamente una gran cantidad de imágenes para detectar una coincidencia, incluso si una foto se ha alterado en pequeñas formas. Después de que Microsoft lanzara PhotoDNA en 2009, Facebook y otras compañías tecnológicas lo usaron para erradicar a los usuarios que circulaban imágenes ilegales y dañinas. “Es una herramienta excelente”, dijo [en ese momento] el presidente del Centro Nacional para Niños Desaparecidos y Explotados (https://archive.nytimes.com/bits.blogs.nytimes.com/2009/12/16/microsoft -aborda-el-problema-de-la-pornografía-infantil/). Un gran avance se produjo casi una década después, en 2018, cuando Google [desarrolló](https://www.blog.google/around-the-globe/google-europe/using-ai-help-organizations-detect-and -report-child-sexual-abuse-material-online/) una herramienta artificialmente inteligente que podría reconocer imágenes nunca antes vistas de explotación de niños. Eso significó encontrar no solo imágenes conocidas de niños abusados, sino también imágenes de víctimas desconocidas que potencialmente podrían ser rescatadas por las autoridades. Google puso su tecnología a disposición de otras empresas, incluido [Facebook](https://about.fb.com/news/2021/02/ prevención-de-la-explotación-infantil-en-nuestras-aplicaciones/). Cuando las fotos de Mark y Cassio se cargaron automáticamente desde sus teléfonos a los servidores de Google, esta tecnología los marcó. Jon Callas de la E.F.F. llamó el escaneo intrusivo, diciendo que un álbum de fotos familiar en el dispositivo personal de alguien debería ser una "esfera privada". (Una portavoz de Google dijo que la empresa escanea solo cuando un usuario realiza una "acción afirmativa", lo que incluye cuando el teléfono del usuario hace una copia de seguridad de las fotos en la nube de la empresa). "Esta es precisamente la pesadilla que nos preocupa a todos". dijo el Sr. Callas. “Van a escanear mi álbum familiar y luego me voy a meter en problemas”. Un moderador de contenido humano de Google habría revisado las fotos después de que la inteligencia artificial las marcara para confirmar que cumplían con la definición federal de material de abuso sexual infantil. Cuando Google hace tal descubrimiento, bloquea la cuenta del usuario, busca otro material de explotación y, según lo exige la [ley federal](https://uscode.house.gov/view.xhtml?req=granuleid:USC-prelim- title18-section2258A&num=0&edition=prelim ), hace un informe a CyberTipline en el Centro Nacional para Niños Desaparecidos y Explotados. La organización sin fines de lucro se ha convertido en el centro de intercambio de material de abuso; recibió 29,3 millones de informes el año pasado, o alrededor de 80.000 informes al día. Fallon McNulty, que administra CyberTipline, dijo que la mayoría de estas son imágenes reportadas anteriormente, que siguen circulando constantemente en Internet. Entonces, su equipo de 40 analistas se enfoca en posibles nuevas víctimas, para que puedan priorizar esos casos para la aplicación de la ley. “En general, si el personal del NCMEC revisa un informe de CyberTipline e incluye material de explotación que no se ha visto antes, se intensificará”, dijo la Sra. McNulty. “Ese puede ser un niño que aún no ha sido identificado o protegido y no está fuera de peligro”. La Sra. McNulty dijo que la asombrosa capacidad de Google para detectar estas imágenes para que su organización pudiera denunciarlas a la policía para una mayor investigación era "un ejemplo del sistema que funciona como debería". Los miembros del personal de CyberTipline agregan cualquier nueva imagen abusiva a la base de datos codificada que se comparte con las empresas de tecnología para fines de escaneo. Cuando la esposa de Mark se enteró de esto, borró las fotos que Mark había tomado de su hijo de su iPhone, por temor a que Apple pudiera marcar su cuenta. Apple anunció planes el año pasado para escanear Fotos de iCloud en busca de representaciones de niños abusivas sexualmente conocidas, pero el lanzamiento fue retrasado indefinidamente después de la resistencia de los grupos de privacidad. En 2021, CyberTipline informó que había alertado a las autoridades sobre “más de 4260 posibles nuevas víctimas infantiles”. Entre ellos se contaban los hijos de Marcos y Casio. "No se produjo ningún delito" ------------------- En diciembre de 2021, Mark recibió un sobre manila por correo del Departamento de Policía de San Francisco. Contenía una carta en la que se le informaba que había sido investigado, así como copias de las órdenes de allanamiento enviadas a Google y a su proveedor de servicios de Internet. Un investigador, cuya información de contacto se proporcionó, había pedido todo en la cuenta de Google de Mark: sus búsquedas en Internet, su historial de ubicaciones, sus mensajes y cualquier documento, foto y video que hubiera almacenado con la empresa. La búsqueda, relacionada con “videos de explotación infantil”, había tenido lugar en febrero, una semana después de que tomó las fotos de su hijo. Mark llamó al investigador, Nicholas Hillard, quien dijo que el caso estaba cerrado. El Sr. Hillard había intentado ponerse en contacto con Mark, pero su número de teléfono y dirección de correo electrónico no habían funcionado. “Determiné que el incidente no cumplió con los elementos de un delito y que no ocurrió ningún delito”, escribió el Sr. Hillard en su informe. La policía tuvo acceso a toda la información que Google tenía sobre Mark y decidió que no constituía abuso o explotación infantil. Mark preguntó si el Sr. Hillard podía decirle a Google que era inocente para poder recuperar su cuenta. “Tienes que hablar con Google”, dijo Hillard, según Mark. "No hay nada que pueda hacer." Mark volvió a apelar su caso a Google y proporcionó el informe policial, pero fue en vano. Después de recibir un aviso hace dos meses de que su cuenta se eliminaría de forma permanente, Mark habló con un abogado sobre demandar a Google y cuánto podría costar. “Decidí que probablemente no valía $7,000”, dijo. Kate Klonick, profesora de derecho en St. John's University que ha escrito sobre moderación de contenido en línea, dijo que puede ser un desafío para "dar cuenta de las cosas que son invisibles en una foto, como el comportamiento de las personas que comparten una imagen o las intenciones de la persona que la toma". Los falsos positivos, en los que se marca erróneamente a las personas, son inevitables dados los miles de millones de imágenes que se escanean. Si bien la mayoría de la gente probablemente consideraría que vale la pena hacer una compensación, dado el beneficio de identificar a los niños abusados, la Sra. Klonick dijo que las empresas necesitan un "proceso sólido" para limpiar y reintegrar a personas inocentes que están erróneamente marcadas. “Esto sería problemático si fuera solo un caso de censura y moderación de contenido”, dijo Klonick. “Pero esto es doblemente peligroso porque también resulta en que alguien sea denunciado ante las fuerzas del orden”. Podría haber sido peor, dijo, con un padre que podría perder la custodia de un niño. “Se puede imaginar cómo podría escalar esto”, dijo Klonick. Cassio también fue investigado por la policía. Un detective del departamento de policía de Houston llamó en el otoño de 2021 y le pidió que fuera a la estación. Después de que Cassio le mostró al detective sus comunicaciones con el pediatra, fue absuelto rápidamente. Pero él tampoco pudo recuperar su cuenta de Google de hace una década, a pesar de ser un usuario que paga los servicios web de Google. Ahora usa una dirección de Hotmail para el correo electrónico, por lo que la gente se burla de él, y hace múltiples copias de seguridad de sus datos. No necesariamente lo sabes cuando lo ves --------------------------------------- ------ No todas las fotos de niños desnudos son pornográficas, explotadoras o abusivas. Carissa Byrne Hessick, profesora de derecho de la Universidad de Carolina del Norte que escribe sobre delitos de pornografía infantil, dijo que definir legalmente lo que constituye abuso sexual las imágenes pueden ser complicadas. Pero Hessick dijo que estaba de acuerdo con la policía en que las imágenes médicas no calificaban. “No hay abuso del niño”, dijo. “Se toma por razones no sexuales”. En el aprendizaje automático, un programa de computadora se entrena al recibir información "correcta" e "incorrecta" hasta que puede distinguir entre los dos. Para evitar marcar fotos de bebés en el baño o niños corriendo desnudos a través de aspersores, la I.A. de Google. para reconocer el abuso se entrenó tanto con imágenes de material potencialmente ilegal encontrado por Google en cuentas de usuarios en el pasado como con imágenes que no eran indicativas de abuso, para darle una comprensión más precisa de qué marcar. He visto las fotos que Mark tomó de su hijo. La decisión de marcarlas fue comprensible: son fotos explícitas de los genitales de un niño. Pero el contexto importa: Fueron tomados por un padre preocupado por un niño enfermo. “Reconocemos que en la era de la telemedicina y particularmente de Covid, ha sido necesario que los padres tomen fotos de sus hijos para obtener un diagnóstico”, dijo Claire Lilley, directora de operaciones de seguridad infantil de Google. La compañía ha consultado a pediatras, dijo, para que sus revisores humanos comprendan las posibles condiciones que podrían aparecer en las fotografías tomadas por razones médicas. La Dra. Suzanne Haney, presidenta del Consejo sobre Abuso y Negligencia Infantil de la Academia Estadounidense de Pediatría, aconsejó a los padres que no tomen fotografías de los genitales de sus hijos, incluso cuando lo indique un médico. “Lo último que desea es que un niño se sienta cómodo con alguien que fotografía sus genitales”, dice el Dr. Dijo Haney. “Si es absolutamente necesario, evite subirlos a la nube y elimínelos de inmediato”. Dijo que la mayoría de los médicos probablemente desconocían los riesgos de pedirles a los padres que tomaran esas fotos. “Aplaudo a Google por lo que está haciendo”, dijo el Dr. Haney sobre los esfuerzos de la empresa para combatir el abuso. “Tenemos un problema horrible. Desafortunadamente, se relacionó con los padres que intentaban hacer lo correcto por sus hijos”. Un representante de atención al cliente le dijo a Cassio a principios de este año que enviar las fotos a su esposa usando Google Hangouts violaba los [términos de servicio] del servicio de chat (https://support.google.com/hangouts/answer/9334169?hl=en) ). “No use Hangouts de ninguna manera que explote a los niños”, dicen los términos. “Google tiene una política de tolerancia cero contra este contenido”. En cuanto a Mark, la Sra. Lilley, de Google, dijo que los revisores no habían detectado sarpullido o enrojecimiento en las fotos que tomó y que la revisión posterior de su cuenta arrojó un video de seis meses antes que Google también consideró problemático, de un niño pequeño acostado en la cama con una mujer desnuda. Mark no recordaba este video y ya no tenía acceso a él, pero dijo que sonaba como un momento privado que se habría sentido inspirado para capturar, sin darse cuenta de que alguien más lo vería o juzgaría. "Puedo imaginarlo. Nos despertamos una mañana. Fue un hermoso día con mi esposa y mi hijo y quería grabar el momento”, dijo Mark. “Si tan solo hubiéramos dormido en pijama, todo esto podría haberse evitado”. Una portavoz de Google dijo que la compañía mantiene sus decisiones, a pesar de que la policía absolvió a los dos hombres. Culpable por defecto ----------------- La Sra. Hessick, profesora de derecho, dijo que la cooperación que las empresas de tecnología brindan a las fuerzas del orden público para abordar y erradicar el abuso sexual infantil es "increíblemente importante". ”, pero pensó que debería permitir correcciones. “Desde la perspectiva de Google, es más fácil simplemente negarles a estas personas el uso de sus servicios”, especuló. De lo contrario, la empresa tendría que resolver preguntas más difíciles sobre “cuál es el comportamiento apropiado con los niños y luego qué es apropiado fotografiar o no”. Mark todavía tiene la esperanza de poder recuperar su información. La policía de San Francisco tiene el contenido de su cuenta de Google preservado en una memoria USB. Mark ahora está tratando de obtener una copia. Un portavoz de la policía dijo que el departamento está ansioso por ayudarlo.