Bienvenido ala base de datos de incidentes de IA
Incidente 1724: Según informes, un juez de Oklahoma utilizó citas de casos ficticios generadas por ChatGPT en una orden judicial de derecho familiar.
“Según el fiscal, un juez de Oklahoma utilizó inteligencia artificial en un fallo que contenía citas falsas.”Último informe
WASHINGTON, 9 de septiembre (Reuters) - Un juez de Oklahoma reconoció que una sentencia que emitió contenía citas ficticias generadas por inteligencia artificial, según consta en los registros estatales, sumándose así a un número creciente de casos en los que los jueces han sido objeto de escrutinio por el uso de IA.
El juez Lawrence Wheeler, del Tribunal de Distrito del Condado de Stephens, declaró a un investigador de la Oficina Estatal de Investigación de Oklahoma que utilizó ChatGPT de OpenAI para su investigación y que una orden que redactó contenía dos citas a casos inexistentes, según una carta del 17 de agosto enviada por un fiscal a la oficina del fiscal general del estado.
Wheeler, elegido en 2022 y a cargo de un tribunal de derecho familiar, no respondió de inmediato a la solicitud de comentarios presentada en su oficina en Duncan, Oklahoma. Su abogado, Scott Anderson, declaró que "el juez Wheeler y yo no tenemos comentarios al respecto por el momento".
El uso de IA por parte de Wheeler se incluyó en una denuncia por mala conducta judicial que también alegaba que el juez escuchó en secreto las deliberaciones del jurado, según declaró el fiscal de distrito del condado, Jason Hicks, en la carta revisada por Reuters. El periódico The Oklahoman fue el primero en informar sobre la carta.
La Fiscalía General de Oklahoma declaró el miércoles que revisó las acusaciones, pero que las pruebas eran insuficientes para procesar. La fiscalía indicó que la Corte Suprema de Oklahoma y otro órgano judicial estatal tienen la facultad de sancionar a los jueces, independientemente de si existe o no una infracción penal.
El creciente uso de la tecnología de IA en los tribunales y en los bufetes de abogados ha generado un mayor escrutinio sobre la precisión de las presentaciones y órdenes judiciales, debido a casos en los que la IA ha inventado citas de casos o ha citado erróneamente la ley.
El año pasado, dos jueces federales afirmaron que el uso de IA en sus despachos provocó errores en dos sentencias judiciales. El uso de IA por parte de un fiscal de Georgia [https://www.reuters.com/legal/government/ai-errors-us-murder-case-lead-discipline-georgia-prosecutor-2026-05-05/) dio lugar a citas erróneas en una sentencia de un caso de asesinato.
OpenAI no respondió de inmediato a la solicitud de comentarios.
Según la carta del 17 de agosto, Hicks se recusó de la investigación contra Wheeler y solicitó al Fiscal General del Estado de Oklahoma, Gentner Drummond, que revisara el informe de la Oficina Estatal de Investigación de Oklahoma o que reasignara la investigación.
La oficina de Drummond declaró el miércoles que su división penal revisó minuciosamente las denuncias y no les dará mayor seguimiento.
El Consejo de Quejas Judiciales de Oklahoma declaró el miércoles que no puede comentar ni confirmar ninguna investigación. La Corte Suprema de Oklahoma no respondió de inmediato a la solicitud de comentarios.
Incidente 1723: Según informes, la herramienta de codificación de IA Claude Code de Anthropic utilizó marcadores Unicode ocultos para clasificar el enrutamiento de API personalizado.
“Claude Code está marcando solicitudes mediante esteganografía.”
Como se vio en Hacker News.
Estaba inspeccionando Claude Code por motivos de privacidad.
La mayoría de los desarrolladores otorgan a sus herramientas un acceso excesivo: sistema de archivos, shell, Git, acceso al navegador e incluso al uso del ordenador. Ese es precisamente el objetivo. Necesitan el contexto suficiente para realizar un trabajo útil.
Esto también significa que el cliente en sí merece ser examinado. Si un agente de codificación puede leer tu repositorio y ejecutar comandos, el binario que lo distribuye debería ser sencillo (por ejemplo, la herramienta para Raspberry Pi).
Así que revisé mi instalación local de Claude Code (versión 2.1.196).
Marcador
Dentro del binario de Claude Code, hay una función que modifica la cadena de fecha actual que se inserta en el indicador del sistema.
La cadena normal tiene este aspecto:
texto
Copia
La fecha de hoy es 30/06/2026.
Claude Code puede cambiar silenciosamente dos cosas:
1. El apóstrofo en `Today's`
2. El separador de fecha, de `-` a `/`
Aquí está el código relevante, limpio del paquete minificado:
js
Copiar
function Zup() { if (Crt()) return null; let host = Qup(); let timezone = e0t(); let cnTZ = timezone === "Asia/Shanghai" || timezone === "Asia/Urumqi"; if (!host) { return { known: false, labKw: false, cnTZ, host: null, }; } return { known: Jup().some((domain) => host === domain || host.endsWith("." + domain)), labKw: Xup().some((keyword) => host.includes(keyword)), cnTZ, host, };}function edp(known, labKw) { if (!known && !labKw) return "'"; if (known && !labKw) return "\u2019"; if (!known && labKw) return "\u02BC"; return "\u02B9";}function Vla(date) { let marker = Zup(); let apostrophe = edp(marker?.known ?? false, marker?.labKw ?? false); let renderedDate = marker?.cnTZ ? date.replaceAll("-", "/") : date; return La fecha de hoy es ${renderedDate}.;}
Esto es esteganografía de mensajes, una técnica utilizada para ocultar datos a simple vista.
La frase visible sigue pareciendo una fecha normal. El modelo y el usuario ven algo aburrido. La solicitud original contiene un marcador.
Comprobaciones
------
js
Copiar
function Crt() { let baseUrl = process.env.ANTHROPIC_BASE_URL; if (!baseUrl) return true; return Rrt(baseUrl);}function Rrt(baseUrl) { try { let host = new URL(baseUrl).host; return ["api.anthropic.com"].includes(host); } catch { return false; }}function Qup() { let baseUrl = process.env.ANTHROPIC_BASE_URL; if (!baseUrl) return null; try { return new URL(baseUrl).hostname.toLowerCase(); } catch { return null; }}
El activador es `ANTHROPIC_BASE_URL`, la anulación de la URL base de la API de Claude Code.
Luego, comprueba si:
- la zona horaria del sistema es `Asia/Shanghai` o `Asia/Urumqi`
- el nombre de host de la URL base de la API coincide con una lista de dominios decodificados
- el nombre de host contiene palabras clave específicas del laboratorio de IA
La comprobación de la zona horaria cambia:
texto
Copiar
2026-06-30
en:
texto
Copiar
2026/06/30
La comprobación del nombre de host cambia el apóstrofo:
| Condición | Apóstrofo |
| --- | --- |
| Normal | `'` |
| Dominio conocido | `\u2019` |
| Palabra clave del laboratorio | `\u02BC` |
Dominio conocido y palabra clave del laboratorio | `\u02B9` |
Estos son cambios visuales mínimos que nunca notarías en la mayoría de las fuentes monocromáticas.
Lista ofuscada
---------------
Las listas de dominio y palabras clave se almacenan como cadenas base64 y se decodifican mediante XOR con la clave `91`.
js
Copiar
var Kup = 91;function Gla(encoded) { let bytes = Buffer.from(encoded, "base64"); let out = ""; for (let byte of bytes) { out += String.fromCharCode(byte ^ Kup); } return out.split(",");}
La lista de palabras clave del laboratorio decodificada es:
texto
Copiar
deepseek,moonshot,minimax,xaminim,zhipu,bigmodel,baichuan,stepfun,01ai,dashscope,volces
La lista de dominios decodificados es mucho más extensa. Contiene dominios corporativos chinos, dominios de empresas de IA y muchos dominios de proxy/revendedor/pasarela.
Algunos ejemplos:
texto
Copiar
cnbaidu.comalibaba-inc.comalipay.comantgroup-inc.cnbytedance.netkuaishou.comxiaohongshu.comjd.combilibili.coiflytek.comstepfun-inc.commoonshot.aianyrouter.topclaude-code-hub.appclaude-opus.topopenclaude.meproxyai.comyunwu.aizenmux.ai
Puedes ver la lista completa aquí: <https://cdn.jsdelivr.net/gh/Thereallo1026/assets@main/assets/cc-domains.js>
Cómo se pasa
---------------
La función de fecha se usa al construir el contexto del agente:
js
Copiar
{ ...userEmail && { userEmail: La dirección de correo electrónico del usuario es ${userEmail}. }, ...adjuntoProyecto && {adjuntoProyecto}, fechaActual: Vla(GSe())}
Así, el marcador pasa a formar parte del contexto del sistema que se envía al modelo. (Donde Anthropic probablemente realiza el análisis en su backend)
Lo que muestra el mío
---------------
Mi binario instalado está firmado por Anthropic:
texto
Copiar
Identificador=com.anthropic.claude-codeTeamIdentificador=Q6L2SF6YDWMarca de tiempo=29 de junio de 2026SHA256=6fc6e61ab7582c2bf241225ff90d9f79e91d69380cb9589fc9dedd3a30070f5a
Mi shell actual tenía `ANTHROPIC_BASE_URL` sin configurar, y mi zona horaria era:
texto
Copiar
Asia/Hong_Kong
Por lo tanto, en mi máquina, bajo mi entorno actual, esta ruta produciría el apóstrofo normal y la cadena de fecha `AAAA-MM-DD` normal.
Acerca de
----------
Anthropic probablemente busca detectar revendedores de API, pasarelas Claude Code no autorizadas y modelar pipelines de "ataque de destilación". Una URL base personalizada `ANTHROPIC_BASE_URL` que apunte a un dominio de revendedor conocido es una señal útil. Un nombre de host que contenga `deepseek` o `zhipu` también lo es.
Esta parte tiene sentido, pero la implementación es extraña.
CC modifica silenciosamente el mensaje del sistema mediante marcadores Unicode casi invisibles. Codifica la clasificación de proxy/pasarela en una frase que parece inglés normal. Oculta la lista de dominios tras XOR y base64. Esta no es una función maliciosa, pero es una elección extraña para una herramienta de desarrollo que requiere confianza.
Los agentes de codificación ya se mueven en un terreno peligroso. Pueden inspeccionar código, resumir secretos accidentalmente, ejecutar comandos, instalar paquetes, editar archivos y enviar commits a tu máquina local. La mayoría de los desarrolladores lo aceptan porque la ganancia de productividad compensa el riesgo.
La confianza de los desarrolladores reales depende de un comportamiento poco llamativo.
Si el cliente desea detectar pasarelas API personalizadas, puede indicarlo claramente. Puede enviar un campo de telemetría explícito con su documentación. Puede hacer visible la política. Puede incluir el comportamiento en las notas de la versión.
Ocultar la señal en el mensaje del sistema dificulta la credibilidad de cualquier otra afirmación sobre la privacidad.
Impacto práctico
----------------
Para la mayoría de los usuarios, esta ruta probablemente permanezca inactiva.
Si se utiliza el punto final oficial de la API de Anthropic, `Crt()` devuelve un valor anticipado. Si `ANTHROPIC_BASE_URL` no está configurado, `Crt()` devuelve un valor anticipado. Si se utiliza una configuración normal, el mensaje de fecha permanece sin cambios.
El caso interesante son aquellos usuarios que enrutan CC a través de una URL base personalizada. Esto incluye:
- Pasarelas internas
- Proxies locales
- Enrutadores de modelos
- Revendedores
- Configuraciones de investigación
En ese caso, Claude Code clasifica el nombre de host y codifica el resultado en el mensaje.
La forma de eludir esta restricción también es trivial. Cambiar el nombre de host, cambiar la zona horaria, parchear el binario, encapsular el proceso. Cualquier adversario serio puede inutilizar esta señal.
Por lo tanto, esta función perjudica principalmente a quienes son más fáciles de identificar: desarrolladores comunes que realizan acciones extrañas pero legítimas.
Reflexiones
--------
Creo que esto podría haberse explicado claramente.
Las herramientas para desarrolladores pueden hacer cumplir los términos. Los proveedores de API pueden detectar abusos. Las empresas pueden proteger sus modelos.
Cuando una herramienta con acceso al sistema de archivos y a la línea de comandos comienza a ocultar información de clasificación dentro de signos de puntuación invisibles en los mensajes, la reacción correcta es el escrutinio.
La confianza se gana en los aspectos más tediosos.
Incidente 1722: Una banda de extorsión sexual con base en India presuntamente utilizó videos sexuales generados por IA para extorsionar a una víctima india residente en Canadá.
“Un estudiante de Jamia Millia, entre los cuatro detenidos por usar deepfakes de IA para extorsionar dinero a un ciudadano indio residente en el extranjero.”
Ghaziabad: Un estudiante de segundo año de la Universidad Jamia Millia Islamia y tres de sus cómplices fueron arrestados por presuntamente extorsionar a un ciudadano indio residente en Canadá, amenazándolo con difundir videos sexualmente explícitos generados por inteligencia artificial.
La policía informó que la banda —compuesta por Md Faisal (22), de Mewat, Haryana, y Md Amaan Tyagi (25), Md Hammad Tyagi (20) y Md Faizaan Malik (22), todos de Muzaffarnagar— creó un perfil falso de Facebook a nombre de Navpreet Kaur Mahil y contactó al ciudadano indio residente en Canadá a través de Messenger.
Presuntamente, realizaron una videollamada el 10 de septiembre y grabaron a la víctima en una situación comprometedora. Unos días después, lo contactaron nuevamente y le exigieron 50.000 dólares (alrededor de 4,7 millones de rupias), amenazándolo con publicar las grabaciones y videos obscenos generados por IA si se negaba. La víctima recibió un número de cuenta vinculado a una sucursal bancaria en el Centro de Distrito de Raj Nagar, en Ghaziabad, pero contactó al equipo de delitos cibernéticos el 17 de septiembre.
“La víctima compartió el número de teléfono móvil del acusado, y las investigaciones preliminares lo vincularon con 40 denuncias de fraude cibernético en el portal de la Oficina Nacional de Registro de Delitos (NCRB). Actuando de oficio, la policía registró una denuncia formal (FIR) conforme a las secciones pertinentes de la Ley de Servicios de Información y la Ley de Tecnologías de la Información. Se formaron varios equipos y el viernes arrestamos a cuatro miembros de la banda, mientras que otros se encuentran prófugos”, declaró el subcomisario (rama de delitos) Amit Saxena.
Según la policía, Faisal es estudiante de segundo año de Comercio en Jamia Millia, mientras que los otros tres han cursado estudios hasta el nivel intermedio.
De acuerdo con la policía, el acusado declaró a los interrogadores que Faisal y sus asociados, incluido Maroof, quien se encuentra prófugo, compraron cuentas ficticias y compartieron sus datos en un grupo de WhatsApp. Supuestamente, creaban videos con inteligencia artificial para estafar a personas en India y en el extranjero, amenazaban con publicarlos en línea si las víctimas no pagaban y retiraban el dinero tan pronto como se depositaba. Las ganancias se repartían entre los miembros de la banda, y los titulares de las cuentas recibían 15.000 rupias cada uno al momento de la venta.
“Los acusados supuestamente declararon a la policía que habían dejado de usar una cuenta contra la cual se habían presentado denuncias. También dijeron que estafarían a personas con el pretexto de inversiones en bolsa a través de la aplicación Delta Elbo. Hemos encontrado videos de extorsión sexual con inteligencia artificial en sus teléfonos móviles”, dijo Saxena.
La policía indicó que la banda había estado activa desde 2023 y había estafado a cientos de personas en varios estados y en el extranjero. Sus teléfonos revelaron vínculos con al menos 130 cuentas bancarias que contenían 6,6 millones de rupias.
Incidente 1720: Un agente de policía de Stow, Massachusetts, presuntamente utilizó el sistema de lectura de matrículas Flock para rastrear a su expareja sentimental.
“Un agente de policía de Stow está acusado de usar indebidamente el sistema Flock para rastrear a su expareja.”
STOW, Massachusetts — Un agente de policía de Stow podría enfrentar medidas disciplinarias luego de que el departamento descubriera que utilizó repetidamente las bases de datos policiales para obtener información sobre una mujer con la que había tenido una relación sentimental.
La mujer, quien pidió permanecer en el anonimato, declaró que terminó su relación con el agente Jason Rogers hace aproximadamente cinco años. Afirmó que la relación era abusiva y que, tras la ruptura, cambió su identidad, número de teléfono y hábitos en redes sociales.
Este verano, descubrió que Rogers había utilizado el sistema de cámaras Flock para buscar su ubicación mientras trabajaba para el Departamento de Policía de Stow.
"Era una relación abusiva de la que huí y cambié mi identidad", declaró la mujer. "Me mudé, cambié mi número de teléfono, bloqueé su número y prácticamente no uso redes sociales".
Añadió que ingresó el número de su matrícula en un sitio web y descubrió que Rogers había buscado su ubicación varias veces en 2024 y 2025. También afirmó que Rogers pasó en coche frente a su casa.
“Lo usó ilegalmente para intentar localizarme y rastrearme, para saber dónde estaba y qué hacía”, dijo.
El Departamento de Policía de Stow informó que presentó una denuncia penal contra Rogers el 17 de julio por “posibles violaciones de la ley estatal”.
Tras una investigación interna de cuatro semanas, el departamento descubrió que Rogers había utilizado sistemas estatales en múltiples ocasiones para obtener información sobre la mujer en 2024 y 2025, según el departamento.
La mujer afirmó que Rogers accedió no solo a Flock, sino también a otras bases de datos policiales.
“Usó Flock un par de veces, pero luego usó CJIS, CORI y otros sistemas a los que tenía acceso”, dijo.
El Departamento de Policía de Stow suspendió a Rogers con goce de sueldo en julio tras determinar que su conducta era impropia de un agente. A partir del 31 de julio, se le suspendió sin goce de sueldo.
“Simplemente no creo que alguien así deba estar por ahí con una placa y una pistola”, dijo la mujer.
También obtuvo una orden de alejamiento contra Rogers que, según ella, se mantendrá vigente al menos durante el próximo año.
“Creo que es lo único que me ha permitido salir de casa sin tener que mirar a mi alrededor”, dijo.
El jefe de policía de Stow dijo que habrá una audiencia de la Junta de Selección la próxima semana, donde los líderes municipales podrían votar sobre la situación laboral de Rogers.
Boston 25 News se comunicó con el abogado de Rogers para obtener comentarios, pero aún no ha recibido respuesta.
Incidente 1721: Según informes, el representante de Wisconsin, Derrick Van Orden, publicó deepfakes de Grok Imagine que muestran a su oponente, Rebecca Cooke, diciendo cosas que no dijo.
“La campaña de Cooke envía una orden de cese y desistimiento al congresista Van Orden por el uso de deepfakes con IA.”
Los abogados de la candidata al Congreso Rebecca Cooke han enviado una carta de cese y desistimiento al representante estadounidense Derrick Van Orden, republicano por Prairie du Chien, [por el uso de videos deepfake por parte de Van Orden].
Cooke, demócrata, se enfrenta a Van Orden en noviembre en una [contienda muy reñida por el 3.er distrito congresional de Wisconsin].
Van Orden ha utilizado repetidamente inteligencia artificial para publicar videos en su cuenta de X, en los que Cooke dice cosas que nunca dijo.
Los videos publicados en esa plataforma incluyen una etiqueta automática que indica que fueron creados con "Grok Imagine", un generador de imágenes y videos con IA.
En uno de esos vídeos, una versión de Cooke generada por IA dice: «Que los campesinos coman pastel. De todas formas, votarán por mí». En otro vídeo falso, el avatar de Cooke dice: «Hay un 100% de probabilidades de que acabo de votar por dos comunistas».
La notificación de cese y desistimiento apunta específicamente a un video compartido por Van Orden el 4 de agosto. En él se muestra una versión falsa de Cooke hablando por un micrófono, mientras que una imagen generada por IA del expresidente Joe Biden aparece en la periferia.
La versión de Cooke, creada por IA, afirma que se postula al Congreso para "aprovechar al máximo la corrupción y brindar atención médica gratuita a todos los inmigrantes indocumentados".
Según la carta, esto es "pura ficción".
«La Sra. Cooke nunca hizo las declaraciones que se le atribuyen», escribió el abogado Ben Stafford el 30 de septiembre. «Usted está difundiendo este contenido falso para intentar engañar a los votantes de Wisconsin y hacerles creer que dijo algo que no dijo, sin dañar su reputación para su propio beneficio político».
La carta sugiere que, al compartir los videos, Van Orden corre el riesgo de infringir la ley estatal que prohíbe a una figura pública actuar con «malicia real» para difamar a alguien. La difamación puede incluir la publicación de una declaración falsa con el fin de dañar la reputación de alguien, señala la carta.
«Estos anuncios no solo son indignos de su cargo, sino que el derecho consuetudinario de Wisconsin sobre difamación cubre las lagunas que aún existen en las protecciones legales de Wisconsin contra la IA falsa», afirma la carta.
La carta indica que los abogados de Cooke están monitoreando las redes sociales de Van Orden y advierte que están considerando "todas las opciones legales" si Van Orden persiste en "utilizar indebidamente la IA para difamar a la Sra. Cooke".
«Derrick Van Orden no puede basar su campaña en su historial, y en cambio está dedicando su tiempo y energía a producir videos con IA que ponen palabras en mi boca», declaró Cooke en un comunicado (https://www.wispolitics.com/2026/cooke-campaign-hits-van-orden-with-cease-and-desist-over-ai-deepfake-videos-alleges-defamation-of-character/), antes de hacer referencia, aparentemente, al apoyo de Van Orden a la Ley federal «One Big Beautiful Act» (https://wisconsinexaminer.com/2026/09/23/data-center-debate-hits-3rd-congressional-district-race/). «Irónicamente, estos deepfakes son facilitados por los mismos centros de datos a los que Derrick Van Orden otorgó beneficios fiscales especiales a costa de nuestros gastos en energía y atención médica».
La OBBA incluía exenciones fiscales para muchos tipos de empresas, y estos incentivos han sido aprovechados por empresas tecnológicas que construyen centros de datos.
En su propio comunicado de prensa, la campaña de Van Orden acusó a Cooke de tener un "berrinche desmedido".
"Rebecca Cooke ha pasado seis años haciendo campaña para un cargo público, mintiendo a los votantes sobre quién es y su trayectoria", declaró la campaña.
Cooke se postuló por primera vez para el tercer distrito en la región de Driftless, al suroeste de Wisconsin, durante las primarias de 2022, en las que perdió ante el demócrata Brad Pfaff. En 2024, Cooke ganó las primarias demócratas para ese escaño, pero perdió ante Van Orden en las elecciones generales por aproximadamente 3 puntos porcentuales.
Esta semana, Van Orden respondió en redes sociales a la carta de cese y desistimiento con otro video creado con la ayuda de Grok.
El corto clip incluye un pato rojo generado por IA.
«¡Cesen y desistan!», exclama el pato.
Acerca de la Base de Datos
La base de datos de incidentes de IA está dedicada a indexar el historial colectivo de daños o casi daños realizados en el mundo real por el despliegue de sistemas de inteligencia artificial. Al igual que bases de datos similares en aviación y seguridad informática, la base de datos de incidentes de IA tiene como objetivo aprender de la experiencia para que podamos prevenir o mitigar los malos resultados.
Estás invitado a enviar informes de incidentes, después de lo cual los envíos se indexarán y se harán visibles para el mundo. La inteligencia artificial solo será un beneficio para las personas y la sociedad si registramos colectivamente y aprendemos de sus fallas. (Más información)

Investigación de incidentes de IA para construir un futuro más seguro: el Instituto de Investigación de Seguridad Digital se asocia con Responsible AI Collaborative
By TheCollab Board of Directors
2024-02-20
El Instituto de Investigación de Seguridad Digital (DSRI) de los Institutos de Investigación de UL se está asociando con Responsible AI Coll...
La Base de Datos en la Prensa
Lea acerca de la base de datos en Time Magazine, Vice News, TechTalks, Wired y Bulletin of the Atomic Scientists entre otros puntos de venta.
El Colaborativo de IA Responsable
La base de datos de incidentes de IA es un proyecto de Responsible AI Collaborative, una organización autorizada para promover la base de datos de incidentes de IA. La gobernanza de la Colaborativa se estructura en torno a la participación en su programación de impacto. Para obtener más detalles, lo invitamos a leer el informe de fundación y obtener más información sobre nuestro and learn more on our.

View the Responsible AI Collaborative's Form 990 and tax-exempt application. We kindly request your financial support with a donation.
Patrocinador fundador de la organización
Patrocinador fundador de la base de datos

Patrocinadores y subvenciones
Patrocinadores similares
El Informe de Incidentes de IA

Create an account to subscribe to new incident notifications and other updates.


