Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 6890

Incidentes Asociados

Incidente 13752 Reportes
OpenAI Allegedly Did Not Alert RCMP After ChatGPT Flagged Violent Chats Before British Columbia School Shooting

Loading...
Carta de OpenAI al Ministro Solomon
cdn.openai.com · 2026

26 de febrero de 2026

De: Ann M. O’Leary, Vicepresidenta de Política Global de OpenAI

Para: Honorable Evan Solomon, P.C., M.P. Ministro de Inteligencia Artificial e Innovación Digital, Cámara de los Comunes, Ottawa, Ontario, K1A 0A6 Canadá

CC: Honorable Gary Anandasangaree, P.C., M.P. Ministro de Seguridad Pública

Honorable Sean Fraser, P.C., M.P. Ministro de Justicia y Fiscal General de Canadá

Honorable Marc Miller, P.C., M.P. Ministro de Identidad y Cultura

Estimado Ministro Solomon:

Los sucesos de Tumbler Ridge constituyen una tragedia indescriptible, y acompañamos con nuestro pesar a las víctimas, sus familias y toda la comunidad.

Gracias por convocar la reunión del martes y por la franca conversación que mantuvieron junto con los ministros Miller, Anandasangaree y Fraser, así como con el secretario parlamentario Noormohamed, sobre cómo ayudar a prevenir tragedias como esta en el futuro.

Hoy les escribimos para informarles sobre las medidas inmediatas que OpenAI está tomando en respuesta a lo que hemos aprendido tras estos sucesos. Mantenemos nuestro compromiso de cooperar con las autoridades policiales en la investigación de la tragedia de Tumbler Ridge y de mantener una colaboración continua con los gobiernos federal y provincial.

Como les informamos a ustedes y a las autoridades policiales canadienses, en junio de 2025, OpenAI decidió cerrar una cuenta de ChatGPT del autor de la tragedia de Tumbler Ridge tras detectar una infracción de nuestra política de uso. El sistema automatizado de OpenAI detectó la cuenta y, posteriormente, se envió a revisión humana para determinar si se habían infringido nuestras políticas de uso y si la cuenta merecía ser remitida a las autoridades policiales. Según lo que pudimos ver en el momento en que la cuenta fue baneada en junio de 2025, no identificamos ninguna planificación creíble e inminente que cumpliera con nuestro criterio para remitir el asunto a las fuerzas del orden.

OpenAI trabaja continuamente para identificar posibles señales de alerta de violencia grave, a la vez que protege la privacidad y la seguridad de la gran mayoría de las personas que utilizan nuestras herramientas de forma responsable. Buscamos identificar y tomar medidas para abordar los riesgos críticos de daños en nuestra plataforma, que incluyen amenazas a la vida humana. También debemos garantizar que nuestros productos sean seguros y privados, y que cientos de millones de usuarios en todo el mundo puedan usarlos de forma segura. OpenAI exige que todo el desarrollo e implementación de nuestros modelos promuevan tanto la seguridad humana como los derechos humanos.

En los últimos meses, hemos tomado medidas para reforzar nuestras salvaguardias y hemos modificado nuestro protocolo de remisión a las fuerzas del orden para casos de actividades violentas. Sin embargo, nuestra conversación con usted esta semana subrayó que los canadienses esperan que se sigan tomando medidas concretas, y escuchamos ese mensaje alto y claro. En nuestra reunión, usted y los demás ministros enfatizaron que ninguna comunidad debería tener que enfrentarse a esta tragedia. Estamos de acuerdo.

OpenAI:

● Seguiremos reforzando nuestro Protocolo Mejorado de Derivación a las Fuerzas del Orden. Las derivaciones a las fuerzas del orden basadas en conversaciones con ChatGPT implican decisiones complejas y desafiantes, ya que nos esforzamos por proteger la privacidad de nuestros usuarios y, al mismo tiempo, tomamos medidas cuando es necesario para la seguridad pública. Por eso, seguimos mejorando nuestro protocolo de derivación. Hace varios meses, colaboramos con expertos en salud mental, comportamiento y fuerzas del orden para que nos ayudaran a refinar nuestros criterios para determinar cuándo las conversaciones representan un riesgo inminente y creíble, lo que justifica una derivación a las fuerzas del orden.

Los expertos en salud mental y comportamiento ahora nos ayudan a evaluar casos difíciles, y hemos flexibilizado nuestros criterios de derivación para tener en cuenta que un usuario puede no mencionar el objetivo, los medios ni el momento de la violencia planificada en una conversación con ChatGPT, pero que puede existir un riesgo potencial de violencia inminente. Gracias a nuestro continuo aprendizaje, bajo nuestro protocolo mejorado de derivación a las fuerzas del orden, derivaríamos la cuenta bloqueada en junio de 2025 a las fuerzas del orden si se descubriera hoy.

Hoy, nos comprometemos a trabajar con el gobierno canadiense y expertos para seguir fortaleciendo nuestros criterios mejorados de derivación a las fuerzas del orden, basados en la tragedia de Tumbler Ridge y el contexto canadiense. Esto incluirá seguir analizando cómo se evalúa el riesgo inminente y creíble, así como la transparencia en nuestros informes a las fuerzas del orden.

● Desarrollar un punto de contacto directo con las fuerzas del orden canadienses. A petición de los Ministros, estableceremos puntos de contacto directos con las autoridades policiales canadienses para garantizar que proporcionamos información con prontitud a las autoridades canadienses en los casos en que realicemos una derivación a las fuerzas del orden debido a la posibilidad de violencia en el mundo real.

● Integrar el contexto del país y la comunidad en nuestra labor de desescalada: Nuestros modelos deben responder adecuadamente cuando los usuarios se encuentren en peligro o presenten un comportamiento prohibido, con énfasis en la desescalada y la seguridad del usuario. Cuando ChatGPT detecta que los usuarios necesitan ayuda, queremos ayudarles a encontrar apoyo local en sus propias comunidades. Ampliaremos nuestro compromiso de dirigir a los usuarios a recursos de apoyo relevantes, como líneas de ayuda locales cuando se conozca la ubicación del usuario, garantizando que la asistencia sea específica para su país o región.

● Mejorar nuestro sistema para detectar infractores reincidentes de la política: OpenAI cuenta con un sistema que busca identificar a infractores reincidentes de la política, incluyendo a aquellos cuyas cuentas de ChatGPT fueron canceladas por infringir nuestra política sobre actividades violentas, y que posteriormente intentan crear una nueva cuenta. A pesar de este sistema de detección, tras hacerse público el nombre del agresor de Tumbler Ridge, descubrimos que había usado una segunda cuenta de ChatGPT. Tras su descubrimiento, compartimos esta segunda cuenta con las autoridades. Nos comprometemos a fortalecer nuestros sistemas de detección para prevenir mejor los intentos de evadir nuestras medidas de seguridad y priorizar la identificación de los infractores de mayor riesgo. Además, nos comprometemos a evaluar periódicamente los umbrales utilizados por nuestros sistemas automatizados para detectar posibles actividades violentas.

Estos compromisos inmediatos son solo el primer paso del trabajo que debemos realizar en colaboración con el gobierno canadiense para mejorar la seguridad de la IA. Buscamos un diálogo continuo y nos gustaría colaborar con el gobierno canadiense para convocar a las partes interesadas locales y al sector con el fin de desarrollar las mejores prácticas para las derivaciones a las fuerzas del orden y el comportamiento de los modelos de IA en casos de posible violencia, incluyendo consideraciones específicas para los jóvenes.

En los próximos meses, OpenAI también colaborará con los gobiernos federal y provincial, nuestros colegas del sector y las partes interesadas locales de diversas disciplinas y comunidades para garantizar que, de forma colectiva, satisfagamos las necesidades de los canadienses a medida que seguimos mejorando nuestros modelos y políticas de seguridad.

Gracias de nuevo por convocar esta importante conversación. Sabemos que juntos debemos hacer todo lo posible para fortalecer la seguridad de la IA.

Atentamente,

Ann M. O'Leary

Vicepresidenta de Política Global de OpenAI

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd