Bienvenido ala base de datos de incidentes de IA
Incidente 1547: Según informes, los robotaxis de Waymo ingresaron a zonas de construcción de autopistas cerradas en Arizona y California.
“Waymo retira casi 3.900 robotaxis por riesgo de entrar en zonas de construcción cerradas.”Último informe
WASHINGTON, 18 de junio (Reuters) - Waymo, la unidad de vehículos autónomos de Alphabet (GOOGL.O), abre en una nueva pestaña, está retirando del mercado casi 3900 robotaxis en Estados Unidos debido a un problema de software que podría provocar que los vehículos ingresen a zonas de construcción de autopistas cerradas y continúen circulando.
Este es el segundo retiro del mercado de Waymo en poco más de un mes.
El último retiro, presentado ante la Administración Nacional de Seguridad del Tráfico en las Carreteras (NHTSA), se debe a más de una docena de incidentes ocurridos desde principios de abril en California y Arizona, en los que los vehículos autónomos (VA) de Waymo no reconocieron las señales de cierre de rampas y las ignoraron, ingresando a zonas de construcción de autopistas planificadas y carriles con obras en curso.
La compañía inicialmente impuso restricciones de circulación en autopistas hasta que mejoró su capacidad de respuesta ante los cierres de autopistas. Waymo actualizó el software de los vehículos para evitar ingresar a zonas de construcción.
Waymo declaró a Reuters el jueves que había "identificado un área de mejora en el rendimiento en las zonas de construcción de autopistas. Restringimos voluntariamente las operaciones en las autopistas el mes pasado mientras realizábamos mejoras".
El mes pasado, Waymo retiró del mercado aproximadamente 3800 robotaxis debido a que los vehículos podían ingresar a carreteras inundadas con límites de velocidad más altos.
El retiro se produjo tras un incidente el 20 de abril en el que un vehículo de Waymo ingresó a un carril inundado en San Antonio durante condiciones climáticas extremas. Waymo indicó que el vehículo estaba vacío y no hubo heridos, pero el incidente llevó a la compañía a revisar escenarios similares que involucran altas velocidades y carreteras inundadas intransitables.
Waymo ha emitido varios retiros del mercado en los últimos dos años, incluyendo uno por la posible inexactitud en la predicción del movimiento de un vehículo remolcado y otro por la respuesta de detección de postes u objetos permanentes similares.
Por otra parte, Waymo se enfrenta a una investigación de la NHTSA después de que uno de sus vehículos autónomos atropellara a un niño cerca de una escuela primaria en Santa Mónica, California, en enero, causándole heridas leves.
En marzo, la Junta Nacional de Seguridad del Transporte (NTSB) anunció que estaba investigando un incidente ocurrido en enero en el que vehículos autónomos de Waymo rebasaron ilegalmente un autobús escolar detenido con las luces encendidas.
El problema de los rebasamientos ilegales a autobuses escolares detenidos ya había motivado una llamada a revisión por parte de Waymo en diciembre pasado.
Incidente 1544: Según los informes, un robotaxi de Waymo entró en una carretera inundada de San Antonio y fue arrastrado por la corriente de agua.
“Waymo retira toda su flota después de que un coche autónomo quedara atascado en las aguas de las inundaciones de San Antonio.”
Waymo está retirando del mercado 3791 vehículos después de que uno de sus autos autónomos fuera arrastrado por las inundaciones repentinas en San Antonio el mes pasado.
Waymo solicitó el retiro de los vehículos equipados con su sistema de conducción automatizada de quinta y sexta generación ante la Administración Nacional de Seguridad del Tráfico en las Carreteras (NHTSA) el 6 de mayo. La compañía, con sede en California, comenzó a retirar los vehículos de la circulación el 24 de abril.
"En carreteras de alta velocidad, el vehículo autónomo de Waymo puede reducir la velocidad, pero no detenerse, al detectar un carril inundado potencialmente intransitable", indicó Waymo en su solicitud ante la NHTSA.
Según la solicitud, la compañía actualizó sus mapas de vehículos e incrementó los "controles operativos relacionados con las condiciones climáticas". También suspendió el servicio de transporte en San Antonio, aunque sus vehículos autónomos siguen operando en la zona, según Chris Bonelli, gerente de comunicaciones de Waymo.
"Estamos trabajando para implementar medidas de seguridad adicionales en el software y hemos establecido medidas de mitigación, incluyendo el perfeccionamiento de nuestras operaciones en condiciones climáticas extremas durante períodos de lluvias intensas, limitando el acceso a áreas donde podrían ocurrir inundaciones repentinas", indicó la compañía en un comunicado.
Waymo perdió uno de sus vehículos autónomos el 20 de abril tras ingresar a un carril inundado cerca de Salado Creek y ser arrastrado por la corriente. No había pasajeros y nadie resultó herido, según Bonelli.
"Un vehículo autónomo Waymo sin conductor se encontró con un tramo inundado e intransitable de una carretera con un límite de velocidad de 64 km/h (40 mph). El vehículo Waymo detectó una posible zona inundada y procedió a reducir la velocidad", declararon los responsables de Waymo en su informe presentado ante la NHTSA.
Waymo comenzó a prestar servicio a los usuarios de San Antonio a principios de este año a través de su aplicación móvil y recientemente había empezado a transportar pasajeros al Aeropuerto Internacional de San Antonio.
Bonelli indicó que se notificaría a los clientes cuando Waymo reanudara el servicio de pasajeros en San Antonio.
Incidente 1546: Según se informa, el sistema de alertas sísmicas de Google Android subestimó el terremoto de Kahramanmaraş y no envió advertencias urgentes a millones de personas.
“Según un informe, la alerta de Google no logró advertir a la población sobre el terremoto en Turquía.”
El sistema de alerta sísmica de Google no llegó a muchos residentes turcos antes de los devastadores temblores de febrero, según una investigación de BBC Newsnight.
Turquía fue sacudida por dos potentes terremotos, de magnitud 7,8 y 7,5, el 6 de febrero, que cobraron la vida de más de 50.000 personas en el sur y sureste del país.
Google afirma que su sistema de alerta puede avisar a los usuarios con hasta un minuto de antelación en sus teléfonos antes de que ocurra un terremoto.
Asegura que la alerta se envió a millones de personas antes del primer y mayor sismo.
Sin embargo, la BBC visitó tres ciudades en la zona sísmica, habló con cientos de personas y no encontró a nadie que hubiera recibido la alerta.
El sistema funciona en teléfonos Android, básicamente en cualquier teléfono que no sea un iPhone. Los teléfonos Android, que suelen ser más asequibles, representan alrededor del 80% de los teléfonos en Turquía.
“Si Google promete, o da una promesa implícita, de ofrecer un servicio como la alerta temprana de terremotos, entonces, en mi opinión, la situación se torna más crítica”, afirma el profesor Harold Tobin, director de la Red Sísmica del Noroeste del Pacífico.
“Tienen la responsabilidad de cumplir con algo que afecta directamente la vida y la integridad física”.
Micah Berman, responsable del producto en Google para este sistema, insistió en que había funcionado. “Confiamos en que este sistema se activó y envió alertas”, declaró a la BBC.
Sin embargo, la compañía no proporcionó pruebas de que estas alertas se recibieran de forma generalizada.
Tras el primer gran terremoto de magnitud 7,8 que sacudió la zona en la madrugada, otro fuerte temblor se produjo al mediodía.
La BBC pudo encontrar un número limitado de usuarios que recibieron una alerta para este segundo terremoto.
El Sistema de Alerta de Terremotos de Android de Google se anunció en Turquía en junio de 2021.
El sistema está operativo en decenas de países de todo el mundo. La compañía describe la capacidad de enviar alertas sísmicas como una parte fundamental de su servicio Android.
Funciona utilizando la extensa red de teléfonos Android. Los smartphones contienen pequeños acelerómetros que detectan las vibraciones.
Cuando muchos teléfonos vibran simultáneamente, Google puede localizar el epicentro y estimar la magnitud del terremoto. Google ha publicado una explicación sobre su funcionamiento.
Cuando se detecta un terremoto de magnitud 4.5 o superior, el sistema Android puede enviar una alerta.
«Esta alerta es diferente a cualquier otra que hayas visto en tu teléfono. Ocupa toda la pantalla», afirma el Sr. Berman.
La alerta indica «suelta, cúbrete, sujétalo» y va acompañada de una fuerte alarma.
También debería desactivar automáticamente el modo «No molestar» del usuario, por lo que no es necesario activarlo manualmente.
«Sin importar el estado de tu teléfono, deberías recibir la alerta», asegura el Sr. Berman.
Google afirma que el sistema envió alertas con éxito a millones de personas el 6 de febrero.
A pesar de la amplia cobertura informativa en toda la zona afectada durante las horas, los días y las semanas posteriores al terremoto, nadie mencionó haber recibido una alerta a la BBC.
Por ello, la BBC inició una búsqueda específica de personas que sí la hubieran recibido.
Un equipo de la BBC viajó a Adana, İskenderun y Osmaniye, ciudades situadas entre 70 y 150 kilómetros del epicentro, y habló con cientos de personas con teléfonos Android.
Si bien el equipo de la BBC logró encontrar a algunas personas que habían recibido una alerta para el segundo terremoto, no encontraron a nadie que hubiera recibido una advertencia antes del primer sismo, el más potente.
Incidente 1538: La ciudad de Zhuzhou, en Hunan, suspendió el servicio de robotaxis Hellobike después de que un vehículo atropellara a dos peatones.
“Pruebas de choque de robotaxis en China: Despliegue de la conducción autónoma mientras persisten las dudas sobre la responsabilidad.”
Un accidente en el que se vio involucrado un robotaxi de Hello Inc. en la ciudad central de Zhuzhou ha reavivado el escrutinio sobre el rápido avance de China en la conducción autónoma comercial, planteando nuevas preguntas sobre cómo se determinará la responsabilidad en caso de accidente.
Un video que circuló en línea el 6 de diciembre mostraba un vehículo con la inscripción "Hello Autonomous Driving" detenido en un paso de peatones mientras transeúntes y policías levantaban el auto para liberar a una persona atrapada debajo. Dos personas heridas fueron trasladadas a un hospital local, según informaron los medios locales. La policía local aún no ha determinado la responsabilidad, y Hello no se ha pronunciado al respecto.
Los residentes informaron a Jiemian News que la ciudad había sufrido varios días de fuertes lluvias que dejaron las calles resbaladizas. El servicio de atención al cliente de Hello indicó que la compañía había suspendido las operaciones de conducción autónoma en Zhuzhou. Si bien la aplicación de Hello aún muestra la opción de conducción autónoma cuando los usuarios establecen su ubicación en Zhuzhou o Liyang (Jiangsu), los intentos de reserva devuelven el mensaje "fuera de servicio". Videos en redes sociales también mostraron varios robotaxis de Hello siendo trasladados desde una instalación local, y los usuarios afirmaron que ya no se podían solicitar los vehículos.
El accidente se produjo una semana después de que una pasajera de Zhuzhou informara que el robotaxi de Hello en el que viajaba chocó con otro vehículo el 28 de noviembre, pero continuó conduciendo unos 200 metros hasta su destino en lugar de detenerse. Afirmó no haber notado ninguna señal de control remoto, aunque el servicio de atención al cliente le informó posteriormente que un operador de seguridad había intervenido. Las normas de tráfico chinas exigen que los conductores se detengan inmediatamente después de una colisión y preserven la escena.
Hello comenzó a ofrecer pruebas de conducción autónoma de nivel 4 en Zhuzhou en agosto. Los sistemas de nivel 4 pueden operar sin intervención humana en condiciones definidas, pero las normas chinas aún presuponen que el conductor humano es el responsable. La empresa ha declarado que su flota puede controlarse remotamente a través de un centro de operaciones en la nube.
You Yunting, socio principal del bufete de abogados Shanghai DeBund, afirmó que la responsabilidad dependerá del dictamen policial. Si se determina que un vehículo de nivel 4 tuvo la culpa, la responsabilidad recaería sobre la plataforma operadora. Las demandas civiles podrían tramitarse conforme a la legislación sobre calidad del producto, y los proveedores de tecnología podrían enfrentarse a responsabilidades adicionales si implementan sistemas defectuosos a sabiendas. Demostrar eso, añadió, es difícil y requiere datos internos que rara vez son accesibles.
Hello, conocida en China principalmente por su plataforma de bicicletas compartidas, es una recién llegada al sector de los robotaxis chinos, que incluye operadores más consolidados como Baidu, Pony.ai y AutoX, que llevan varios años realizando pruebas en carretera. La empresa entró en el sector en junio tras la formación de Shanghai Zaofu Intelligent Technology con Ant Group y CATL, invirtiendo más de 3.000 millones de RMB (unos 425 millones de dólares) en el desarrollo y la comercialización de vehículos de nivel 4. En septiembre, presentó su primer modelo diseñado específicamente para este fin, el HR1, con el objetivo de iniciar la producción en masa en 2026 y desplegar más de 50.000 unidades en 2027. El vehículo implicado en el accidente de Zhuzhou no era un HR1.
Ejecutivos del sector afirman que la comercialización de robotaxis suele requerir un kilometraje considerable para validar la seguridad. Una persona familiarizada con el sector comentó que el corto plazo de desarrollo de Hello limita el tiempo necesario para recopilar los datos pertinentes. Un exempleado afirmó que el equipo dependía en gran medida de tecnologías comerciales y que su desarrollo interno de algoritmos era limitado. Hello había considerado previamente la compra de los mapas de alta precisión de Baidu, pero finalmente no la llevó a cabo.
Las ofertas de empleo indican que Hello sigue expandiendo su grupo de conducción autónoma. Los recientes acuerdos de cooperación con Venucia, Alibaba Cloud, Horizon Robotics y Hesai sugieren que su plataforma tecnológica aún se está definiendo.
El caso de Zhuzhou surge en un momento en que las ciudades chinas amplían sus programas piloto de vehículos autónomos y las empresas impulsan la implementación de sistemas sin conductor. Es probable que estos hallazgos influyan en la normativa sobre la divulgación de datos, el control remoto de vehículos y la asignación de responsabilidades en caso de fallo de los sistemas autónomos.
Incidente 1539: El robotaxi de Zoox invadió el carril contrario y se detuvo cerca del tráfico que venía de frente.
“Zoox retira su software del mercado debido a problemas con los carriles.”
Zoox, propiedad de Amazon, emitió un aviso de retirada el martes debido a la preocupación de que su sistema de conducción autónoma provocara que los vehículos invadieran el carril contrario cerca de las intersecciones o bloquearan los pasos de peatones. La retirada voluntaria de su software afectó a 332 vehículos, según documentos presentados ante la Administración Nacional de Seguridad del Tráfico en las Carreteras (NHTSA).
Si bien no se han registrado colisiones relacionadas con este problema, Zoox señaló en la documentación presentada ante la NHTSA que podría aumentar el riesgo de un accidente. La compañía ofrece viajes gratuitos al público en sus vehículos autónomos Zoox en algunas zonas de San Francisco y Las Vegas.
Un portavoz de Zoox declaró a TechCrunch que la compañía identificó algunos casos en los que sus vehículos realizaron maniobras que, si bien son comunes para los conductores humanos, no cumplían con sus estándares. Por ejemplo, para evitar bloquear ciertas intersecciones con semáforo en rojo, el robotaxi podría detenerse en un paso de peatones. En otros casos, el robotaxi giró tarde, lo que resultó en un giro amplio, según un comunicado enviado por correo electrónico por un portavoz.
El problema se identificó inicialmente el 26 de agosto, cuando un robotaxi de Zoox giró a la derecha de forma amplia, invadió parcialmente el carril contrario y se detuvo momentáneamente frente al carril de circulación que venía de frente, según la documentación presentada ante la NHTSA.
Zoox monitoreó sus datos para detectar cruces de carril adicionales cerca de intersecciones, identificando finalmente 62 casos entre el 26 de agosto y el 5 de diciembre. La compañía indicó en la documentación que mantenía "conversaciones continuas con la NHTSA sobre la frecuencia, la gravedad y las causas de estos incidentes".
La compañía actualizó su software el 7 de noviembre y nuevamente a mediados de diciembre para solucionar todos los problemas.
"Hemos identificado e implementado con éxito mejoras de software específicas para abordar las causas de estos incidentes", reza el comunicado. Hoy presentamos una solicitud de revisión voluntaria de software porque la transparencia y la seguridad son fundamentales para Zoox, y queremos ser transparentes con el público y los reguladores sobre cómo estamos perfeccionando y mejorando constantemente nuestra tecnología.
Según la solicitud, la revisión de software afectó a los vehículos Zoox que circulaban por vías públicas entre el 13 de marzo y el 18 de diciembre.
Zoox ha emitido varias revisiones de software este año, incluyendo una en marzo para solucionar un problema de frenado brusco inesperado. Esta retirada se produjo tras una investigación preliminar de la NHTSA, iniciada después de que la agencia recibiera dos informes de motociclistas que colisionaron con la parte trasera de vehículos Zoox.
En mayo, Zoox solicitó dos retiradas de software para abordar las preocupaciones sobre la capacidad del sistema para predecir el movimiento de otros usuarios de la vía.
Acerca de la Base de Datos
La base de datos de incidentes de IA está dedicada a indexar el historial colectivo de daños o casi daños realizados en el mundo real por el despliegue de sistemas de inteligencia artificial. Al igual que bases de datos similares en aviación y seguridad informática, la base de datos de incidentes de IA tiene como objetivo aprender de la experiencia para que podamos prevenir o mitigar los malos resultados.
Estás invitado a enviar informes de incidentes, después de lo cual los envíos se indexarán y se harán visibles para el mundo. La inteligencia artificial solo será un beneficio para las personas y la sociedad si registramos colectivamente y aprendemos de sus fallas. (Más información)

Investigación de incidentes de IA para construir un futuro más seguro: el Instituto de Investigación de Seguridad Digital se asocia con Responsible AI Collaborative
By TheCollab Board of Directors
2024-02-20
El Instituto de Investigación de Seguridad Digital (DSRI) de los Institutos de Investigación de UL se está asociando con Responsible AI Coll...
La Base de Datos en la Prensa
Lea acerca de la base de datos en Time Magazine, Vice News, Venture Beat, Wired y Bulletin of the Atomic Scientists entre otros puntos de venta.
El Colaborativo de IA Responsable
La base de datos de incidentes de IA es un proyecto de Responsible AI Collaborative, una organización autorizada para promover la base de datos de incidentes de IA. La gobernanza de la Colaborativa se estructura en torno a la participación en su programación de impacto. Para obtener más detalles, lo invitamos a leer el informe de fundación y obtener más información sobre nuestro and learn more on our.

View the Responsible AI Collaborative's Form 990 and tax-exempt application. We kindly request your financial support with a donation.
Patrocinador fundador de la organización
Patrocinador fundador de la base de datos

Patrocinadores y subvenciones
Patrocinadores similares
El Informe de Incidentes de IA

Create an account to subscribe to new incident notifications and other updates.


