Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 3218

Loading...
Los vehículos autónomos conducen a ciegas
nytimes.com · 2023

Este mes en San Francisco, una mujer sufrió lesiones traumáticas al ser atropellada por un conductor y arrojado al camino de uno de los cientos de vehículos autónomos que deambulan por las calles de la ciudad. La jefa de bomberos de San Francisco, Jeanine Nicholson, testificó recientemente que, hasta agosto, [los vehículos autónomos interfirieron con las tareas de extinción de incendios 55 veces](https://sfist.com/2023/08/08/cops-firefighters-and-of-course- conductores-de-impuestos-partido-de-robotaxis-autónomos-antes-de-votación-regulatoria-clave/) este año. El software de piloto automático de Tesla, un sistema de asistencia al conductor, ha estado involucrado en 736 accidentes y 17 muertes a nivel nacional desde 2019.

A pesar de todo el revuelo sobre la posibilidad de que la inteligencia artificial amenace a la humanidad algún día, hay muy poca discusión sobre las formas en que está amenazando a la humanidad en este momento. Cuando se trata de vehículos autónomos, conducimos a ciegas.

La razón es simple: no existen estándares federales de prueba de seguridad de software para vehículos autónomos, una laguna jurídica lo suficientemente grande como para que Elon Musk, General Motors y Waymo conduzcan miles de automóviles. La Administración Nacional de Seguridad del Tráfico en las Carreteras regula el hardware (como limpiaparabrisas, bolsas de aire y espejos) de los automóviles vendidos en los Estados Unidos. Y los estados son responsables de otorgar licencias a los conductores humanos. Para ganarnos el derecho a conducir un automóvil, la mayoría de nosotros en algún momento tenemos que aprobar un examen de la vista, un examen escrito y un examen de manejo.

La IA no se somete a tal escrutinio gubernamental antes de tomar el mando. En California, las empresas pueden obtener un permiso para operar automóviles sin conductor [declarando que sus vehículos han sido probados] (https://www.dmv.ca.gov/portal/vehicle-industry-services/autonomous-vehicles/testing-autonomous -vehiculos-sin-conductor/) y el “[el fabricante ha determinado razonablemente que es seguro operar el vehículo](https://www.dmv.ca.gov/portal/file/autonomous-vehicle-tester-atv -programa-solicitud-para-fabricantes-permiso-de-prueba-vehículos-sin-conductor-ol-318-pdf/)”.

“Existe una extraña brecha entre quién está a cargo de otorgar la licencia de un controlador de computadora: ¿es la N.H.T.S.A. ¿O el Estado?” pregunta Missy Cummings, profesora y directora del Centro Mason de Robótica y Autonomía de la Universidad George Mason.

Hay una ironía en esto: muchos titulares se han centrado en el temor de que las computadoras se vuelvan demasiado inteligentes y arrebaten el control del mundo a los humanos, pero en nuestra realidad, las computadoras a menudo son demasiado tontas para evitar hacernos daño.

El vehículo autónomo las empresas argumentan que, a pesar de sus publicitados fallos de funcionamiento, su software sigue siendo [mejor que los conductores humanos]. (https://waymo.com/blog/2023/09/waymos-autonomous-vehicles-are.html) Eso podría ser cierto; después de todo, los vehículos autónomos no se cansan, no conducen ebrios ni envían mensajes de texto y conducen, pero nosotros Aún no tengo los datos para tomar esa determinación. Los autos autónomos cometen otro tipo de errores, como detenerse de manera que bloqueen a las ambulancias y inmovilizar a la víctima de un accidente.

El mes pasado, los representantes Nancy Pelosi y Kevin Mullin [escribieron una carta](https://kevinmullin.house.gov/sites/evo-subsites/kevinmullin.house.gov/files/evo-media-document/3b080d17-b33e-4de0- a762-e1dd005633ee.pdf) a la N.H.T.S.A. pidiendo a la agencia que exija más datos sobre incidentes de vehículos autónomos, particularmente aquellos que involucran vehículos detenidos que obstaculizan a los trabajadores de emergencia. También sería útil disponer de más datos comparativos sobre accidentes automovilísticos provocados por personas; la N.H.T.S.A. proporciona únicamente [estimaciones de accidentes basadas en muestreo] (https://www.nhtsa.gov/crash-data-systems/crash-investigation-sampling-system).

Pero ¿por qué no podemos ir más allá de la recopilación de datos?

Después de todo, la A.I. A menudo comete errores sorprendentes. Este año, uno de los autos Cruise de GM se estrelló contra un autobús articulado después de predecir incorrectamente su movimiento. GM actualizó el software después del incidente. El año pasado, un automóvil autónomo frenó bruscamente mientras giraba a la izquierda porque parecía haber pensado que un automóvil que se aproximaba iba a hacer un giro a la derecha en su camino. En cambio, el vehículo que venía en sentido contrario chocó contra el vehículo sin conductor detenido. Los pasajeros de [ambos coches resultaron heridos] (https://incidentdatabase.ai/cite/293/).

“Los sistemas de visión por ordenador de estos coches son extremadamente frágiles. Fracasarán de maneras que simplemente no entendemos”, dice el Dr. Cummings, quien ha escrito que A.I. debe estar sujeto a requisitos de licencia equivalente a las pruebas de visión y rendimiento a las que se someten los pilotos y conductores.

Por supuesto, el problema no se limita a los coches. Cada día aprendemos sobre una forma diferente en que la A.I. los chatbots están fallando, ya sea inventando jurisprudencia o [acosando sexualmente a sus usuarios](https:/ /www.vice.com/en/article/z34d43/my-ai-is-sexually-harassing-me-replika-chatbot-nudes). Y llevamos mucho tiempo lidiando con los fallos de la IA. sistemas de recomendación, que en ocasiones han recomendado piezas de armas y parafernalia de drogas en Amazon, que restringe dichos artículos, o publicó contenido ideológicamente sesgado en YouTube.

A pesar de todos estos ejemplos de daño del mundo real, muchos reguladores siguen distraídos por los escenarios de desastre distantes y, en algunos casos, inverosímiles, creados por la IA. Doomers: investigadores y ejecutivos tecnológicos de alto poder que argumentan que la gran preocupación es [el riesgo de extinción humana algún día] (https://www.safe.ai/statement-on-ai-risk). El gobierno británico está llevando a cabo una A.I. Cumbre de Seguridad en noviembre, y Politico informa que la La IA del país El grupo de trabajo está siendo [dirigido por tales fatalistas] (https://www.politico.eu/article/rishi-sunak-artificial-intelligence-pivot-safety-summit-united-kingdom-silicon-valley- Effective-altruism/) .

En los Estados Unidos, [una amplia gama de A.I. Se ha propuesto en el Congreso una legislación] (https://www.vox.com/future-perfect/23775650/ai-regulation-openai-gpt-anthropic-midjourney-stable), centrada en gran medida en preocupaciones pesimistas, como [salvo que la I.A. de tomar decisiones sobre lanzamientos nucleares](https://www.markey.senate.gov/news/press-releases/markey-lieu-beyer-and-buck-introduce-bipartisan-legislation-to-prevent-ai-from-launching -un-arma-nuclear) y [que requieren algo de I.A. modelos que deben obtener licencia y registrarse] (https://www.blumenthal.senate.gov/newsroom/press/release/blumenthal-and-hawley-announce-bipartisan-framework-on-artificial-intelligence-legislation).

Las teorías fatalistas son “una táctica de distracción para hacer que la gente corra una cantidad infinita de riesgos”, dice Heidy Khlaaf, ingeniera de seguridad de software y directora de ingeniería de Trail of Bits, una empresa de seguridad técnica. En un artículo reciente, el Dr. Khlaaf abogó por centrarse en la IA. pruebas de seguridad específicas para cada dominio en el que opera, por ejemplo, ChatGPT para uso de abogados.

En otras palabras, debemos empezar a reconocer que la A.I. La seguridad es un problema que tiene solución y que podemos y debemos resolverlo ahora con las herramientas que tenemos.

Los expertos en diferentes dominios necesitan evaluar la IA. Se utilizan en sus campos para determinar si es demasiado arriesgado, empezando por hacer que un grupo de coches autónomos pasen pruebas de visión y conducción.

Suena aburrido, pero eso es exactamente la seguridad. Se trata de un grupo de expertos que realizan pruebas y elaboran listas de verificación. Y tenemos que empezar a hacerlo ahora.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd