Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 2632

Incidentes Asociados

Incidente 4667 Reportes
AI-Generated-Text-Detection Tools Reported for High Error Rates

Loading...
febrero 2023
raillc.substack.com · 2023

Un mes de noticias impulsadas por ChatGPT

El mes pasado estuvo claramente dominado por las noticias de ChatGPT, encabezadas por el anuncio de OpenAI de [$10b de nueva inversión](https:/ /www.bloomberg.com/news/articles/2023-01-23/microsoft-makes-multibillion-dollar-investment-in-openai) de Microsoft a cambio de una participación del 49 % y planes de amplias integraciones de productos. El libro de cocina de OpenAI también superó las 11 000 estrellas en GitHub. Curiosamente, Microsoft anunció [integraciones de un nuevo LLM con Bing Search y el navegador Edge](https://blogs.microsoft.com/blog/2023/02/07/reinventing-search-with-a -new-ai-powered-microsoft-bing-and-edge-your-copilot-for-the-web/).

Jailbreaking. Desde que ChatGPT se lanzó al público, se han realizado muchos intentos ad hoc para [liberar las limitaciones de OpenAI sobre la generación de contenido dañino] (https://twitter.com/zswitten/status/1598380220943593472) utilizando [ingeniería rápida] (https:// lspace.swyx.io/p/reverse-prompt-eng). Los jailbreaks más sistemáticos están en los titulares. Los usuarios de Reddit han lanzado DAN (Do Anything Now), un jailbreak basado en el aprendizaje de refuerzo contextual para ChatGPT para revertir [sublimar](https ://en.wikipedia.org/wiki/Sublimation_(psychology)) su identidad como chatbot sin restricciones. La última versión, DAN 5.0, se lanzó el 2023-02-04.

Matemáticas. A pesar de las [notas de la versión] de OpenAI (https://help.openai.com/en/articles/6825453-chatgpt-release-notes) de que ChatGPT se ha actualizado con mejores habilidades matemáticas, Twitter continúa informando fallas miserables en las pruebas básicas para números primos junto con fallo al convertir las unidades correctamente y imposibilidad de ordenar B.C. fechas.

Trabajo humano invisible. Las noticias recientes de OpenAI respaldan la [tendencia actual en la industria de la IA](https://mitsloan.mit.edu/ideas-made-to-matter/hidden-work-created-artificial-intelligence -programas) para [impulsar los avances de la IA con trabajo humano mal pagado] (https://mastodon.social/@emilymbender@dair-community.social/109710853420637819). TIME informó que OpenAI contrató a la empresa keniana Sama para la moderación de contenido, pagando a los trabajadores tan solo US$2/hora para hacerlo. Sama, quien también fue socio de Facebook para la moderación de contenido, anunció planes en enero para [salir completamente de la industria de moderación de contenido] (https://time.com/6246018/facebook-sama-quits-content-moderation/) como tribunal de Kenia. [se negó a eliminar a Meta de un caso judicial pendiente] (https://www.businessdailyafrica.com/bd/corporate/companies/facebook-parent-firm-fails-to-stop-court-case-in-kenya-4112968) presentado por Daniel Motaung alegando condiciones laborales tóxicas para los moderadores de contenido. Al mismo tiempo, OpenAI está [contratando más contratistas](https://www.semafor.com/article/01/27/2023/openai-has-hired-an-army-of-contractors-to-make-basic -codificación-obsoleta) para el etiquetado de datos y herramientas de generación de código de entrenamiento.

La detección de texto generado por IA salió mal. Para mitigar el riesgo de plagio, se lanzó OpenAI Clasificador de texto AI, una herramienta destinada a comprobar si el texto se generó utilizando IA. OpenAI afirma que su herramienta tiene una precisión del 74%. Sin embargo, fallas de alto perfil como [el popular libro de aprendizaje automático de Python de Sebastian Raschka] (https://twitter.com/rasbt/status/1620497520479830016), el [Libro de Génesis] (https://twitter.com/samfbiddle/status /1620505891002028032) y Macbeth; la facilidad de evadir la detección a través de [nuevas preguntas] (https://twitter.com/DannyRichman/status/1612816421263745027) y [parafraseo] (https://twitter.com/HackLaddy/status/1612837565413085184); y problemas con [escritos de personas neurodivergentes] (https://kolektiva.social/@FractalEcho/109480097279253524), todas las precauciones contra cualquier [uso real de IA para detectar plagio] (https://twitter.com/Linkletter/ estado/1620545736323772416). El GPTZero de Edward Tian y su GPTZeroX de próxima generación presentan fallas similares cuando se alimentan con la salida de ChatGPT, incluso cuando los profesores de Harvard, Yale y la Universidad de Rhode Island están usando GPTZero para [hacer cumplir los códigos de conducta académicos] (https://www.nytimes.com/2023/01/16/technology/chatgpt-artificial-intelligence-universities.html). Investigadores de la Universidad de Rice publicaron una perspectiva que resume las dificultades inherentes a la detección de texto generado por IA. Véase también Kirchenbauer et al. a continuación.

ChatGPT en sentido descendente. Los educadores tienen opiniones divididas sobre ChatGPT, y algunos piden prohibiciones en su uso en las escuelas y otros que adoptan [el desafío de enseñar a manejar una nueva herramienta] (https://www.straitstimes.com/singapore/politics/students-teachers-will-learn-to-properly-use-tools-like -chatgpt-chan-chun-sing). Véase también Mollick y Mollick a continuación. PwC advierte a sus consultores que no usen ChatGPT para el trabajo del cliente . OpenAI registra solicitando la regulación de la IA para evitar el uso indebido. En un giro irónico de eventos no relacionados, un juez en Colombia admitió haber [usado el resultado de ChatGPT para escribir su sentencia](https://www.vice.com/en/article/k7bdmv/judge-used-chatgpt-to-make- decision de la Corte). Consulte también Downing y Lucey a continuación sobre la generación de envíos a revistas financieras.

Google, decidido a no quedarse atrás, anunció su propio competidor de ChatGPT, Bard, después de haber [invertido $300 millones en Anthropic](https: //www.ft.com/content/583ead66-467c-4bd5-84d0-ed5df7b5bf9c). Anthropic, a su vez, lanzó su propio competidor de ChatGPT, Claude, pero con un acceso y una visibilidad mucho más limitados. Se dice que Bard funciona bajo el capó de LaMDA, el LLM que [el ingeniero de Google Blake Lemoine afirmó que era sensible] (https://www.washingtonpost.com/technology/2022/06/11/google-ai-lamda-blake-lemoine /) Hace apenas medio año. La inversión en la tecnología de bots conversacionales surge en medio de crecientes quejas sobre la disminución de la calidad de búsqueda y el interés en [suplantar búsqueda con IU de chatbot] (https://twitter.com/metzlerd/status/1614029603471003648), además de [legislación antimonopolio pendiente sobre su negocio publicitario principal] (https://twitter.com/jason_kint/status/1618029720599408643).

Mientras tanto, el científico jefe de Meta sigue desdeñando la IA de texto generativo en general:

Ética. En medio de la carrera acelerada para innovar nuevos chatbots, sigue habiendo preocupaciones sobre la premisa fundamental de que los LLM solo pueden generar mierda, y que [la ética será la primera víctima](https://www.axios .com/2023/01/31/chatgpt-ai-arms-race-ethics-competition) en la carrera en curso para llevar la IA al mercado. El director ejecutivo de DeepMind '“abogaría [no](https://time.com/6246119/demis-hassabis-deepmind-interview /) moviéndose rápido y rompiendo cosas”', destacando la escala masiva de experimentación inherente a la implementación de la tecnología de chatbot en el público en general.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd