Problema 2795
La industria de la IA generativa valdrá aproximadamente [22 billones de dólares australianos para 2030](https:// www.csiro.au/en/research/technology-space/ai/Artificial-Intelligence-Roadmap), según la Organización de Investigación Científica e Industrial de la Commonwealth (El Cairo). Estos sistemas, de los cuales ChatGPT es actualmente el más conocido, pueden escribir ensayos y codificar , generar música y obras de arte, y tener conversaciones completas. Pero, ¿qué sucede cuando se destinan a usos ilegales?
La semana pasada, la comunidad de streaming se vio sacudida por un titular que enlaza de vuelta al mal uso de la IA generativa. La popular streamer de Twitch, Atrioc, emitió un video de disculpa, con los ojos llorosos, después de haber sido sorprendida viendo pornografía con los rostros superpuestos de otras mujeres streamers.
La [tecnología “deepfake”](https://www.dailymaverick.co.za/article/2023-02-15-deepfakes-faces-created-by-ai-now-look-more-real-than-genuine- photos/) necesario para aplicar Photoshop a la cabeza de una celebridad en el cuerpo de un actor porno ha existido por un tiempo, pero los avances recientes han hecho que sea mucho más difícil de detectar . Y esa es la punta del iceberg. En las manos equivocadas, la IA generativa podría causar un daño incalculable. Hay mucho que podemos perder si las leyes y los reglamentos no se mantienen al día.
El mes pasado, la aplicación de IA generativa Lensa fue objeto de críticas por permitir que su sistema creara imágenes totalmente desnudas e hipersexualizadas a partir de los rostros de los usuarios. De manera controvertida, también blanqueaba la piel de las mujeres de color y hacía que sus rasgos [más europeos] (https://www.wired.com/story/lensa-artificial-intelligence-csem/).
La reacción fue rápida. Pero lo que relativamente se pasa por alto es el gran potencial para usar IA generativa artística en estafas. En el otro extremo del espectro, hay informes de que estas herramientas pueden falsificar huellas dactilares y escaneos faciales (la método que la mayoría de nosotros usamos para bloquear nuestros teléfonos).
Los delincuentes están encontrando rápidamente nuevas formas de utilizar la IA generativa para mejorar los fraudes que ya cometen. El atractivo de la IA generativa en las estafas proviene de su capacidad para encontrar patrones en [grandes cantidades de datos](https://www.abc.net.au/news/2023-01-29/artificial-intelligence-ai-videos- imágenes-voces-musica-2023/101874146). La ciberseguridad ha visto un aumento en los "bots malos": programas maliciosos automatizados que imitan el comportamiento humano [para cometer delitos] (https://www.forbes.com/sites/forbestechcouncil/2016/08/31/bots-and-cybersecurity- cuál es el riesgo/). La IA generativa hará que estos sean aún más sofisticados y difíciles de detectar.
Alguna vez recibió [un mensaje de texto fraudulento](https://theconversation.com/we-have-filed-a-case-under-your-name-beware-of-tax-scams-they-be-everywhere-this-eofy- 162171) de la "oficina de impuestos" alegando que tenía un reembolso en espera? ¿O tal vez recibió una llamada que decía que había una orden de arresto [fuera de su arresto] (https://www.cyber.gov.au/acsc/view-all-content/guidance/tax-scam-stories/marios-story)? En tales estafas, la IA generativa podría usarse para mejorar la calidad de [textos o correos electrónicos] (https://www.techtarget.com/searchenterpriseai/news/252529600/ChatGPT-could-boost-phishing-scams), haciéndolos mucho más más creíble. Por ejemplo, en los últimos años hemos visto que los sistemas de IA se [utilizan para](https://www.wsj.com/articles/fraudsters-use-ai-to-mimic-ceos-voice-in-unusual-cybercrime- case-11567157402) se hacen pasar por figuras importantes en ataques de "suplantación de voz".
Luego están las estafas románticas, en las que los delincuentes se hacen pasar por intereses románticos y piden dinero a sus objetivos para ayudarlos a salir de problemas financieros. Estas estafas ya están muy extendidas y, a menudo, son lucrativas. Capacitar a la IA en mensajes reales entre parejas íntimas podría ayudar a crear un bot conversacional fraudulento que no se pueda distinguir [de un humano](https://thediplomat.com/2021/01/chatbot-gone-awry-starts-conversations-about-ai-ethics- en-corea-del-sur/).
La IA generativa también podría permitir que los ciberdelincuentes apunten de manera más selectiva a las personas vulnerables. Por ejemplo, entrenar un sistema con información robada de grandes empresas, como en los ataques de Optus o Medibank el año pasado, [podría ayudar a los delincuentes a atacar](https://gilescrouch.medium.com/generative-ai-risks-and-dangers -f70994c74f5a) personas mayores, personas con discapacidad o personas con dificultades económicas. Además, estos sistemas se pueden utilizar para [mejorar el código informático](https://www.zdnet.com/article/chatgpt-can-write-code-now-researchers-say-its-good-at-fixing-bugs- también/), que según algunos expertos en ciberseguridad hará que el malware y los virus sean más fáciles de crear y más difíciles [de detectar para el software antivirus](https://www.techtarget.com/searchenterpriseai/news/252529600/ChatGPT-could-boost-phishing -estafas).
La tecnología está aquí y no estamos preparados
EE. UU. tiene una Iniciativa Nacional de Inteligencia Artificial legislada desde 2021. Y desde 2019 ha sido [ilegal en California](https://leginfo.legislature.ca .gov/faces/billTextClient.xhtml?bill_id=201720180SB1001) para que un bot interactúe con los usuarios con fines comerciales o electorales sin revelar que no es humano. La Unión Europea también está en camino de promulgar la [primera ley de IA] del mundo (https://artificialintelligenceact.eu/). La Ley de IA prohíbe ciertos tipos de programas de IA que presentan un "riesgo inaceptable", como los utilizados por el [sistema de crédito social] de China (https://www.abc.net.au/news/2018-09-18/china-social -crédito-a-modelo-ciudadano-en-una-dictadura-digital/10200278) – e impone restricciones obligatorias a los sistemas de “alto riesgo”.
esto me parece exactamente correcto. 🎯 pic.twitter.com/hNXEDdN0Yn
— Kareem Carr | Científico de datos (@kareem_carr) 29 de enero de 2023
Aunque pedirle a ChatGPT que viole la ley resulta en advertencias que " planificar o llevar a cabo un delito grave puede tener graves consecuencias legales”, el hecho es que no es necesario que estos sistemas tengan un “código moral” [programado en ellos] (https://www.theregister.com/2023/01 /20/chatgpt_morally_corrupting/).
Es posible que no haya límite para lo que se les puede pedir que hagan, y es probable que los delincuentes encuentren soluciones alternativas para cualquier regla destinada a evitar su uso ilegal. Los gobiernos deben trabajar en estrecha colaboración con la industria de la ciberseguridad para regular la IA generativa sin sofocar la innovación, por ejemplo [requiriendo consideraciones éticas] (https://www.lexisnexis.com.au/en/insights-and-analysis/practice-intelligence/ 2018/the-ethics-of-ai-in-the-legal-industry) para programas de IA. (…)
¿Puedes detectar una estafa?
A medida que los delincuentes agregan herramientas de inteligencia artificial generativa a su arsenal, detectar estafas solo se volverá más complicado. Los consejos clásicos se seguirán aplicando, pero más allá de eso, Aprenderé mucho al evaluar las formas en que estas herramientas se quedan cortas.
La IA generativa es mala en razonamiento crítico y transmisión de emociones. Incluso se puede engañar para que da respuestas incorrectas. Saber cuándo y por qué sucede esto podría ayudarnos a desarrollar métodos efectivos para atrapar a los ciberdelincuentes que usan IA para la extorsión.
También se están desarrollando herramientas para detectar IA salidas de herramientas como ChatGPT. Estos podrían contribuir en gran medida a prevenir el ciberdelito basado en IA si demuestran ser efectivos.