Miles estafados por voces de IA que imitan a seres queridos en emergencias – Ars Technica

¿Eres realmente tú?

Miles estafados por voces de IA que imitan a seres queridos en emergencias
En 2022, se robaron $11 millones a través de miles de estafas telefónicas de impostores.

Los modelos de inteligencia artificial diseñados para simular de cerca la voz de una persona están facilitando que los malos actores imiten a sus seres queridos y estafen a las personas vulnerables por miles de dólares, informó The Washington Post.

Algunos software de generación de voz de IA, que evolucionan rápidamente en sofisticación, requieren solo unas pocas oraciones de audio para producir un discurso convincente que transmita el sonido y el tono emocional de la voz de un orador, mientras que otras opciones necesitan tan solo tres segundos. Para los objetivos, que a menudo son los ancianos, informó el Post, puede ser cada vez más difícil detectar cuando una voz no es auténtica, incluso cuando las circunstancias de emergencia descritas por los estafadores parecen inverosímiles.

Los avances tecnológicos aparentemente hacen que sea más fácil aprovecharse de los peores temores de las personas y asustar a las víctimas que le dijeron al Post que sintieron un "horror visceral" al escuchar lo que parecían súplicas directas de amigos o familiares que necesitaban ayuda con urgencia. Una pareja envió $15,000 a través de una terminal de bitcoin a un estafador después de creer que habían hablado con su hijo. La voz generada por IA les dijo que necesitaba honorarios legales después de estar involucrado en un accidente automovilístico en el que murió un diplomático estadounidense.

Según la Comisión Federal de Comercio, las llamadas estafas de impostores son extremadamente comunes en los Estados Unidos. Fue el tipo de fraude más frecuente informado en 2022 y generó las segundas pérdidas más altas para los destinatarios. De 36,000 informes, más de 5,000 víctimas fueron estafadas por $11 millones por teléfono.

Debido a que estas estafas de impostores pueden ejecutarse desde cualquier parte del mundo, es extremadamente difícil para las autoridades tomar medidas enérgicas contra ellas y revertir la preocupante tendencia, informó el Post. No solo es difícil rastrear llamadas, identificar a los estafadores y recuperar fondos, sino que a veces también es un desafío decidir qué agencias tienen jurisdicción para investigar casos individuales cuando los estafadores operan desde diferentes países. Incluso cuando es obvio qué agencia debe investigar, algunas agencias actualmente están mal equipadas para manejar el creciente número de suplantaciones.

Ars no pudo comunicarse de inmediato con la FTC para hacer comentarios. Will Maxson, subdirector de la división de prácticas de marketing de la FTC, le dijo al Post que crear conciencia sobre las estafas que se basan en simuladores de voz de IA es probablemente la mejor defensa de los consumidores en la actualidad. Se recomienda que cualquier solicitud de dinero en efectivo se trate con escepticismo. Antes de enviar fondos, intente comunicarse con la persona que parece estar pidiendo ayuda a través de métodos que no sean una llamada de voz.

Medidas de seguridad contra la suplantación de voz de AI

Las herramientas de modelado de voz de IA se han utilizado para mejorar la generación de texto a voz, creando nuevas posibilidades para la edición de voz y expandir la magia de las películas mediante la clonación de voces famosas como la de Darth Vader. Pero el poder de producir fácilmente simulaciones de voz convincentes ya ha causado escándalos, y nadie sabe quién tiene la culpa cuando se usa mal la tecnología.

A principios de este año, hubo una reacción violenta cuando algunos miembros de 4chan hicieron voces falsas de celebridades que hacían declaraciones racistas, ofensivas o violentas. En ese momento, quedó claro que las empresas debían considerar agregar más medidas de seguridad para evitar el uso indebido de la tecnología, informó Vice, o correr el riesgo potencial de ser consideradas responsables de causar daños sustanciales, como arruinar la reputación de personas famosas.

Los tribunales aún no han decidido cuándo o si las empresas serán responsables de los daños causados ​​por la tecnología de voz ultrafalsa, o cualquier otra tecnología de inteligencia artificial cada vez más popular, como ChatGPT, donde los riesgos de difamación y desinformación parecen estar aumentando.

Sin embargo, puede haber una presión cada vez mayor sobre los tribunales y los reguladores para controlar la IA, ya que muchas empresas parecen estar lanzando productos de IA sin conocer completamente los riesgos involucrados.

En este momento, algunas empresas parecen no estar dispuestas a ralentizar los lanzamientos de funciones populares de IA, incluidas las controvertidas que permiten a los usuarios emular las voces de las celebridades. Más recientemente, Microsoft lanzó una nueva función durante su vista previa de Bing AI que se puede usar para emular celebridades, informó Gizmodo. Con esta característica, Microsoft parece estar tratando de esquivar cualquier escándalo al limitar lo que se puede pedir que digan las voces de las celebridades impostoras.

Microsoft no respondió a la solicitud de comentarios de Ars sobre qué tan bien funcionan actualmente las medidas de seguridad para evitar que el emulador de voz de celebridades genere un discurso ofensivo. Gizmodo señaló que, al igual que muchas empresas ansiosas por beneficiarse de la fascinación generalizada con las herramientas de IA, Microsoft confía en sus millones de usuarios para probar la versión beta de su "IA todavía disfuncional", que aparentemente todavía puede usarse para generar un discurso controvertido al presentarlo. como parodia. El tiempo dirá qué tan efectivas son las soluciones tempranas para mitigar los riesgos.

En 2021, la FTC publicó una guía de IA, que les decía a las empresas que los productos deberían "hacer más bien que mal" y que las empresas deberían estar preparadas para responsabilizarse por los riesgos del uso de productos. Más recientemente, el mes pasado, la FTC les dijo a las empresas: "Deben conocer los riesgos y el impacto razonablemente previsibles de su producto de IA antes de ponerlo en el mercado".