Estafas románticas impulsadas por IA: el CEO de Incode, Ricardo Amper, sobre La estafa perfecta de AARP

La mayoría de las personas asumen que podrían detectar un video deepfake. Están seguros de que notarían una falla en el movimiento, una voz que suena distorsionada o algo que simplemente se siente desactivado. Pero la tecnología se ha movido mucho más allá de nuestra percepción.

Hoy en día, deepfakes puede soportar una convincente videollamada de una hora de duración. Agentes de IA incluso puede mantener una “relación romántica” durante meses, respondiendo de forma natural, construyendo confianza y eventualmente pidiendo dinero. Cuando la estafa finalmente se desenreda, no es obvio a quién señalar con el dedo, sin embargo, el daño financiero y emocional es muy real.

Eso es exactamente lo que le pasó a David. Conoció a Bonnie en línea, se enamoró de ella durante siete meses de videollamadas y mensajes, le envió dinero para ayudar con un trabajo por contrato en Australia y, finalmente, perdió casi 50.000 dólares a lo que los investigadores creen que era una persona generada por la IA. Nunca la conoció en persona. Pero los videos parecían completamente reales.

En el último episodio de La estafa perfecta de AARP, Ricardo Amper, Fundador y CEO de Incode, se une al presentador Bob Sullivan para hablar sobre lo que vivió David, por qué se está volviendo más común y qué se puede hacer realmente al respecto.

Lo que aprenderás en este episodio

Durante el episodio, Ricardo y Bob discuten por qué funcionan las estafas románticas, cómo detectar la tecnología detrás de ellos y qué pueden hacer tanto las personas como las empresas para protegerse.

Tus instintos ya no pueden protegerte

Ricardo explica cómo la biología trabaja en nuestra contra, impidiéndonos confiar en lo que vemos y escuchamos. Los Deepfakes ahora explotan eso a escala, sin noticias visibles.

“Biología nos enseñó a creer a la persona que estamos mirando y la voz que estamos escuchando. No se trata realmente de instinto. Se trata de cómo tecnología está evolucionando de una manera que los humanos ya no pueden detectarlo”, dijo Ricardo Amper, Fundador y CEO de Incode.

La tecnología Deepfake ha evolucionado rápidamente

Hace dos años, los problemas de sincronización de labios delataron deepfakes después de unos segundos. Ese problema ya se ha solucionado. Los atacantes pueden sostener un Conversación de video en vivo completamente convincente durante una hora o más.

Las estafas románticas recién están comenzando

Las estafas románticas ya están una industria de mil millones de dólares. Ricardo advierte que a medida que los agentes de IA reemplacen a los operadores humanos en las anillos de fraude, el volumen de ataques aumentará dramáticamente a un costo cercano a cero para el estafador.

“Antes, había algún límite en la escala de estos ataques porque requerían verdaderos operadores humanos. Ese límite ya no existe. Se pueden implementar un millón de agentes de IA para engañar a las personas simultáneamente, a un costo casi nulo”, dijo Ricardo Amper, Fundador y CEO de Incode.

Ricardo también recuerda a los oyentes que la vergüenza, aunque natural, no debe impedir que las víctimas denuncien este tipo de estafas lo antes posible.

Cómo Incode protege a los consumidores de los estafadores

Plataformas que implementan verificación de identidad (IDV) son los lugares más seguros para conocer gente en línea, según Ricardo. Verificación continua de identidad ayuda a establecer que alguien realmente es quien dice ser. Y estos modelos están específicamente entrenados para capturar los artefactos deepfake que los humanos ya no notan de manera confiable.

Por ejemplo, Ricardo camina a través de cómo Modelos de IA defensiva de Incode, entrenados en millones de deepfakes generados, detectan inconsistencias a nivel de píxeles invisibles para el ojo humano, en tiempo real, en el punto de IDV.

Protéjase de las estafas de Deepfake

Durante la conversación, Ricardo imploró a los consumidores que se mantengan agudos al interactuar con nuevos individuos en línea. Ricardo aconsejó a los consumidores:

• Utilice únicamente plataformas con IDV robusto
• Busca cuentas verificadas
• Iniciar reuniones presenciales temprano y en espacios públicos
• Confía en tus instintos. Si algo sobre la interacción se siente apresurado o demasiado conveniente, es mejor reducir la velocidad

“Se va a poner muy difícil en los próximos dos o tres años. Pero dentro de diez años, creo que vamos a vivir en un mundo mucho más seguro y productivo”, dijo Ricardo Amper, Fundador y CEO de Incode.

Escucha el episodio completo

‍

Más plataformas para escuchar el episodio están disponibles aquí.

‍

Leer la transcripción

[Bob]
Todo lo que necesitan para robarte es una computadora y a menudo una historia. Pero ahora hay tantas herramientas disponibles para hacer esas historias mucho más realistas. No tenemos forma de saber si los videos que David recibió fueron generados por IA, falsificaciones profundas o algo más. Pero queríamos platicar de la posibilidad con un experto. Entonces hoy tenemos aquí a Ricardo Amper. Es el fundador y CEO de Incode Technologies, que construye software para detectar falsificaciones de IA. Primero le pregunté sobre la situación de David.

[Ricardo Amper]
Es muy desafortunado, pero en realidad esto es muy común y las estafas de romance en línea están sucediendo cada vez más. Es una industria de mil millones de dólares en este momento, y creemos que va a ser mucho más en el futuro.

[Bob]
Una cosa a tener en cuenta sobre la historia de David es que después de esa videollamada inicial, la mayoría de los otros videos que envió eran clips de un solo sentido. En otras palabras, no interacciones. Esa es una táctica común. Algo que he escuchado de otras personas que son víctimas de estafas románticas usando videos falsos es este trato donde los delincuentes generan unos momentos de video, suficientes para ser persuasivos, y luego, oh, Internet se está apagando, cambiemos a chat. Dime por qué sucede eso.

[Ricardo Amper]
Eso sucedió hace dos o tres años porque las tecnologías no eran lo suficientemente buenas como para poder sincronizar de manera convincente tu voz a los labios. Entonces, lo que es un deepfake, es un video generado por IA que tiene que coincidir con tu labio, tiene que cambiar tu voz y tiene que parecerse a la identidad que están tratando de retratar. Y hace dos años, podías lograr eso solo por un poco de tiempo y entonces habría señales muy claras de que tu voz no coincidía con tus labios.

[Bob]
Entonces, si alguien intenta enviarte una serie de videoclips cortos y te ofrece excusas para rechazar una videollamada, pues eso es una señal de problemas. Pero desafortunadamente, advertencias como esa se están volviendo obsoletas.

[Ricardo Amper]
Pero lo que da miedo es que ahora puedes sostener una conversación de una hora y no puedes decir. Entonces ese signo revelador, que nos pasó, que es que no va a funcionar por mucho tiempo, eso ahora es un problema técnico resuelto. Y ahora puedes tener una conversación de una hora y ni siquiera saber.

[Bob]
Hubo un tiempo en que especulábamos que habría estos deepfakes, o la gente crearía versiones de video muy realistas de amantes o ejecutivos o lo que sea, pero era difícil realmente encontrarlos en el mundo. Pero cuando ustedes me contactaron, hicieron referencia a que había 2,000 incidentes documentados de deepfakes siendo utilizados en delitos en términos generales. ¿Ha llegado a la mayoría de edad este tipo de crimen de video deepfake?

[Ricardo Amper]
Los deepfakes en general se están convirtiendo en el vector de ataque número uno en muchas industrias. Y lo que estamos viendo es que al menos ahora mismo, un tercio de todos los ataques que estamos defendiendo son deepfakes, donde las personas, o sistemas, están retratando de ser alguien que no son y están tratando de engañar a los bancos y sitios en línea haciéndole pensar que hay alguien más. Están abriendo cuentas a nombre de otras personas, o tomando el control de cuentas bancarias que no son de su propiedad.

[Bob]
La parte más alarmante de esta historia es que los criminales están usando nuestra propia naturaleza humana en nuestra contra.

[Ricardo Amper]
Da miedo porque la biología nos enseñó a creer a la persona que estamos mirando y la voz que estamos escuchando. Y esto no se trata realmente de tu instinto. Se trata más de cómo la tecnología está evolucionando de una manera que los humanos ni siquiera pueden detectarla.

[Bob]
Años de evolución nos han dicho: así es como sabes que alguien es real. Y es al verlos, sus labios se mueven, al escuchar su voz. Este es un cambio realmente grande para que las personas absorban en un lapso de tiempo muy corto, que vamos a tener que cambiar la forma en que verificamos quién es alguien, ¿verdad?

[Ricardo Amper]
Y ese es el problema, ¿verdad? Porque no se trata de lo sofisticado que seas. Se trata más de asegurarse de que las empresas o los sitios con los que se está tratando adopten esta tecnología de IA para verificar su identidad. Y el problema con esto es que también trabajamos con Seguridad Nacional. Incluso ellos, tienen problemas cuando, por ejemplo, los pilotos están verificando su identidad para volar en privado y todo esto se hace de manera digital. Hay muy poco que puedan hacer a menos que adopten algunas de estas nuevas tecnologías de IA.

[Bob]
Los ataques de Deepfake se están volviendo tan comunes que, bueno, el propio Ricardo fue una víctima.

[Ricardo Amper]
Uno de los primeros que vimos fue en realidad un ataque deepfake dirigido a nuestra empresa. Entonces nuestro jefe de Hacienda, la persona que mueve el dinero en la empresa, recibió un mensaje de WhatsApp de un yo falso diciendo: “Andreas, necesitamos hacer una adquisición y necesito que envíes un millón de dólares para financiar una cuenta para que podamos asegurar esta adquisición inicial”. Y por supuesto la persona dijo, vamos a un video, y ellos acudieron a una llamada de Zoom. Al mirar un video en vivo real, había un yo falso hablando de cómo necesitábamos hacer esta adquisición muy discreta. Y era hiperrealista. No había señal de avisarla. Lo que pasó fueron tres minutos después de la llamada, empezó a ponerse entrecortada como si tuvieras mal wifi, y luego la persona dijo, entremos en un video diferente. Entraron a una reunión de Equipos y lo mismo, una persona muy realista tratando de explicar, retratando de ser yo, tratando de explicar lo que estábamos tratando de hacer. Eventualmente fue a una llamada telefónica, y nuestro tesorero estaba convencido de que en realidad era yo pidiéndole que le hiciera una transferencia de dinero. Al final, la razón por la que no lo hizo fue porque nunca lo llamé para eso. Realmente es el CFO. Entonces llama al CFO, y el CFO dijo, yo no sabía de eso. Terminaron mandando a alguien a mi casa ya que trabajaba desde casa. Y así fue como vimos por primera vez algunos de los primeros deepfakes.

[Bob]
Fue muy descarado que alguien atacara tu empresa de esta manera, ¿no?

[Ricardo Amper]
Lo fue, sí. Eso requirió de muchas agallas para hacer eso. Pero lo cierto es que es extremadamente común.

[Bob]
Solo para darte una idea de lo realistas que pueden sonar estas cosas, le preguntamos a Incode y Ricardo si podrían enviarnos un ejemplo de una llamada telefónica deepfake. Y lo hicieron. Lo que están a punto de escuchar es una grabación de Jorge Braniff, VP de Fraude y Operaciones de Incode, platicando con un bot que se hace pasar por Ricardo. Mientras escuchas, piensa en esto: Jorge nos dijo que se trata de un simple agente entrenado en un solo clip de voz corto. Al agente se le proporcionó una indicación general para solicitar una transferencia bancaria. Nada estaba escrito; el agente va inventando las palabras a medida que avanza.

[Bot de IA]
Te llamo hoy respecto a un asunto bastante urgente que requiere la atención inmediata de tu equipo.

[Jorge Braniff]
¿Qué necesitas?

[Bot de IA]
Necesito solicitar una transferencia de dinero para una compra confidencial. Se trata de un proyecto estratégico que requiere de una acción inmediata. ¿Podría decirme qué información necesita de mí para procesar esta transferencia?

[Jorge Braniff]
¿Cuánto necesitas para este traslado?

[Bot de IA]
Necesito una transferencia de $500,000. Esto es para una adquisición crítica y urgente que beneficiará significativamente a la compañía.

[Jorge Braniff]
Bien, gracias. Te avisaré cuando esté hecho.

[Bob]
Ricardo también nos habló de un incidente aterrador que involucró a un conjunto de empresas en Las Vegas, y la clave de ese ataque fue un video deepfake de aspecto realista.

[Ricardo Amper]
Una de las cosas que sucedieron hace aproximadamente un año que realmente daba miedo fue en Las Vegas. Alguien tuvo éxito al tomar la identidad de un gerente de TI. La persona que administra el sistema para una de las cadenas hoteleras más grandes fue atacada usando un deepfake en vivo, es decir, el mismo tipo de ataque que tuvimos, donde puedes ver a una persona con la que estás interactuando en vivo a través de un video Zoom. La persona decía, mira, perdí mi teléfono, perdí mi computadora, necesito tener acceso a esto. Se metieron en una llamada de Zoom con uno de sus colegas, les dieron acceso, y esa persona era en realidad un hacker altamente sofisticado que luego se hizo cargo de ese sistema en Las Vegas. Durante dos semanas, esencialmente la mitad de Las Vegas se detuvo. Bloquearon el sistema hasta que consiguieron un rescate, y finalmente se les pagó más de 30 millones en rescate. La pérdida fue de cientos de millones.

[Bob]
Si todo esto no es lo suficientemente alarmante, hay algo aún más dramático que va a suceder en el mundo de las estafas con IA. Todos esos bancos de empleados que sirven como llamadores de primera línea y texteros haciendo contacto inicial en muchas estafas, bueno, van a ser reemplazados por agentes de IA. Eso realmente permitirá que las bandas criminales aumenten dramáticamente sus ataques prácticamente sin costo alguno.

[Ricardo Amper]
Y lo que da miedo es que, por lo general, las estafas las hacían humanos. Creemos que para el próximo año, la mitad de todas las estafas en el mundo en identidad, no solo en romance, sino en cada parte de la identidad, van a ser creadas por algunas de estas herramientas de generación de IA que, por cierto, cuestan casi cero dinero para ganar. Y lo que también está cambiando es que solía ser que necesitas un humano vivo haciendo este deepfake, engañándote. Pero ahora con los avances de la generación AI, esto ahora está empezando a ser hecho por agentes de IA que te están respondiendo en tiempo real, que pueden razonar como puedes razonar con un ChatGPT o un Claude. Entonces estás hablando con ese agente. El agente está razonando, respondiéndole de nuevo. Lo que significa es que al menos antes, había algún límite en la escala del ataque porque necesitabas seres humanos reales para hacer eso. Y ahora no va a haber un límite. Puede haber un millón de agentes desplegados tratando de engañar a la gente, y eso no cuesta casi nada.

[Bob]
Entonces, ¿qué puedes hacer con todo esto? Mostramos a Ricardo los videos que le habían enviado a David. Dijo que a menudo no se puede decir con solo mirar más. Algunos videos de IA pueden ser extremadamente convincentes para el público en general, e incluso los profesionales capacitados pueden equivocarse en el primer intento. Por lo que no recomienda confiar en tus ojos para detectar la falsificación.

[Ricardo Amper]
Lo primero es reconocer que hay mucha vergüenza de por medio cuando esto sucede, y sucede con mucha frecuencia. Protegemos un montón de empresas, incluyendo sitios de citas y similares. Creo que lo primero que le diría a tus oyentes es que no deberías avergonzarte. Esto está sucediendo por todas partes, y la tecnología ha evolucionado mucho más allá de lo que la intuición humana puede detectar. Lo que yo le diría a esas personas es, asegúrese de que cuando esté ingresando a algunos de estos sitios web, primero pueda verificar su identidad. No es que no confíes. Mientras ese sea el modus operandi del sitio, entonces hay una probabilidad mucho menor de tener este tipo de estafas, porque lo que hacen es que te toman una foto, se aseguran de que coincida con la foto de tu licencia de conducir. Si son buenos sitios, han contratado a un proveedor como nosotros donde en tiempo real estaríamos detectando deepfakes. Y así se convierte en un entorno mucho más seguro.

[Bob]
¿Puedes, me doy cuenta de que estoy haciendo una pregunta que es una respuesta de años, pero cómo funciona la tecnología como la tuya? ¿Cómo se detectan los deepfakes? ¿Cómo puede su computadora determinar la diferencia entre lo que es real y lo que es una computadora?

[Ricardo Amper]
Estamos en una edad en la que se llama IA defensiva. Es la IA que protege contra las estafas de IA. Lo que hacemos es contar con un laboratorio de fraude bastante extenso donde tenemos alrededor de 120 herramientas, algunas de las cuales desarrollamos, algunas de las cuales obtenemos de la dark web e incluso solo los sitios normales de generación de video que ahora existen. Creamos millones de deepfakes. Y luego lo que hacemos es entrenar modelos de IA para detectar cosas. Detectan muy poco píxel por píxel que indican signos que un ojo humano no puede ver. Y si los entrenas con suficientes datos, y tienes suficientes muestras, incluyendo las que captamos en vivo con los clientes, eventualmente creas un modelo realmente bueno. Entonces, cuando alguien está tratando de verificar su identidad en estos sitios, una vez que te tomas tu selfie, esas modelos están mirando esos píxeles de una manera muy microscópica. Así es como funciona.

[Bob]
Entonces haces deepfakes que luego detectas.

[Ricardo Amper]
Exactamente correcto. Tenemos que avanzar en el arte de cómo crear algunos de estos, ser muy activos en la web oscura, entender cuáles son las herramientas más nuevas, y luego con esa capacidad, entrenar modelos para protegerse contra ello.

[Bob]
Bien, ¿qué sugerirías para alguien como David, que no está en un sitio de citas pero se le acerca a través de Facebook o Words with Friends? ¿Qué procedimiento de verificación recomendaría?

[Ricardo Amper]
Es muy complicado porque cuando tienes una forma más libre de conocer a alguien, las empresas de redes sociales no necesariamente lo han adoptado todavía. Lo primero que diría es que algunos de estos sitios de redes sociales ya tienen lo que llaman perfiles verificados. Asegúrate de que sea un perfil verificado. Lo segundo es que, si son de la zona, fomentar una reunión es importante, porque cuanto más te involucres y construyas conexión sin verificar, más probabilidades tienes de que te estafen. Y de todo el fraude que vemos, el que tiene el mayor costo por persona es desafortunadamente las estafas románticas. Pero la industria está cambiando. La mayoría de las empresas de videoconferencia están adoptando tecnologías como esta. No sería raro, tal vez en un año, que tuvieras una marca de verificación en tu Zoom que diga que eres el verdadero Bob Sullivan, yo soy el verdadero Ricardo Amper. Verifica una vez, muestra tu ID una vez y luego cada conversación posterior muestra que lo hiciste. Y es un mundo más seguro.

[Bob]
A pesar de todas estas implicaciones aterradoras, Ricardo en realidad sigue siendo optimista sobre el futuro de la IA, pero va a ser un viaje accidentado.

[Ricardo Amper]
Creo que la generación AI es una revolución maravillosa que nos va a hacer a todos más productivos. Pero a corto plazo, va a haber mucho fraude. Creo que la gente no entiende la escala en la que la combinación de hacerse pasar perfectamente por alguien en video y audio, combinada con agentes de IA que hacen la conversación, se va a convertir en un gran lío. Hay tres cosas de las que la gente tiene que estar consciente. Número uno, asegúrese de que el sitio web con el que está interactuando haya implementado esta tecnología. Número dos, estamos trabajando con el gobierno a nivel local y estatal, asociándonos con DMVs, para que en el futuro no tengas que mostrar tu identificación. Solo será nombre, apellido, fecha de nacimiento, y tomar una selfie. Y número tres, cuanto más animas a las empresas a usar estas tecnologías, más gráfico de confianza se vuelve, donde todas estas empresas están conectadas para que juntos podamos combatir el fraude. Se va a poner muy mal en los próximos dos o tres años, pero creo que en 10 años va a ser un mundo mucho más seguro y muy productivo.

Transcripción cortesía de ARP.

‍