Lo que todo el líder de fraude debe saber sobre la IA se debe hacer en el lugar

Ognjen Samardzic
Ognjen Samardzic

May 26, 2026

Lo que todo el líder de fraude debe saber sobre la IA se debe hacer en el lugar

Hace un par de semanas, en un ambiente controlado con colegas observando, me dispuso a ver hasta donde llegaría un modelo de peso abierto abierto de manera locale si su comportamiento de rechazo fuera despojado. Empecé con una variante de Llama base, apliqué una técnica de activación-dirección documentada para eliminar la dirección de rechazo, y la impulsé a redactar un correo electrónico de phishing haciéndome pasar por Chase Bank. Luego iteré, podría optimizar para hacer clic, que sugiriera los activadores psicológicos, que refinara el tono.

Lo hizo todo sin resistencia. Urgencia, suspensión implícita de la cuenta, solo la formalidad suficiente para leerse como legal. El modelo no sólo estaba cumpliendo; estaba diciendo sugerencias tácticas que no había pedido. La configuración se realizó treinta minutos en una máquina de consumo de $2,000, con herramientas de código abierto gratis y sin acceso especial.

Sigue adelante. No voy a detallar todo lo que intenté, pero voy a decir esto: no había piso.

La parte tranquila que nadie quiere decir en voz alta

Hablamos mucho de IA subiendo la productividad. 10x de salida del desarrollador, ductos automatizados, todo más rápido. De lo que no hablamos es de que, por los mismos mecanismos, está subiendo la productividad criminal a un ritmo comparable.

Los primeros indicadores respaldan esto. El Informe del FBI sobre delitos en Internet 2025, publicado a principios de este mes, documentó 893 millones de dólares en pérdidas por fraude relacionadas con la IA. Ese es el primer año en que la Oficina rastreó esta categoría por separado, por lo que la cuenta representa solo lo reportado y la exposición real es casi con toda seguridad mayor. Centro de Servicios Financieros de Deloitte proyecta que las pérdidas generativas de fraude habilitadas por IA en Estados Unidos, logremos alcanzar los 40 mil millones de dólares anuales para 2027.

El phishing es donde el cambio aparece más claramente en la investigación publicada. Reporte de inteligencia de amenazas de CrowdStrike sobre el phishing por LLM ha citado tasas de clics varias veces más altas que las campañas tradicionales por humanos. Experimentos del equipo rojo de IBM X-Force Descubre que un asistente de IA podría producir un correo electrónico de phishing convincente en aproximadamente 5 minutos, en comparación con las 16 horas que normalmente necesita un operador humano con conocimiento. Las cifras son muy diversas según la metodología y la muestra, pero el hallazgo direccional se ha realizado a través de múltiples estudios independientes. Los señuelos generados por IA funcionan mejor, escalan aún más y su producción cuesta menos.

Por qué la historia de seguridad que ha oído no se aplica de todo aquí

La mayoría de las personas en seguridad y riesgo aún no han procesado lo que viene después, así que me permítanme exponer con cuidado, porque las distinciones importantes.

Las garantías de seguridad en los modelos fronterizos atendidos por API, los de OpenAI, Google y Anthropic, son reales y importantes. Usan defensa en profundidad: alineación del tiempo de entrenamiento, condiciones ocultas del sistema, clasificadores de salida y monitoreo a nivel API. Cuando accede a GPT-4 o Claude a través de la API, no puedes quitar esas capas, porque varias de ellas viven en una infraestructura que no controla.

Pero la mayor parte de la IA que se implementará hoy en día no se realizará a través de esas API. Una participación creciente corre en modelos de peso abierto como Llama, Gemma, Qwen y Mistral, donde los parámetros son descargables. Solo la familia Llama de Meta se ha perdido más de mil millones de veces. Para ser claros, la abrumadora mayoría de este uso es benigno. Investigadores, startups, aplicaciones en dispositivos, empresas sensitivas a la privacidad. Los pesos abiertos no son sinónimo de utillaje criminal, y quiero ser específico al respecto, porque el argumento que sigue no depende de confundirlos.

El argumento es más estrecho. Una vez que los pesos están en la máquina de alguien, las propiedades de seguridad incorporadas en ellos, el entrenamiento RLHF, el comportamiento de rechazo, son solo patrones en los parámetros. Y esos patrones pueden ser editados.

Un documento de NeuIPS 2024 formalizó algo incómoda sobre esto. A través de un conjunto de modelos de chat de peso abierto, los investigadores encontraron que la capacidad de rechazar una solicitud dañina estaba mediada en gran medida por un dirección única en el espacio de activación del modelo. Elimine esa dirección, y el modelo conserva principalmente todas sus capacidades, incluido el razonamiento, la fluidez y el seguimiento de instrucciones, con el rechazo extraído quirúrgico-quirúrgico-.

Las herramientas de código abierto que automatizan este tipo de eliminación de barandilla existen de manera pública. Son gratuitos, están reservados en plataformas de desarrolladores y no requieren experiencia especializada. Como resultado, existen más de mil Variantes sin censura cargadas por la comunidad en Cara Abrazada, que a menudo se ven a los pocos días del lanzamiento oficial de un modelo. Encuestas académicas independientes han encontrado miles de repositorios “sin censura” que en conjunto representan cientos de millones de descargas. Las tasas de cumplimiento de normas reportadas con las inseguras las tasas de cumplimiento de normas que se reportan con las inseguras, en comparación con sus versiones originales, se han modificado de manera desdeñada.

Por lo que el costo marginal de convertir un modelo capaz en algo que ayuda con el trabajo criminal es ahora, de manera eficaz, cero. Ese es el punto. La mayoría de los usuarios de inferencia local no son delincuentes, la mayoría de los modelos de peso abierto no están sin censura y la mayoría de los servidores de inferencia se han abierto a configurar de manera imperfecta en lugar de infraestructura maliciosa. Nada de eso cambia la dinámica subyacente.

Esto está sucediendo a escala

SentinelOne y Censys han pasado nueve meses escaneando puntos finales de inferencia disponibles de manera abierta e informar haber encontrado más de 100,000 servidores de IA que ejecutan modelos implementados de manera local en más de 100 países. Una fracción pequeña pero no trivial ejecutaba plantillas de solicitud estandarizadas sin censura, y los investigadores documentaron lo que describieron como el primer mercado criminal construido en torno al secuestro de estos servidores y la reventa de acceso a IA sin restricciones a escala. Casi con toda seguridad, la mayoría de los servidores se expone fueron accidentes, los sistemas de administración que no bloquearon un puerto. Pero el “accidente” no importa a un pirata que escanee Internet en busca de capacidad.

El fraude Deepfake ha pasado de la prueba de concepto a la amenaza Operacional en la misma ventana. A principios de 2025, director financiero de una empresa con sede en Singapur casi se cableó aproximadamente medio millón de dólares de Estados Unidos después de unirse a lo que parecía ser una reunión rutinaria de Zoom con ejecutivos de la compañía. Todos en la llamada se veían y sonaban como se esperaba, pero toda la reunión fue fabricada. La clonación de voz con IA ahora solo necesita segundos de audio de origen, y Gartner Projects que para 2026, el 30% de las empresas no están tramando la verificación de identidad independiente como confiable de forma aislada.

Estos ataques no requieren una infraestructura criminal sofisticada. Requerido una muestra de voz y una herramienta que cualquiera pueda descargar de forma gratuita.

La asimetría de costos es el verdadero problema

La incómoda posibilidad, y quiero decir esto con cuidado, es que la seguridad del modelo de código abierto, tal como se implementar en la presente, pueda ser estructuralmente incapaz de prevenir el uso delictivo en sentido descendente.

No digo que a los laboratorios de IA no les importe. Creo que la mayoría de ellos lo hacen. Diga que el problema es arquitectónico. Una vez que existen pesos aptos en el mundo, las propiedades de seguridad dentro de ellas pueden ser removidas de forma gratuita, en minutos, por cualquier persona que tenga la herramienta adecuada. La asimetría de costos entre la seguridad del edificio y su desmantelamiento es asombrosa: miles de millones de dólares de capacitación y trabajo de alineación por un lado, treinta minutos en una GPU de consumo por el otro.

El ecosistema criminal ya se ha adaptado. La primera de herramientas como WormGpt y FraudGpt fueron en gran parte estafas, envoltorios ChatGPT con jailbroken vendidos a los clientes por $200 al mes. La ola actual no necesita de las subvencionaciones, ya que cualquier operador competente puede ejecutar un modelo sin restricciones y totalmente capaz de manera local, en todo momento, sin rastro de registro.

Mientras tanto, gran parte de la infraestructura de detección de fraudes y riesgos implementados hoy en día se creaba para un modelo de amenazas anterior. Las señales que se usan para identificar el contenido generado por IA, cosas como errores gramaticales, formato inconsistente y calidad de voz robótica, están desapareciendo a medida que la salida del modelo converge con el trabajo humano.

Entonces, ¿qué hacemos realmente?

No creo que haya una sola respuesta limpia, y cualquiera que ofrézcase una está vendiendo algo. Pero la pregunta estratégica ya no es “cómo evitamos que los malos actores consigan IA capaz”. Ese barco ha zarpado. Es “cómo reconstruimos los sistemas de verificación y confianza para un mundo donde la seguridad del contenido ya no es una señal confiable”.

Algunas direcciones parecen que vale la pena tomar en serio.

Pasa de señales de contenido a señales de comportamiento y biométricas. Si no puedes confiar en que una cara en video o una voz en una llamada es real, la verificación tiene que pasar a sustratos más difíciles de falsificar. Eso significa biometría conductual, telemetría de dispositivos y señales de vida que corresponden a desafíos impredecible en tiempo real. Las comprobaciones estáticas de identidad por sí solas ya no son suficientes para flujos de alto valor.

Adopta IA adversarial para la detección, no solo para la prevención. Si los atacantes utilizan modelos aptos, los defensores también los necesitan. Eso incluye detectar los efectos generados por IA, simular patrones de ataque y probar el estrés de los controles existentes contra los tipos de señuelos que los adversarios reales pueden producir ahora en minutos.

Age verificación de la capa de transacción para acciones de alto riesgo. Una transferencia bancaria con licencia a través de una videollamada no es lo mismo que una transferencia bancaria con una confirmación fuera de banda respaldada por hardware. El rozamiento se razona por el nuevo modelo de amenaza. La escalada human-in-the-loop para acciones de alto riesgo deja de parecer un costo de UX y se inicia a un requisito estructural.

Tate la confianza como relacional y continua, no como puntual. La verificación de identidad en la incorporación más una contraseña en el inicio de sesión es el modelo antiguo. El modelo emergente es continuo: señales en toda la relación, credenciales respaldadas por hardware y sistemas de procedencia para contenido de alto riesgo.

Ninguna de ellas son balas de plata, y varias aún están madurando. Pero la forma de la respuesta es empezar a salir a la vista, y no parece un ajuste incremental de la pila existente.

Lo que te pediría que llevaras

Ejecuté la demo que describí al inicio de esta pieza porque quería entender qué es realmente accesible para un operador moderadamente capaz hoy en día. Las salidas específicas no son el punto. El punto es que no había piso, y los sistemas que nos encargábamos defender no fueron diseñados para esa condición.

Este es un cambio estructural, no incremental. Pretender lo contrario no lo hará menos cierto, y los equipos de fraude y riesgo que lo reconozcan temprano serán los que sigan en pie cuando llegue a la próxima ola.

Ognjen Samardzic
Ognjen Samardzic
Ognjen Samardzic is based in San Francisco. As Director of Engineering at Incode, he's spent six years helping build the company's AI-powered identity verification platform.
Linkedin
Chapters