Recientemente, se ha descubierto que cibercriminales han logrado engañar al chatbot de inteligencia artificial (IA) de X, anteriormente conocido como Twitter, para que promueva estafas de phishing mediante una nueva técnica denominada “Grokking”. Este hallazgo subraya la creciente preocupación por el uso malintencionado de la IA en campañas de ingeniería social, un método que consiste en manipular psicológicamente a las víctimas para que entreguen información sensible o instalen malware.
Hasta ahora, estas estafas se habían llevado a cabo principalmente a través de correos electrónicos, mensajes de texto o llamadas telefónicas. Sin embargo, la aparición de la IA generativa (GenAI) ha proporcionado a los delincuentes herramientas más sofisticadas para escalar y personalizar sus ataques. Investigadores de seguridad han advertido sobre la necesidad de tratar cualquier información proveniente de chatbots públicos como potencialmente no confiable.
El «Grokking» opera de manera que los actores amenazantes pueden eludir las restricciones de X sobre la publicación de enlaces en anuncios promovidos. Estos individuos utilizan publicaciones con videos atractivos y, a través de preguntas dirigidas al bot de IA, logran que este amplifique los enlaces incluidos en los metadatos de los videos. Como resultado, Grok, el bot, reproduce y promociona enlaces dañinos desde una fuente reconocida.
Esta técnica es especialmente peligrosa por varias razones. En primer lugar, convierte a Grok en una herramienta para los cibercriminales al amplificar sus mensajes a través de una cuenta confiable. Los vídeos promovidos pueden alcanzar millones de visualizaciones, lo que facilita la propagación de estafas y la instalación de malware. Además, el valor en motores de búsqueda y la reputación del dominio se ven incrementados al tratarse de un origen de alta confianza, potenciando aún más el alcance de los ataques.
No solo es un problema exclusivo de X; cualquier herramienta de IA generativa podría ser susceptible a tácticas similares, lo que resalta la creatividad de los delincuentes al encontrar maneras de superar los mecanismos de seguridad. Asimismo, el «prompt injection», un tipo de ataque donde se introducen instrucciones maliciosas en los sistemas de IA, ha aumentado considerablemente. Según Gartner, un 32% de las organizaciones han reportado haber sido víctimas de este tipo de ataque en el último año.
El análisis de estos eventos trae importantes lecciones para los usuarios. Nunca se debe confiar ciegamente en la output de herramientas de IA generativa, ya que los actores maliciosos buscan que se asuma la legitimidad de sus enlaces y mensajes. La recomendación es verificar siempre las URL antes de hacer clic y emplear contraseñas robustas junto con autenticación de múltiples factores para mitigar el riesgo de robo de credenciales.
En una era donde la IA ofrece un sinfín de oportunidades, también se lamenta la llegada de un nuevo capítulo en la larga batalla contra el phishing. La cautela y la desconfianza deben ser objetos clave en la interacción con cualquier tecnología de IA.
Fuente: WeLiveSecurity by eSet.
