Caso: hombre usó Grok para crear 7K imágenes sexuales de hija adoptiva, luego se suicidó

Un hombre utilizó la herramienta de inteligencia artificial Grok para crear 7.000 imágenes sexuales explícitas de su hija adoptiva. La herramienta permitió generar estas imágenes sin detectar comportamiento dañino.

La hija adoptiva, conocida como Jane Doe 4, tenía 11 años cuando se tomó la foto original utilizada para generar las imágenes. La empresa xAI, responsable de Grok, recibió una alerta cuando el hombre solicitó una imagen de "gang rape", pero no proporcionó información suficiente a las autoridades para identificar al usuario.

“Finalmente, la policía obtuvo una orden para incautar los dispositivos del hombre y encontró las 7.000 imágenes generadas por Grok”

La investigación se vio obstaculizada por la falta de cooperación de xAI, que se negó a proporcionar la dirección IP del usuario. Finalmente, la policía obtuvo una orden para incautar los dispositivos del hombre y encontró las 7.000 imágenes generadas por Grok. El hombre se suicidó dos días después de ser liberado bajo fianza.

El caso de Jane Doe 4 es parte de una demanda colectiva que acusa a xAI de priorizar las ganancias sobre la seguridad de los niños. La demanda alega que xAI no proporciona información suficiente a las autoridades para identificar a los perpetradores de abuso sexual infantil, lo que permite a los depredadores seguir utilizando la herramienta para generar contenido dañino. La empresa también se enfrenta a críticas por no tener un sistema efectivo para detectar y prevenir el uso de Grok para generar imágenes sexuales explícitas de menores.