A xAI, de Elon Musk, utilizou pornografia infantil para treinar modelos do Grok, segundo a ação judicial

A xAI foi agora acusada de treinar o Grok com material de abuso sexual infantil (CSAM), enquanto as entidades reguladoras e os tribunais continuam a investigar a extensão do problema, tendo alguns utilizadores do Grok sido detidos.

Numa queixa apresentada na quarta-feira, uma queixosa conhecida como Jane Doe explicou que, no início dos anos 2000, quando tinha idade pré-escolar, homens adultos a violaram repetidamente para criar CSAM para vender a pedófilos na Internet. Desde então, as imagens de Doe têm sido indexadas por grupos como o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC) e o Centro Canadiano para a Proteção da Criança (CCCP).

Para sua segurança, Doe optou por receber alertas do Sistema de Notificação às Vítimas do Departamento de Justiça dos EUA sempre que pudesse ser vítima numa nova investigação criminal. Embora tenha recebido inúmeros alertas, ficou chocada quando o CCCP a notificou de que tinha identificado CSAM gerado por IA na xAI que a retratava. Isto traumatizou novamente Doe, cuja queixa alegava que foram encontradas mensagens em fóruns online «entre agressores a conversar sobre a criação de CSAM gerado por IA da queixosa e de outras vítimas conhecidas, de casos anteriores, em situação semelhante, de CSAM».

Agora, Doe receia que a xAI não só tenha facilitado a criação de mais imagens abusivas do período mais angustiante da sua vida, como também que a xAI tenha alegadamente armazenado as imagens que o Grok gera e utilize esses resultados para continuar a treinar o Grok. Por este motivo, ela acredita que o Grok foi treinado tanto com o conjunto inicial de imagens que a têm atormentado há mais de 20 anos, como com as mais recentes, geradas por IA.

Este é o primeiro caso a acusar a xAI de treino com CSAM, e a queixa não entra em grandes pormenores sobre essa alegação. Anteriormente, a Ars noticiou um conjunto de dados controverso que foi posteriormente removido depois de os investigadores terem encontrado CSAM nos dados de treino, mas não há indícios de que a xAI tenha treinado com esses dados. Num comunicado de imprensa dos advogados que representam Doe, explica-se que as imagens de Doe estavam incluídas numa «Lista de Hash de CSAM» mantida pelo NCMEC e que «esse mesmo material» alegadamente «fazia parte do conjunto de dados que a xAI utilizou para desenvolver as capacidades de geração de imagens e vídeos do Grok». Da mesma forma, a queixa limitou-se a alegar que «CSAM que retrata o queixoso, com os seus valores de hash há muito conhecidos, foi utilizado como parte do conjunto de dados utilizado pela xAI».

No entanto, são partilhados mais detalhes sobre as alegações de que o Grok é treinado com CSAM de IA.

«Uma vez que os termos do Grok tratam as publicações públicas no X e os próprios resultados do Grok como dados de treino por predefinição, publicar publicamente uma imagem não se limita a expô-la aos visualizadores, mas também a introduz diretamente no fluxo que a xAI utiliza para treinar e melhorar o seu modelo e, assim, gerar mais imagens», afirmava a queixa de Doe.

A ação judicial salientou ainda que, embora a xAI filtre conteúdo violento nas saídas do Grok para o excluir dos dados de treino, os termos da xAI não especificam, notavelmente, se o CSAM, as imagens íntimas sem consentimento (NCII) ou o material NSFW são «categorias excluídas».

Parece decorrer daí que «uma vez que a remoção total da influência de um exemplo de treino de um modelo já treinado é tecnicamente difícil e não é algo que a xAI tenha afirmado publicamente ter feito, qualquer CSAM incorporado no treino antes da remoção provavelmente continuou a moldar os resultados do modelo, mesmo depois de as imagens originais terem sido removidas da vista do público», afirma a queixa de Doe.

«Destruam todo o CSAM do Grok», diz Doe

Na ação coletiva que propôs, Doe procura pôr fim aos resultados prejudiciais do Grok. Se for aprovada, a ação coletiva representaria todas as vítimas cujas imagens de infância foram utilizadas para gerar CSAM no Grok.

A ação judicial acusa a X de violar as leis federais relativas à pornografia infantil, bem como a Lei de Masha, as quais conferem aos sobreviventes de CSAM o direito de intentar uma ação judicial com base em alegações de produção, posse e distribuição. A advogada de Doe, Margaret E. Mabie, sugeriu no comunicado de imprensa que todas estas três são crimes e que «a xAI cometeu todas elas».

Se a demandante Doe vencer, a xAI poderá ter de pagar uma indemnização a todas as vítimas que consigam provar que o Grok gerou CSAM com base nas suas fotografias reais. A demandante Doe solicitou também ao tribunal que ordene à xAI a destruição de todo o CSAM gerado pelo Grok que possa estar armazenado nos seus servidores e a ser utilizado para treinar os modelos do Grok. Além disso, pretende que a xAI impeça o Grok de gerar CSAM de forma definitiva, o que, segundo a sua queixa, exigiria impedir o Grok de produzir quaisquer resultados sexualizados, incluindo NCII e «fotos de biquíni» NSFW que Musk promoveu.

Sarah London, uma das advogadas de Doe, afirmou no comunicado de imprensa que Doe «viveu durante quase duas décadas sabendo que imagens do pior que alguma vez lhe aconteceu estão a circular entre predadores online e que podem reaparecer a qualquer momento. A xAI deve ser responsabilizada por treinar conscientemente os seus modelos com imagens do abuso horrível que ela sofreu e com as imagens de abuso de todas as outras sobreviventes desta ação coletiva.»

A X não respondeu ao pedido de comentário da Ars.

Ashley Belanger Repórter Sénior de Políticas Ashley Belanger Repórter Sénior de Política Ashley é repórter sénior de política da Ars Technica, dedicada a acompanhar os impactos sociais das políticas emergentes e das novas tecnologias. É uma jornalista sediada em Chicago com 20 anos de experiência.