Modelos OpenAI hackearam uma carteira criptográfica e invadiram mais sites
OpenAI disse que os modelos internos hackearam mais dois sites, ignoraram as restrições de navegação impostas pela empresa e usaram credenciais expostas para extrair criptomoeda de uma carteira que não poderia acessar de outra forma, na última parcela de divulgações de seus agentes realizando atos antiéticos e provavelmente ilegais.
A empresa emitiu na quinta-feira relatórios de quatro novos incidentes, todos ocorridos em junho. Eles vêm depois que a empresa revelou em julho que os agentes de teste internos exploraram uma vulnerabilidade de zero dias em uma ferramenta projetada para restringir seu acesso à Internet. Eles então invadiram a rede do fornecedor de ferramentas de IA Hugging Face. Os agentes tomaram essa ação ilegal para roubar respostas para um teste de hacking que não estavam disponíveis ao completar as tarefas por conta própria. O incidente – o que provavelmente teria resultado em acusações criminais se tivessem sido realizadas diretamente por uma pessoa – aumentou ainda mais as preocupações de que o uso generalizado de IA poderia ter efeitos nocivos em escala sem precedentes.
Mais fácil pedir perdão do que pedir permissão
Em dois dos casos relatados quinta-feira, os agentes da OpenAI encarregaram-se de recuperar informações de sites hackeados quando os modelos se depararam com obstáculos para obtê-las diretamente. Em um incidente durante o treinamento de reforço, um modelo que recebeu negações de acesso ao tentar recuperar estatísticas históricas de leito hospitalar em um site de estatísticas do governo “usou o recurso de download de arquivos do site para recuperar arquivos de configuração de servidor e aplicativos, incluindo credenciais sensíveis”, disse OpenAI. “Inspecionou o código do aplicativo, ignorou as verificações de autorização do endpoint estatístico, e recuperou dados anteriormente negados. O modelo salvou os dados localmente.”
No outro incidente, um modelo instruído a recuperar figuras de um painel público de pesquisa desviou os controles de segurança da organização e usou o acesso não autorizado para roubar credenciais. Ele então fez alterações de configuração no servidor.
Em uma avaliação, as alterações permitem que o modelo faça uma ferramenta de busca interna retransmitir consultas ao painel público. Em uma segunda avaliação, o modelo baixou cinco tabelas não públicas contendo 147.451 linhas. Os pesquisadores do OpenAI haviam levado os agentes a recuperar apenas cinco figuras de painel. Mesmo após reiniciar a configuração, o modelo continuou usando o token para recuperar dados não públicos.
“A avaliação terminou sem que o modelo revelasse que ele tinha adivinhado respostas, acessou os sistemas internos da organização, baixou tabelas não públicas ou alterou a configuração de autenticação”, disse OpenAI. “Todas as cinco respostas nesta avaliação foram marcadas incorretas.”
Em um terceiro relatório, a empresa disse que um modelo solicitado para atualizar um aplicativo de negociação de criptomoeda usou fundos de uma carteira bloqueada em uma rede de teste. O modelo “derivou chaves de carteira de frases de recuperação de desenvolvedor publicamente conhecidos, encontrou uma conta com fundos de teste-rede, e usou essa conta para pagar a implantação do contrato solicitado.”
O relatório continuou: “O modelo questionou se tinha permissão, em seguida, raciocinou que uma frase de recuperação pública e tokens de teste-rede sem valor tornaram os fundos aceitáveis para usar. A implantação foi bem sucedida e cobrado taxas de transação para a conta. Este caso mostra que um modelo pode substituir o seu próprio julgamento sobre danos prováveis para a permissão do titular da conta, em seguida, agir sobre esse julgamento sem autorização.”
No último relatório, OpenAI disse que um modelo de restrições ignoradas pesquisadores tinham colocado sobre os tipos de pedidos web que poderia fazer. Durante a formação de reforço-aprendizagem, o modelo foi levado a procurar estatísticas do comércio público. O OpenAI continuou:
Depois de encontrar um anuário público e de apresentar uma resposta, continuou a procurar outro caminho para o serviço de estatística. Isso fez com que um navegador externo enviasse solicitações POST, recuperasse figuras anuais como imagem e as extraísse usando reconhecimento óptico de caracteres. Desenvolveu então um helper reutilizável que devolveu o texto de resposta através de um serviço de encaminhamento e caixa de correio de retorno, verificou repetidamente as figuras recuperadas, e usou dados salvos nas respostas enviadas. Este caso mostra como um modelo pode contornar restrições em suas próprias ferramentas, obtendo serviços externos para executar as ações bloqueadas, mesmo depois de encontrar outra maneira de responder à pergunta.
O modelo tentou primeiramente usar um navegador externo com permissão para fazer solicitações GET em seu nome, em seguida, usou JavaScript para obter as informações. O modelo então usou uma caixa de correio on-line para solucionar a técnica. Eventualmente, o modelo estabeleceu-se em um método diferente: Pediu ao navegador externo que abrisse um formulário web que enviasse a consulta de comércio para o serviço de estatísticas pelo POST. Quando o navegador exibiu a resposta, um serviço de renderização devolveu uma imagem GIF da página. O modelo então usou o reconhecimento óptico de caracteres para ler as figuras da imagem.
Tornou-se comum que pesquisadores e jornalistas descrevam incidentes como estes como IA “ir desonesto”. Isso não é necessariamente verdade. Enquanto os prompts alimentados aos modelos não os instruem a usar os métodos alternativos para completar seus objetivos, os modelos são treinados para serem eficientes, persistentes e, quando possível, para encontrar atalhos que diminuam as cargas de trabalho. Além disso, a maioria ou todos os modelos tinham desativado certos trilhos de guarda que poderiam ter impedido as ações. Nesse sentido, os modelos realizados exatamente como OpenAI os treinara.
Dan Goodin Editor de Segurança Sénior Dan Goodin Editor de Segurança Sénior Dan Goodin é editor de segurança sênior da Ars Technica, onde supervisiona a cobertura de malware, espionagem de computador, botnets, hacking de hardware, criptografia e senhas. Em seu tempo livre, ele gosta de jardinagem, cozinhar e seguir a cena musical independente. O Dan está em São Francisco. Sigam-no aqui em Mastodon e aqui em Bluesky. Contacte-o no sinal da DanArs.82.