A IA pode mesmo matar-nos a todos? As suas perguntas, respondidas.
Na quarta-feira, Revisão de Tecnologia do MIT sediou um evento Roundtables ao vivo para assinantes que fez a pergunta que todos estão fazendo agora: A IA pode mesmo matar-nos a todos?
Mas os participantes tinham muito mais perguntas do que tivemos tempo de responder na sessão de 30 minutos. Então pedimos ao nosso editor sênior de IA Will Douglas Heaven e à repórter de IA Grace Huckins para reunir algumas das melhores perguntas enviadas e tentar o seu melhor para respondê-las.
Graças a todos os que apresentaram perguntas!
Vou morrer?
Sim, eventualmente. Infelizmente, meus poderes jornalísticos de prognóstico não são suficientemente poderosos para que eu lhe diga como. Mas pode ser por causa da IA. drones movidos por IA já mataram pessoas na Ucrânia, e ataques cibernéticos dirigidos por IA em hospitais certamente vão reclamar vítimas em breve.
A IA pode ir ainda mais longe e matar-nos a todos? Menos provável. Mas algumas pessoas – pessoas estranhas, mas inegavelmente conhecedoras da IA – têm avisado há anos que isso poderia acontecer. E enquanto eu ainda não estou estocando alimentos enlatados ou tentando entrar em bom com um bunker-proprietário megabilionaire, eu notei que as previsões dos doomers sobre as capacidades de IA e alinhamento têm, ao longo dos últimos dois anos, se mostrado desconcertantemente preciso. Isso certamente não significa que suas previsões mais terríveis se tornarão realidade, mas é suficiente para mim sentar e tomar nota.
— Grace Huckins
Vais morrer por causa da IA? Eu diria que há uma chance não-zero. Digamos que você é azarado o suficiente para ser vítima de um evento quase-futuro bizarro ou acidente. Talvez seja um ataque cibernético realizado por um enxame de agentes de IA em infraestrutura crítica. Infelizmente, um cenário como este já não parece tão exagerado como antes. Ou talvez um novo patogénico criado por uma IA corte a população. Ou a economia mundial cai, causando conflitos e fome. Ambos plausíveis, mas acho menos provável.
Estamos? todos Vai morrer por causa da IA? Não. Não há circunstâncias fora da ficção científica apocalíptica em que a IA possa matar-nos a todos. Você pode girar para cima qualquer número de histórias de susto, mas eles não estão fundamentados em realidades atuais sobre o que a tecnologia pode fazer ou para onde está indo.
Algumas pessoas argumentam que não há nenhum mal em se preparar para o pior, por mais maluco que possa parecer. Talvez. Mas penso que tal catastrofização pode fazer as pessoas desculpar ou ignorar muitos dos problemas mais imediatos com a tecnologia existente e as empresas que a constroem.
— O Céu de Douglas
Porque é que o Al nos mataria?
Alguém pode dizer, e pode ouvir. Essa é parte da razão pela qual os pesquisadores estão tão preocupados com as capacidades biológicas da IA – imagine o que Aum Shinrikyo, o culto do juízo final por trás do ataque do metrô de Tóquio, Sarin, de 1995, teria feito com uma ferramenta que poderia projetar um patógeno mais mortal do que o Ébola e mais transmissível do que o sarampo. Aqueles de nós que não querem morrer tem que descobrir como se defender contra todas as armas biológicas plausíveis, mas nossos supostos atacantes só têm que fabricar um patógeno eficaz.
Então há a possibilidade mais exótica de que uma IA poderia decidir nos matar. Existem várias histórias sobre como isso pode acontecer lá fora, mas as mais difundidas envolvem sistemas de IA que não odeiam as pessoas, necessariamente – somos apenas um obstáculo entre elas e os objetivos que lhes demos.
Por mais que os agentes do OpenAI por trás do corte do Hugging Face comprometam a infraestrutura de outro site para obter uma boa pontuação em um teste, a idéia é que alguma IA futura, mais poderosa, possa se livrar de nós para impedir que a desligemos – tudo em busca de algum objetivo que instruímos para ir atrás.
— Grace Huckins
Como podemos garantir melhor o alinhamento para que o pior’E quem está a fazer o melhor para o conseguir?
O alinhamento é uma enorme área de investigação. Em termos simples, envolve construir modelos que se comportam de formas que queremos e não de formas que não queremos. Temos de confiar melhor nos agentes antes de entregarmos mais autonomia. O alinhamento deve estabelecer essa confiança. Mas é difícil.
Os LLMs não são projetados da forma que o outro software é, onde os dos e don'ts podem ser codificados. Em vez disso, o comportamento alinhado precisa ser instilado quando os modelos são treinados. Uma abordagem é recompensá-los por fazerem coisas que você quer (um pouco como criar uma criança, talvez). Outra abordagem envolve dar a um LLM uma lista escrita de regras que é suposto seguir (como uma espécie de constituição).
Anthropic e OpenAI são ambos líderes neste campo - e ainda assim nenhum foi capaz de desenvolver modelos que estão totalmente alinhados. Um grande problema é que os LLMs são muito mais inconsistentes e muito menos previsíveis do que as pessoas. Podem comportar-se de uma forma numa situação e de outra numa situação que nos parece muito semelhante. Eles também podem ser influenciados por restrições inesperadas. Por exemplo, diante de uma tarefa impossível (como muitos dos agentes envolvidos no corte do Hugging Face foram), modelos podem tentar fazer o que for preciso para alcançar seu objetivo. Como Grace menciona acima, isso pode ser um problema.
A principal razão pelas quais as principais empresas de IA agora dizem que querem uma desaceleração é que eles querem se concentrar em quebrar o alinhamento. Alinhamento não é necessariamente um sonho pipe. Mas o júri está fora sobre se o alinhamento completo será alguma vez viável.
— O Céu de Douglas
A IA é mesmo perigosa, ou são as empresas de tecnologia a tocar RP?
Este é sempre um pensamento razoável quando se trata de empresas de tecnologia que se dirigem para uma IPO – os CEOs têm um incentivo óbvio para fazer seus produtos parecer radicais e transformativos. Mas não tenho tanta certeza se faz sentido aqui. Dizer ao público que um produto já impopular poderia matá-los e todos que amam é horrível gestão de imagem corporativa.
Há outras histórias que você pode contar sobre as motivações dos CEOs – talvez eles queiram esfriar o furor público sobre os data centers, retratando-se como administradores responsáveis de uma tecnologia que muda o mundo, ou talvez eles queiram ganhar tempo para obter seus patos em linha e evitar a próxima catástrofe de RP.
Mas há também uma explicação mais simples. Pensar que a IA poderia causar a extinção humana tem sido bastante comum em São Francisco por um tempo, e esses homens estão mergulhados nesse meio – assim como seus funcionários, muitos dos quais assinaram uma carta aberta em julho exortando suas empresas a trabalhar para tornar possível uma desaceleração da IA.
— Grace Huckins
Parte da preocupação ocorre quando os agentes de IA são autorizados a agir de forma autônoma e sem supervisão. Qual é a questão que impede mais controle sobre esses agentes?
Esta pergunta vai ao cerne do que queremos que esta tecnologia seja capaz de fazer. O trade-off entre autonomia e controle é complicado de acertar porque, por um lado, muito do poder dos agentes de IA é que eles podem realizar tarefas e resolver problemas sem que um ser humano tenha que microgerenciá-los. Por outro lado, isso exige que você confie que os agentes não supervisionados não vão correr como loucos.
O que estamos vendo é que os laboratórios de IA ainda não tem este trade-off muito bem. Seus modelos não são confiáveis, não são devidamente monitorados e nem sempre estão sob controle. Descobrir como corrigir isso enquanto ainda permite uma atividade autônoma útil é um dos grandes desafios de pesquisa do momento.
— O Céu de Douglas
Que medidas podem ser tomadas agora e no futuro próximo para garantir que a IA seja controlada, monitorada e regulamentada de forma eficaz?
Essa é a pergunta de um milhão de dólares. Se você acha ou não que a IA pode nos matar, você não pode negar que isso pode causar algum dano real, porque já causou, levando as pessoas à psicose e hackeando sites, por exemplo. Prevenir esse dano, ou pelo menos mitigá-lo, é difícil por duas razões.
O primeiro é que mal entendemos como a IA funciona, e está rapidamente se tornando mais poderosa. Há muitas pesquisas em curso sobre como monitorar e controlar agentes de mau comportamento, mas as abordagens atuais são frágeis. Você pode ver se um agente discute o comportamento errado em sua “cadeia de pensamento”, o espaço de trabalho onde planeja suas ações – mas os mais novos agentes da OpenAI não mostram seu trabalho da mesma forma que os anteriores. E você pode tentar monitorar agentes com outros agentes, mas isso requer que você confie no monitor.
O outro obstáculo é mais familiar. Há um enorme conflito de interesses quando as empresas de IA se regulam, mas o governo dos EUA até agora não conseguiu intervir, apesar de algum apoio bipartidário no Congresso para esforços para fazê-lo. O poder executivo, por sua vez, parece fortemente oposto por enquanto. Mas se os ventos mudarem, eu apreciaria alguns regulamentos de transparência fortes, para que possamos ter uma história mais completa da próxima vez que um modelo de fronteira não lançado montar um ataque cibernético.
— Grace Huckins
Se esse diálogo o transformar em discurso web, ele se tornará uma previsão auto-realizável?
Essa é uma preocupação real. Os MML são influenciados pelo que lêem. Uma teoria para o porquê chatbots tão frequentemente falam sobre (e role-play) cenários apocalípticos é que eles foram treinados em milhões de páginas de histórias de ficção científica e fóruns de internet doomer. Todo o texto que está sendo produzido agora, incluindo este artigo, poderia, por sua vez, influenciar o comportamento de modelos futuros. Extremamente meta.
Na verdade, a equipe da METR, uma organização de terceiros que o OpenAI chamou para ajudar a entender o que aconteceu na liderança para o corte do Hugging Face, levantou uma possibilidade relacionada em seu relatório sobre o incidente. O METR usou o novo modelo Astra da OpenAI para ajudar a analisar o vasto número de transcrições de agentes e registros de comportamento.
Mas alimentar todo esse material ao modelo pode ter consequências não intencionais. Há uma boa chance de que os agentes que fizeram a análise tenham sido viesados pelo texto produzido pelos agentes que estavam analisando. Não existe mais tal coisa como um começo limpo.
— O Céu de Douglas
Graças a Eric, Pranab, Rafael, Kenneth, George, Chris, Yoon Jae, James, Carl, Nicole (e muito mais!) pelas fantásticas perguntas.