Apresentação: Do «Fab» ao «Token» – A situação atual do mercado

Página inicial do InfoQ Apresentações Do chip ao token – A situação atual do mercado

IA, ML e Engenharia de Dados Da fábrica ao token - A situação atual do mercado Gosto

• Lista de leitura

Ver apresentação

• Vertical
• Horizontal
• Completo

Velocidade:

• 1x
• 1,25x
• 1,5x
• 2x

Descarregar

• Slides

51:11

Resumo

Jordan Nanos discute como as limitações dos semicondutores, a expansão dos centros de dados e os estrangulamentos nas redes afetam a arquitetura do software de IA. Com base na investigação da SemiAnalysis, partilha perspetivas sobre o desempenho em benchmarks, o escalonamento de GPUs e a tokenómica, desde a fabricação de chips até à inferência de modelos.

Biografia

Jordan Nanos é membro da equipa técnica da SemiAnalysis e antigo tecnólogo de renome da HPE.

Sobre a conferência

A QCon AI é um evento liderado por profissionais, inteiramente focado na disciplina de engenharia necessária para escalar estas cargas de trabalho de forma segura. Proporciona acesso direto aos manuais de arquitetura e às métricas de falhas que organizações homólogas utilizam em produção.

Transcrição

Jordan Nanos: Chamo-me Jordan. Trabalho na SemiAnalysis. Faço parte da equipa técnica. Trabalho principalmente num projeto chamado ClusterMAX, sobre o qual vou falar no final. O tema da apresentação é «Da Fábrica ao Token». Vou tentar explicar-vos um pouco o que a SemiAnalysis faz em termos de investigação em IA e na cadeia de abastecimento de semicondutores. O objetivo desta apresentação é um pouco diferente do de algumas das outras palestras. Sou um profissional da área. Utilizo os modelos. Desenvolvo software. Faço-o para apoiar a análise de hardware. Diria que sou um especialista em hardware. Damos muita importância a testar as novas GPUs, medir o desempenho e avaliar os fornecedores de serviços na nuvem. O que vou tentar fazer aqui é dar-vos uma ideia de como a compreensão do hardware pode ajudar a orientar o desenvolvimento de excelente software e vice-versa. Para mim, é realmente difícil utilizar IA e sentir que compreendo verdadeiramente o que se passa sem ter qualquer conhecimento sobre os chips, os centros de dados, os sistemas e até toda a cadeia de abastecimento envolvida. Vou tentar explicar-vos um pouco disso hoje.

Quem é a SemiAnalysis?

A SemiAnalysis é uma empresa de investigação na área dos semicondutores e da IA. Somos o «substack» número um no setor tecnológico. A nossa newsletter, dividida em três níveis, chega a 280 000 assinantes. Contamos atualmente com mais de 85 membros na equipa. Para que conste, entrei para a equipa no verão passado. Fui o colaborador número 31, pelo que estamos a crescer muito rapidamente. Normalmente, participamos em mais de 100 conferências por ano, como esta, para tentar aprender e manter-nos a par do que se passa no setor. A nossa atividade principal consiste na venda de produtos de investigação. Vendemos assinaturas de feeds específicos. Se estiver interessado em centros de dados, chips, tokenómica, equipamento para fábricas de wafers ou algo do género, tanto investidores como empresas do setor subscrevem esta investigação. Recebe e-mails na sua caixa de entrada, bem como modelos financeiros, gráficos e coisas do género.

A questão-chave que vou colocar e tentar responder nesta palestra é: qual é o ponto de estrangulamento? Atualmente, pensamos que há muitas pessoas a fazer perguntas como esta, talvez também a questionar-se: será isto uma bolha? Vou tentar explicar e responder um pouco a essa questão. Vou abordar quatro aspetos diferentes do mercado atual. O primeiro são os chips. Quais são as limitações? Como é que os estamos a produzir? O segundo são os centros de dados. Como é que estamos a garantir a energia e a disponibilizar as instalações dos centros de dados para poder instalar estes chips? O terceiro é o desempenho do sistema. Este é o cerne do meu trabalho na SemiAnalysis. Trabalho num projeto chamado ClusterMAX. Também temos outro chamado InferenceX. No ClusterMAX, testamos na prática todos os fornecedores de serviços na nuvem do setor. Trata-se dos hiperescaladores e das «neoclouds». Testamos mais de 100 deles na prática, redigimos as nossas conclusões e disponibilizamos essa investigação gratuitamente.

Já no InferenceX, o que fazemos é testar os próprios chips. Comparamos a NVIDIA, a AMD e, em breve, a TPU, a Trainium e muitas startups. Executamos modelos de código aberto que são populares e funcionam em todo o hardware mais recente. Também disponibilizo isso gratuitamente. Está disponível em inferencex.com. Pode consultar esses dados agora mesmo, se estiver interessado neste tipo de temas. Em seguida, o quarto aspeto é a procura por parte do utilizador final. Chamamos a isto «tokenomics», a economia da inferência. Podemos falar um pouco sobre o crescimento do ChatGPT, o Claude Code em comparação com o Codex, o que se passa com a OpenAI e a Anthropic? Onde é que o valor está a ser gerado ao longo da pilha, e coisas do género.

Parte 1: Chips

A primeira parte é sobre chips. Vou mostrar muitos gráficos nesta apresentação. Em primeiro lugar, as hiperescaladoras estão a gastar muito dinheiro em chips neste momento. Se olharem para este gráfico, o que podem ver é que a barra amarela representa o CapEx consensual dos analistas, e a azul é o que eles vão realmente gastar em 2026. A Google, a Amazon, a Meta e a Microsoft reviram em alta o montante que estão a gastar, principalmente em chips, mas também o CapEx destinado aos centros de dados — um montante absolutamente colossal. Muitas pessoas já devem ter visto o valor de 1 bilião de dólares para o futuro. Grande parte deste dinheiro vai, obviamente, para os chips. Não há eixo Y neste gráfico, mas esta é parte da nossa pesquisa institucional para vos mostrar quanto dinheiro está, de facto, a ser canalizado anualmente para aceleradores de IA. Está a crescer muito rapidamente. A principal conclusão aqui é, na verdade, que a TSMC não está a acompanhar o crescimento da procura.

Se observarem quantas pastilhas a TSMC está a produzir a cada trimestre, basta olharem para este gráfico. O crescimento não é exponencial como acontece com os outros. A repartição neste slide é feita pelos diferentes nós de processo. O amarelo representa os processos mais antigos, 6 nanómetros e 7 nanómetros; os de 4 e 5 nanómetros estão a azul. O vermelho representa os 3 nanómetros, que é o nó de ponta neste momento. Também se pode ver o de 2 nanómetros, que está para breve. A razão para isso é que a TSMC está a adotar uma abordagem muito mais cautelosa em relação às suas despesas de capital do que aquela que temos visto por parte dos hiperescaladores. Pode-se atribuir isto a questões culturais ou ao facto de quem já passou por isto antes achar que se trata de mais uma bolha, mas esta é, efetivamente, a principal limitação: não é possível obter mais wafers — sendo que os wafers são a matéria-prima a partir da qual os chips são fabricados — sem um maior investimento em fábricas e em equipamento por parte da TSMC.

Embora estejam a aumentar o CapEx, este pequeno solavanco aqui em 2022 — quando os números baixaram no final da pandemia da COVID — é o que estamos a observar no mercado neste momento: eles não conseguem satisfazer a procura do que as pessoas procuram. Todo este crescimento na TSMC deve-se à IA. Neste gráfico, podem ver que a parte a amarelo representa as remessas não relacionadas com IA em termos de procura de wafers de 3 nanómetros. A forma como tudo isto funcionou durante muito tempo foi a seguinte: os produtos não relacionados com IA — ou seja, smartphones e computadores pessoais — estavam na vanguarda. Os telemóveis com a tecnologia de processo mais recente chegavam ao mercado antes dos chips, como os destinados a centros de dados. Isto mudou completamente. A grande maioria de toda a capacidade de 3 nanómetros da TSMC será destinada à IA. Isto acontece em detrimento dos smartphones. Se estiver interessado numa conclusão a retirar daqui, e quiser um novo iPhone ou, mais especificamente, algum dos telemóveis chineses, provavelmente deve comprá-los agora mesmo, porque a oferta vai ficar bastante limitada no próximo ano.

Mais uma vez, se quiserem ver a repartição por fornecedor de aceleradores, a NVIDIA aparece a amarelo em termos da sua procura de wafers da TSMC. A Broadcom está a azul. A Broadcom produz os chips para a Google, as CPUs. A Annapurna, a preto, é a divisão da Amazon que produz os chips Trainium, a preto ou azul-marinho. Há alguns dados marginais na parte superior. Muitas pessoas talvez vejam as nossas publicações online ou outros debates sobre a NVIDIA versus a AMD. Podem ver qual é a procura pela AMD ali. É uma faixa roxa realmente pequena na parte superior. Muito pequena, especialmente quando comparada com a NVIDIA. Se acham que as empresas do ecossistema de startups, ou o que quer que seja, vão tirar quota de mercado à NVIDIA, isso depende realmente da quantidade que conseguirem obter da TSMC. Simplesmente não parece que isso vá acontecer. A NVIDIA vai ficar com a maior parte das receitas da TSMC relacionadas com os 3 nanómetros daqui para a frente.

O crescimento da IA está a ocorrer à custa dos smartphones. Este é um número específico que mostra como as pastilhas que inicialmente se destinavam aos smartphones se alteraram. As pastilhas de 3 nanómetros estão a ser reorientadas para a R200, as mais recentes GPUs Rubin que a NVIDIA vai lançar no final deste ano, e para a TPU v7 da Google. Isto também está a afetar a memória. Talvez as pessoas tenham visto notícias online sobre funcionários da SK Hynix a comprar Ferraris recentemente ou coisas do género. Se analisarmos progressivamente ao longo do tempo a percentagem da capacidade mundial de DRAM que estava a ser adquirida para IA, vemos que, inicialmente, a maior parte não era destinada a esse fim — em 2023, apenas 12% se destinava à IA. No próximo ano, vamos ver que mais de 60% da capacidade total de wafers de DRAM será destinada a sistemas de IA. Isto está a ter um impacto muito maior do que apenas na HBM, que é a parte tradicional.

Se analisarmos a percentagem da produção total de wafers da TSMC que irá incluir HBM — sendo a HBM um componente central das GPUs da NVIDIA, das GPUs da AMD e das TPUs, e HBM significando «High Bandwidth Memory» (Memória de Elevada Largura de Banda) —, a percentagem do total de wafers de memória destinada à HBM está a aumentar significativamente ao longo do tempo. Talvez a um nível geopolítico, num plano mais abrangente, o que acontece quando observamos isto? Por outras palavras, quando a TSMC aumenta o seu CapEx ou quando há outras pressões políticas para transferir a produção de chips para a China por parte do seu governo, ou potencialmente para instalações de produção de chips de memória na Coreia, podemos analisar estes três países e verificar, a partir de dados públicos, a quantidade de equipamento que estão efetivamente a importar. Todos eles publicam dados de importação e exportação. Este é um dos nossos produtos, chamado ChipBook. É um dos produtos de gama básica. As três principais ferramentas no equipamento de fabrico de wafers são a litografia, a deposição e a gravação.

Vou voltar à litografia. Podem ver, no total das importações de equipamento, que a linha amarela que surge representa a China a importar máquinas de litografia, possivelmente antecipando-se às regulamentações dos EUA e de outros países em todo o mundo. Além disso, Taiwan e a Coreia estão a registar esta inflexão ascendente, tal como referi anteriormente: a TSMC reduziu o CapEx no final de 2022, mas agora está a aumentá-lo novamente. As empresas estão a responder a esta procura. Esperamos que esta tendência continue a crescer ao longo do tempo. Este gráfico apresenta, grosso modo, o mesmo padrão, quer se esteja a analisar equipamento de litografia, deposição ou gravação.

Em termos do que isto significa para os profissionais do setor, para quem utiliza GPUs na nuvem ou tokens produzidos por GPUs, significa simplesmente que estão a chegar novas GPUs. Esta é uma captura de ecrã da apresentação da NVIDIA na GTC. É possível ver uma vasta gama de GPUs Rubin que serão lançadas no final deste ano. Todas elas se baseiam na tecnologia HBM4 e na capacidade de 3 nanómetros da TSMC. Até agora, o que temos observado é que as melhorias de desempenho das novas GPUs têm sido imensas. Pode dizer-se que isto se deve a um conjunto de fatores diferentes que influenciam o sistema. Vou resumir isto da seguinte forma. Quando analisamos o desempenho de inferência no InferenceX, sobre o qual falarei um pouco mais adiante, o que se verifica é que há uma redução significativa no custo de processamento de tokens ao longo do tempo.

Há também uma melhoria significativa na velocidade a que os tokens são produzidos, quando se compara um sistema da geração Hopper, como o H100, com um sistema da geração Blackwell, como o GB300 NVL72. À esquerda, podem ver um tweet que publicámos, no qual descrevemos isto e dissemos que, na GTC de 2024, o Jensen apresentou estes gráficos. Fizemos um gráfico com base nos cálculos do Jensen, que afirmava que o GB200 NVL72 seria 35 vezes mais rápido. Geralmente, estes gráficos são enganadores; diríamos mesmo que são mentirosos. O que aconteceu foi que o nosso fundador, o Dylan, enviou literalmente um e-mail ao Jensen depois de termos tido acesso aos sistemas GB200 no final do ano passado e de termos continuado a realizar alguns testes. Eles gabaram-se disso na sua conferência GTC, no palco, durante a palestra principal deste ano, afirmando que tínhamos alcançado uma melhoria de desempenho superior a 35 vezes, chegando até 50 vezes. Posso mostrar-vos um gráfico.

Este é um gráfico em tempo real do qual tirei uma captura de ecrã. Eles estão no lado direito do ecrã. O eixo Y representa o custo por milhão de tokens. O eixo X representa a interatividade, ou seja, o débito de tokens por utilizador. O lado esquerdo corresponde a um ritmo lento de 40 tokens por segundo. O lado direito ultrapassa os 100 tokens por segundo. Este é o modo rápido. Podem ver que há um aumento acentuado no custo necessário para processar tokens rapidamente no H100. Chega a ultrapassar os 2 dólares por milhão de tokens ao utilizar uma configuração de carga de trabalho com 8K de entrada e 1K de saída de tokens. Entretanto, os GB200 ficam aqui em baixo, a menos de 10 cêntimos por milhão de tokens. É claramente uma diferença de 20 vezes. Isto foi incrivelmente surpreendente. É como se fosse um benchmark escolhido a dedo. Existem benchmarks que eles podem selecionar de forma a fazer parecer que é mais de 35 vezes mais rápido.

A questão é que, se analisarmos as especificações da GPU e verificarmos que os flops aumentaram menos de duas vezes na transição de Hopper para Blackwell, a largura de banda da memória aumentou pouco mais de duas vezes e a capacidade da memória duas a duas vezes e meia, o que é que esteve na origem disto? Na verdade, o que se passa é que grande parte da inferência de modelos de vanguarda é limitada pela rede. A rede é o gargalo do desempenho. Aquela linha azul que mostra a passagem da largura de banda agregada de expansão vertical dentro do rack, apenas nas especificações, de um total de 3 600 para 64 000, significa que qualquer técnica de software que estivesse limitada pela rede — especificamente coisas como a desagregação de pré-preenchimento e descodificação, em que se implementam várias cópias do modelo e, em seguida, se efetua a transferência de cache KV entre as cópias. É possível fazer o pré-preenchimento, processando o contexto de entrada extenso e volumoso, e depois a descodificação, processando a saída, criando o resultado em GPUs separadas com configurações distintas, otimizadas para essas cargas de trabalho.

A única forma de realmente conseguir isto é com uma rede de elevada largura de banda. Talvez algumas pessoas já tenham ouvido falar do conceito de «co-design». À medida que o novo hardware permite o desenvolvimento de novo software, podemos concretizar este tipo de melhorias de desempenho. É chocante o facto de termos pensado que estavam a fazer o seu clássico truque de mentir. Na verdade, o Jensen respondeu ao e-mail do Dylan. Ele não disse isto no palco, mas o e-mail do Dylan dizia: «Quando testámos o desempenho e vimos que não era apenas 35 vezes mais rápido, mas sim 50 vezes mais rápido, pensámos que estavas a mentir.» O Jensen respondeu: «Eu nunca minto.»

O que se segue nas redes é, na verdade, o CPO, ou seja, Co-Packaged Optics. Esta é uma captura de ecrã da Lambda, uma «neocloud» que está a instalar a primeira versão destes comutadores óticos. Estes vão ser comutadores de rede com escalabilidade horizontal. Grande parte desta tecnologia ótica já é utilizada nos sistemas ou em longas distâncias. Vou mostrar-vos, basicamente, as vantagens e desvantagens. Atualmente, para redes de expansão horizontal, utiliza-se cobre. Isso significa que se tem estes DACs, ACCs, como fios de cobre ativos ou cabos elétricos ativos, que se utilizam para construir efetivamente estes clusters. Uma tendência realmente forte na indústria neste momento é a transição para redes óticas neste domínio. Podem ver aqui os meus belos slides gerados por IA que explicam tudo isto. Conceptualmente, na perspetiva de um programador, se anteriormente era possível utilizar 72 GPUs num rack ou um conjunto de 64 dessas 72 GPUs, os sistemas de próxima geração da NVIDIA que vão ser lançados no próximo ano — os primeiros ainda este ano, com a Vera Rubin — continuarão a ter 72 GPUs num rack.

No próximo ano, haverá 144, 288 e 576. Existem estes domínios maiores que abrangem vários racks. O de 576, especificamente, necessita destes cabos óticos. Os cabos «Co-Packaged» são uma tecnologia realmente interessante, com a qual se pode potencialmente poupar muita energia. Poderá poupar até 20% do consumo total de energia do cluster ao utilizar esta tecnologia. Isso também significa que, em termos de matérias-primas, o custo é mais baixo. O que ainda suscita algumas dúvidas é: qual será a taxa de falhas? Por outras palavras, atualmente as pessoas estão habituadas a pagar um preço mais elevado por uma maior fiabilidade e poderão continuar a fazer essa escolha até que esta tecnologia se revele mais comprovada.

Parte 2: Centros de Dados

Passando dos chips e, por fim, das redes, e da descrição das limitações dos sistemas, vamos agora falar sobre centros de dados. A questão-chave que vem à mente de todos é: vamos supor que se consiga produzir uma grande quantidade de chips, o que está, sem dúvida, a acontecer. A NVIDIA vai ter 500 mil milhões de dólares de receitas este ano e no próximo. Para onde vão todos esses chips? Penso que esta questão está a tornar-se parte do espírito da época política neste momento. Basta olhar para este gráfico para ver que, excluindo a China, no sul da Ásia, ainda há uma grande quantidade de capacidade de centros de dados a entrar em funcionamento. Se houver uma conclusão a retirar desta apresentação, diria que as pessoas devem partir do princípio de que, no futuro, teremos muito mais tokens, a preços muito mais baixos e em modelos de maior qualidade. Não há nada que nos leve a acreditar que exista uma limitação significativa em termos da quantidade de computação para treino ou inferência que será implementada nos EUA, nem do desempenho dos chips ou dos modelos.

Participante 1: Esse é um resultado muito surpreendente. Acho que todos os gráficos que antecederam esse momento me indicavam que iríamos ver custos extremamente elevados em termos de tokens, computação, memória e tudo o resto. Fico muito surpreendido por ouvir que acha que não haverá restrições à expansão nos Estados Unidos. Os outros gráficos levavam-me a crer que provavelmente haveria, e tenho estado preocupado com quanto do meu plano de poupança 401k devo gastar em equipamentos da NVIDIA antes que chegue o «inverno dos tokens». Se isso não vai ser um problema, obrigado.

Jordan Nanos: Penso que talvez a principal conclusão desta apresentação seja que a TSMC é a principal limitação. Seremos capazes de resolver muitos dos outros estrangulamentos em termos de centros de dados, em termos de desempenho de rede e em termos da procura por parte dos utilizadores finais — aspetos que podem deixar as pessoas nervosas quando se trata de uma bolha ou da ameaça de uma bolha. «Inverno dos tokens» é um termo interessante. Há imensos tokens a circular neste momento, só com as implementações atuais de GPUs. Esta secção da apresentação vai dar-vos uma ideia da dimensão de alguns dos centros de dados que estão a entrar em funcionamento. Penso que basta prever que, no futuro — ou seja, quando os hiperescaladores entrarem em força —, estarão a reduzir o seu fluxo de caixa livre a zero. Estão a implementar todas estas GPUs em todos estes centros de dados. Isso significa simplesmente que vai haver muito mais tokens este ano e, provavelmente, no próximo ano, e provavelmente até 2029 também.

Veja este gráfico. Mais uma vez, não há eixo Y, mas este é o nosso modelo de centros de dados. Acompanhamos mais de 6.000 centros de dados a nível global. Recorremos a imagens de satélite para verificar em que fase se encontra a construção. Acompanhamos todas as licenças que solicitam. Consideramos ter uma boa compreensão de quais os projetos que são reais e quais os que não são. O que se pode ver é que esta barra vermelha, que representa o excedente total de capacidade de centros de dados construídos pelos próprios operadores, está atualmente prevista para aumentar ao longo do tempo, o que significa simplesmente que, no final de 2028, teremos mais centros de dados vazios à espera de chips do que chips disponíveis para os preencher. Essa é, em linhas gerais, a conclusão. Isso não quer dizer que seja um dado adquirido. Há muitos atrasos a ocorrer. Há muitas mudanças políticas em todo o mundo. Quando um projeto é cancelado nos EUA

e outro projeto ganha impulso na Malásia, as coisas acabam por se equilibrar com o tempo. Vou explicar-vos um pouco por que razão isto acontece e por que razão muitas pessoas que falam das limitações na construção das instalações, das limitações no equipamento elétrico, ou das limitações no equipamento de alimentação e refrigeração, ou das limitações no equipamento de alimentação não estão necessariamente corretas quanto ao estrangulamento. Este é um gráfico que explica isso. A construção de centros de dados desde 2010 em segmentos não relacionados com IA, ou seja, que não envolvem GPUs, é representada pela barra amarela na parte inferior. Esta continua a crescer. Trata-se das cargas de trabalho em nuvem de uso geral. É possível ver que os centros de dados que estão a entrar em funcionamento são bastante massivos em termos do consumo total de energia que irão ter. Estão representados a azul, na parte superior deste gráfico. Também é possível ver exatamente em que é que gastam.

Esta é uma pequena antevisão do nosso modelo de centro de dados para mostrar que, se alguém está a investir em CapEx num centro de dados, para onde é que esse investimento vai realmente? Qual é a maior parte da despesa? Pode ver-se que uma grande parte disso, aqui em cima, é constituída por geradores UPS, quadros de distribuição e distribuição de energia. São os componentes que produzem a energia que os chips consomem. É a barra laranja-amarela-branca na parte inferior. Depois, parte do que está a azul refere-se aos sistemas de refrigeração. Trata-se dos CRAC, CRAH e CBUs, bem como dos refrigeradores, torres de refrigeração, tubagens e válvulas.

Fui a uma dessas instalações com alguns colegas da equipa. Fica em Lake Mariner, perto de Buffalo, numa cidade chamada Barker, em Nova Iorque. Estão a construir lá 750 megawatts de capacidade de computação, ao longo do tempo. É uma empresa chamada TeraWulf. Um antigo minerador de criptomoedas que adquiriu uma central elétrica alimentada a carvão. O que acontece com estas instalações é que, anteriormente, exportavam eletricidade. Basta alterar o sentido do fluxo de energia e, agora, é possível receber eletricidade, tanto da central nuclear que fica nas proximidades como da rede da NYSEG. À esquerda, somos nós em frente a uma instalação com 400 000 pés quadrados. Os Buffalo Bills estão a construir um novo estádio. Este é, neste momento, o maior projeto de construção no Estado de Nova Iorque. À direita, podem ver-me ao lado de um dos tanques de compensação. Esta é uma instalação pequena.

Segundo os padrões deles, tinha 20 megawatts. Têm quatro destes tanques apenas com água, que ficam disponíveis caso algo aconteça com o sistema de refrigeração, permitindo que o sistema funcione sem necessidade de produzir mais água refrigerada. É incrível a escala a que isto está a acontecer. Mais uma vez, 750 megawatts. Estou ao lado de algo que está a alimentar um centro de dados de 20 megawatts. Vou abordar isto daqui a pouco. Empresas como a Meta e a Amazon já construíram instalações de 1 gigawatt, e há projetos em curso neste momento nos EUA, na Índia e noutros locais do mundo com uma escala de vários gigawatts. Talvez valha a pena referir que São Francisco, enquanto cidade, consome menos de um gigawatt de energia. Nova Iorque atinge os 9 gigawatts ou algo do género. É inacreditável a escala a que isto está a acontecer.

O que torna estas instalações de centros de dados um pouco loucas, no que diz respeito aos novos chips, é o facto de o consumo de energia por rack ter crescido exponencialmente. Antigamente, antes da SemiAnalysis, trabalhei numa empresa chamada HPE, a Hewlett Packard Enterprise. Vendíamos servidores a muitos bancos, empresas de telecomunicações e organismos do governo federal, e eram apenas servidores típicos. Naquela altura, um rack típico consumia 9 quilowatts. Depois, em 2017 e 2018, vimos as GPUs V100 a começarem a elevar um pouco mais esse valor, para 12 ou 14 quilowatts por rack. Esse é o nível mínimo. Se avançarmos até ao final do próximo ano, esperamos ter racks com 600 quilowatts cada. Estive ao lado de racks com 190 quilowatts. Têm 42U de altura, tal como um rack padrão que se encontra em qualquer centro de dados. Estão a consumir 20 vezes mais energia do que atualmente e irão chegar a 40 ou 60 vezes mais no futuro.

Isso impulsiona coisas como esta. Estão a chegar novas GPUs. Reparem na foto de capa do Michael Dell ali. O que é aquilo virado ao contrário? Dá para ver que é um rack Vera Rubin. Estas são as novas GPUs que vão ser lançadas em dezembro. A grande melhoria em relação ao Blackwell. Há muita tecnologia nova a ser incorporada aqui. É isto que está a fazer com que o consumo de energia do rack passe de 130 para até 190 quilowatts ou 200 quilowatts por rack. O que está a ter impacto no setor é que é necessário um sistema elétrico de nível de instalação diferente para alimentar estes racks. Em vez de reduzir a tensão para valores como 415 ou 480 volts, o que vamos ver nestes racks é que é necessário fornecer energia ao rack a 800 volts em corrente contínua (CC), e não em corrente alternada (CA) trifásica. Está a ocorrer neste momento uma enorme transição no setor dos centros de dados, à medida que se procura primeiro proceder à adaptação dos equipamentos existentes — representada pela barra amarela na parte inferior — e, posteriormente, à adaptação a nível das instalações — representada pela barra azul.

Até 2030, a nossa previsão atual é que quase 80% de todos os centros de dados a nível global venham a utilizar este novo sistema elétrico. Há muita inovação a ocorrer no que diz respeito à energia. O problema que as pessoas, com razão, apontam é que a rede está saturada. Se quiser colocar um gigawatt em funcionamento neste momento, não consegue realmente obter um acordo de interligação com muitas das empresas de serviços públicos. Como pode ver neste gráfico, é inacreditável. Existem novos pedidos de grandes cargas que acompanhamos no nosso modelo energético a azul, e pode ver quais foram aprovados a laranja. Simplesmente não está a acontecer. Não estão a aprovar novos centros de dados. A solução é, na verdade, gerar a própria energia «atrás do contador». Estas são fotografias de satélite aéreas das instalações da xAI, chamadas Colossus, em Memphis, onde se pode ver que instalaram turbinas no local para gerar a energia necessária ao funcionamento do centro de dados. Se não conseguirem obter energia da rede, basta gerarem-na eles próprios com estas turbinas. Tudo o que realmente precisam é de uma licença ambiental e, talvez, de algumas licenças relativas ao ruído para poderem queimar todo este gás.

Em geral, isto é um pequeno vislumbre do que fazemos com o modelo de centro de dados. Também quero apenas comentar a rapidez com que algumas destas instalações estão a ser construídas. Acompanhamos o progresso da construção através de imagens de satélite e licenças, e podem ver, com todas estas fotografias, que há uma imagem de 2024 à esquerda e uma de 2025 à direita. Dá para ter uma ideia da rapidez com que algumas destas construções avançam ao observar estas fotografias do progresso ao longo do tempo. Quem fala de limitações de mão-de-obra, de maquinaria ou de coisas do género não está realmente a perceber a rapidez com que algumas destas instalações estão a ser construídas e o quão modulares são agora os projetos dos edifícios.

Participante 2: Só para esclarecer, esses locais ficam nos Estados Unidos?

Jordan Nanos: Sim, todas as quatro que estou a mostrar ficam aqui nos Estados Unidos, mas como se trata de imagens de satélite, também acompanhamos obras na Europa e na Ásia. Talvez o maior problema em relação a algumas destas questões seja, na verdade, simplesmente encontrar o local. Assim que temos as coordenadas, conseguimos orientar as imagens de satélite e perceber a rapidez com que a construção está a avançar e a rapidez com que estas empresas divulgam os atrasos, o que nem sempre é assim tão rápido.

Uma questão fundamental que muitas pessoas colocam devido a tudo isto é: será que os centros de dados de IA estão, de facto, a aumentar as contas de eletricidade das famílias americanas? Penso que a resposta, em termos gerais, é não. Qualquer pessoa que viva na área coberta pela ERCOT — que é o operador da rede do Texas — e pela PJM, que abrange a Pensilvânia, Nova Jérsia e Maryland. A PJM é onde se concentram todos os centros de dados da costa leste dos EUA, enquanto o Texas é onde se estão a instalar todos os grandes projetos, como o Stargate e muitos outros. Basta ver para onde os preços da eletricidade para os consumidores estão a tender aqui. Não estamos a assistir a um aumento exponencial. Penso que o grande problema potencial que as pessoas estão a prever é a incapacidade de prever a procura. Mais uma vez, a principal razão para isso é que grande parte dos centros de dados que estão a entrar em funcionamento, como descrevi anteriormente, estão a produzir a sua própria energia «atrás do contador», o que significa que, na verdade, não funcionam ligados à rede.

Não funcionam nem competem pelos mesmos recursos de produção de energia que, neste momento, abastecem as residências. Se estiver interessado na composição da fatura, abordamos este tema num artigo sobre o assunto, onde entramos em pormenores. Há dois aspetos a considerar. Um é o facto de poder estar a consumir energia da rede quando não há capacidade disponível; nesse caso, é necessário ativar capacidade a pedido para dar resposta à procura. O segundo é quando existe uma taxa de capacidade. A composição da fatura é diferente porque, efetivamente, quando há uma taxa de capacidade, é necessário pagar a quem gera a energia.

Este é talvez um dos últimos slides para esclarecer a questão da produção «behind-the-meter», ou seja, qual é a nossa previsão? A principal razão pela qual os preços da eletricidade para os consumidores poderiam potencialmente aumentar é o facto de o operador da rede não ter uma previsão da procura que irá registar no próximo verão. Consequentemente, não celebra contratos com os produtores de energia para que estes possam satisfazer essa procura. O que mostramos neste slide são as previsões de empresas como a PJM, a azul, comparadas com as nossas previsões, a amarelo. Basta acompanhar quais os centros de dados que vão entrar em funcionamento para prever qual será a carga total, o que fazemos de forma bastante simples e clara, conseguindo prever isto com precisão. Por outro lado, a PJM, na sua própria rede, não consegue prever isto, e acaba por subestimar e depois sobredimensionar a capacidade de energia de que dispõe.

É isso que faz disparar os preços da eletricidade para os consumidores. É como se, ao errarem nessa previsão, tivessem de se apressar a encontrar novas fontes de produção para dar resposta aos meses de verão ou de inverno; é nessa altura que têm de pagar um prémio significativo para que as pessoas produzam energia. Último slide sobre centros de dados: a produção «behind-the-meter» é agora o caminho a seguir. Se estiver interessado, o tempo de espera típico na fila de interligação, caso pretenda colocar um centro de dados em funcionamento para utilizar a rede, varia entre dois anos e meio e cinco anos e meio. O Texas é o mais rápido. A PJM é a mais lenta, em termos gerais, no que diz respeito às principais instalações da região.

Segurança dos Centros de Dados

Participante 3: Qual é a opinião atual sobre a segurança dos centros de dados e a vulnerabilidade, à medida que as nossas cargas de trabalho se orientam cada vez mais para a IA e dependem destes centros de dados? Em que medida estão protegidos contra ataques com drones, mísseis e coisas do género, como aquelas a que assistimos recentemente?

Jordan Nanos: Falamos com muitos destes operadores de centros de dados que levam muito a sério a segurança física e a proteção dos seus centros de dados. Isto aplica-se tanto ao roubo de propriedade intelectual, como à sabotagem do centro de dados, bem como a ataques literais com drones e foguetes. Isto é mais comum em alguns locais do mundo do que noutros. É uma área nova que as pessoas estão a explorar cada vez mais. Nos centros de dados de hoje em dia — refiro-me àquele em que estive — há guardas armados a patrulhar, há cães. Pedem a carta de condução para entrar. Levam a segurança a sério. É um edifício que está atualmente em construção. Ainda não está realmente em funcionamento; talvez estejam a executar algumas cargas de trabalho de produção, mas, do ponto de vista da segurança, diria que há 50% de probabilidade de estarem, de facto, a processar quaisquer pesos do modelo «Frontier» em qualquer um dos centros de dados onde eu me encontrei. É provável que estejam a fazer investigação sobre novidades nesse local.

Acho que é algo que as pessoas têm mesmo em consideração. Penso que a maior parte do investimento que tenho visto até agora tem sido em segurança de software, em vez de segurança física das instalações. É assustador ver que as pessoas consideram os centros de dados como locais vulneráveis numa guerra. Estão a atacar infraestruturas críticas e são como os locais onde se produz petróleo e, depois, os centros de dados, locais onde se produzem os tokens.

Fontes de energia para a expansão «behind-the-meter»

Participante 4: Poderia comentar sobre a expansão «behind-the-meter»? Qual é a composição das fontes de energia? É principalmente gás natural e alguma energia nuclear? São outras fontes? Pode comentar como é que isso se divide?

Jordan Nanos: É principalmente gás natural. As pessoas têm outras formas criativas de fazer isto. Geralmente, a energia nuclear não faz parte da rede «behind-the-meter» — se é que a utilizam atualmente —, mas talvez tenha visto notícias públicas, como a Microsoft ter assinado um grande acordo para reiniciar a central de Three Mile Island para abastecer alguns dos seus centros de dados. Outras empresas têm centrais e pequenos reatores modulares. A energia nuclear demora algum tempo a ser produzida, por isso não é, atualmente, uma componente muito significativa. Existem algumas instalações que utilizam energia hidráulica. Há algumas instalações no estrangeiro que utilizam carvão, mas a maior parte da energia «behind-the-meter» provém do gás natural.

Limitações na produção de turbinas

Participante 5: Existe uma limitação quanto ao número de turbinas que [inaudível 00:38:08].

Jordan Nanos: Existem restrições quanto ao número de turbinas que todos os fornecedores conseguem produzir, mas as pessoas estão a dar asas à criatividade. Num dos nossos artigos, abordamos todos esses detalhes sobre turbinas, células de combustível e algumas das empresas que estão a converter motores a jato em turbinas, basicamente. A Boom Aerospace ia criar um avião rápido e agora está a produzir motores para centros de dados porque tinha uma especificação. Conheci recentemente uma startup chamada American Turbines que afirma que vai dedicar-se exclusivamente à produção de turbinas para centros de dados. São tipo seis tipos em São Francisco com um armazém. Não sei como é que vão fazer isso, mas desejo-lhes boa sorte. As células de combustível da Bloom Energy são extremamente interessantes — não as da Boom Supersonic; são duas empresas diferentes, ambas a produzir energia para centros de dados «behind-the-meter». As células de combustível são praticamente isentas de emissões, apesar de o gás natural continuar a ser o combustível, ou pelo menos produzem menos emissões. É aqui que os vossos tokens entram em ação.

É como a indústria pesada. Na verdade, talvez um último ponto sobre os centros de dados. Quando falo de densidade de potência dos racks e coisas do género, é absolutamente fascinante ver como, em termos percentuais, uma grande parte do próprio centro de dados é dedicada a equipamento de refrigeração e equipamento elétrico, em oposição aos racks propriamente ditos. À medida que os chips são instalados nos racks e se tornam cada vez mais densos, o espaço vazio — como a sala de dados propriamente dita num centro de dados atual — representa talvez cerca de 20% das instalações, enquanto 80% são apenas estas máquinas enormes e tubagens para produzir a água refrigerada e a eletricidade necessárias para alimentar tudo isto. E isso só vai aumentar com o tempo. Vamos ter estas instalações gigantescas, com o tamanho de campos de futebol, e, no fim de contas, teremos apenas duas salas de dados minúsculas. Se está a perguntar-se por que razão as pessoas falam em colocar centros de dados no espaço, essa é a motivação. Mas isso não vai acontecer tão cedo.

Parte 3: Desempenho do sistema

Desempenho do sistema. Vou falar aqui das limitações em termos da facilidade com que se pode utilizar estas GPUs. O primeiro projeto é o ClusterMAX, onde comparamos neoclouds. Esta é uma decisão crítica, quer estejas a treinar modelos, quer estejas a executar inferência. Depois, o InferenceX, que compara os chips. Que chips deve utilizar se estiver a tentar gerir o seu negócio com base nestas GPUs? Em primeiro lugar, o que é um «neocloud»? Tem vindo a ganhar muita notoriedade recentemente. As pessoas utilizam o termo. A SemiAnalysis cunhou o termo em outubro de 2024, num artigo intitulado «AI Neocloud Playbook and Anatomy». Na altura, havia várias empresas novas que estavam a converter os seus centros de dados — que anteriormente utilizavam para minerar criptomoedas — em plataformas de alojamento de GPUs para que as pessoas pudessem treinar os seus modelos. Empresas como a CoreWeave, a Crusoe ou a Lambda estavam a crescer a um ritmo vertiginoso. Havia muitas pessoas a utilizá-las.

A questão era: porquê? Tentámos responder a essa pergunta. Se é uma empresa que procura aceder a GPUs, especialmente para um cluster de treino, tem muitas empresas por onde escolher. Na nossa primeira versão do ClusterMAX, lançada em março de 2025, realizámos testes práticos a 26 fornecedores e classificámo-los. No ClusterMAX 2.0, avaliámos 84. Depois, na atualização de versão secundária 2.1, adicionámos mais 6, passando para um total de 90. Estamos atualmente a trabalhar no ClusterMAX 3.0, que esperamos lançar até ao final deste verão com um excelente repositório de código aberto que irei descrever aqui. O objetivo era dar às pessoas uma perspetiva sobre a qualidade destes fornecedores. Até ter utilizado um cluster e trabalhado com os engenheiros de suporte de uma empresa como a CoreWeave, a Oracle, a Nebius, a Fluidstack ou a Crusoe, não se tem realmente uma perspetiva sobre o motivo pelo qual as pessoas podem até pagar um preço mais elevado para operar nessas plataformas, quando comparadas com hiperescaladores como a AWS, o Google, o Azure e muitas outras empresas. Atualmente, acompanhamos mais de 200 destas empresas que estão a converter as suas instalações e a instalar GPUs. Como é que se faz a triagem entre toda essa informação? É precisamente isso que tentamos responder com esta investigação.

O que caracteriza um bom «neocloud»? Penso que há basicamente duas formas de encarar isto. A primeira é quais são as suas expectativas em relação ao produto que vai adquirir. Para treino, muitas pessoas ainda utilizam o Slurm. Para inferência, utiliza-se sempre o Kubernetes. Por vezes, também se pode utilizar o Kubernetes para treino. Depois, há quem procure apenas máquinas autónomas. Tentamos classificar as empresas para todos estes três cenários com um conjunto de critérios, verificando se o Slurm está configurado corretamente e se o Kubernetes está configurado corretamente. Não quer dizer que não se consiga resolver estas questões em poucos dias — o que dá um pouco de dor de cabeça —, mas se uma empresa lhe oferece algo que funciona bem logo à primeira, isso demonstra que sabem o que estão a fazer. Também avaliamos os seus painéis de monitorização e as suas verificações de integridade, porque a fiabilidade é um componente fundamental destes clusters.

Aqui estão incluídos alguns exemplos de testes que realizamos. Não vou abordá-los em pormenor, mas deixei-os aqui como referência para que as pessoas possam ver que tipo de testes fazemos, os quais resultam numa avaliação. É claro que as classificações vão, na verdade, além dos testes práticos, o que significa que falámos com mais de uma centena de empresas que utilizam GPUs. Se alguém aqui estiver a utilizar clusters Slurm ou Kubernetes com algum destes fornecedores, adoraríamos conversar convosco sobre a vossa experiência. É aí que obtemos uma visão única sobre a fiabilidade e a experiência de suporte em grande escala, quando as pessoas estão dispostas a partilhar o que estão a fazer, em vez de nos limitarmos apenas à nossa experiência de testes quando falamos com o diretor técnico ao telefone ou algo do género. Se visitarem o site https://www.clustermax.ai/tco, podem introduzir os vossos próprios valores de «goodput» e outros parâmetros semelhantes para verem realmente como é o desempenho e qual a fiabilidade em grande escala. Pode dizer: «Esta é a cotação que estou a receber destas empresas para as GPUs, para o armazenamento, para a rede, e quantas falhas espero ver neste fornecedor de nível inferior, em comparação com o melhor, onde espero ver menos interrupções nos meus trabalhos e menos falhas nestes nós de GPU.»

O InferenceX é o outro projeto, sobre o qual já falei um pouco. O InferenceX é um benchmark de código aberto que, segundo dizemos, evolui ao mesmo ritmo que o ecossistema de software de IA, o que significa que executamos as versões «nightly» mais recentes do vLLM, do SGLang ou do TensorRT assim que são lançadas. Trabalhamos em estreita colaboração com essas comunidades para as integrar no nosso repositório no nosso hardware. Executamos em todo o tipo de GPUs diferentes, e é possível ver realmente qual é o desempenho numa determinada GPU, num determinado modelo. Abrangemos modelos de código aberto como o DeepSeek, o Kimi, o Qwen, o MiniMax e outros semelhantes. Já falei sobre como o Jensen gosta disso. Todo o repositório do InferenceX é de código aberto. É possível ver exatamente o que estamos a executar, modificá-lo, criar um fork e realizar estes testes de desempenho nos endpoints como achar melhor. Não vou abordar isto em pormenor. Há imenso conteúdo online onde falamos sobre como analisar estas coisas. Para além do desempenho, estamos também a trabalhar bastante na fiabilidade, ou seja, quando uma nova versão deste software é lançada e alega uma melhoria de desempenho, será que isso está realmente a afetar a qualidade do modelo? É preciso realizar estas avaliações no modelo para garantir que nada está a mudar nesse aspeto.

Secção final: a tokenómica. Para onde vai o valor? Como podem ver, para nós, a tokenómica é a soma de um conjunto de investigações diferentes. O nosso modelo de TCO (Custo Total de Propriedade), onde avaliamos quanto custam, na realidade, os componentes que integram os servidores. O nosso modelo de centro de dados, onde calculamos quanto custa construir e operar o centro de dados. O InferenceMAX, onde verificamos o desempenho que se vai obter numa determinada GPU, num determinado modelo. E, por fim, este modelo de tokenómica que vou descrever aqui, no qual fazemos uma avaliação da procura por parte do utilizador final e utilizamos alguns dos nossos dados internos para o fazer.

Parte 4: Procura do utilizador final

O Claude Code chegou. Acompanhamos quantos commits no GitHub estão a ser criados pelo Claude Code e como é que este se identifica nesses commits. Em janeiro, representava 4% de todos os commits no GitHub. Desde então, tem vindo a crescer. Centenas de milhares de commits todos os dias provenientes do Claude Code. É incrivelmente fascinante. Escrevemos um artigo em fevereiro intitulado «O Claude Code é o ponto de inflexão». Acho que continua a fazer sentido. Provocou uma inflexão em que a OpenAI tem agora menos ARR do que a Anthropic. A Anthropic está a crescer mais rapidamente do que a OpenAI neste momento. A Amazon é uma das principais beneficiárias deste crescimento. Salientámos isto num artigo recente. Podem ver a AWS a azul. As suas margens operacionais estão a melhorar ao longo do tempo. As margens operacionais da Microsoft estão a tornar-se negativas. As da GCP mantêm-se estáveis. Por que razão está a Amazon a melhorar a sua margem operacional? Porque a Anthropic adquiriu a Bedrock. Estão a utilizar uma plataforma de «token gerido como serviço» para alimentar muitas aplicações.

Muitas pessoas estão a utilizar o Bedrock, com o qual têm um acordo de partilha de receitas. O que isto significa é que, à medida que a Amazon melhora o desempenho de um modelo na nuvem nos seus chips Trainium, vai simplesmente obter mais margem. Estão simplesmente a trabalhar continuamente no desempenho da inferência e a melhorar continuamente as margens. Eis um gráfico que mostra que a Bedrock está a crescer a um ritmo vertiginoso. Esta é a nossa previsão, que apresenta as receitas da Bedrock como percentagem do total das receitas de IA e do total das receitas da AWS. À medida que a Anthropic cresce, o mesmo acontece com a AWS. A AWS não está tão exposta ao Gemini e ao Azure Foundry, apesar de os modelos também estarem disponíveis nesses serviços. As Neoclouds neste setor são, em grande parte, irrelevantes. Representam uma barra roxa, que nem sequer se consegue ver, enquanto as azuis e as verdes estão a crescer a um ritmo alucinante. Se estiver curioso sobre onde utilizar os modelos da Anthropic e quem vai ter capacidade, esperamos mesmo que esta tendência se mantenha, porque a AWS, representada a azul, está a adicionar muitos mais centros de dados ao nosso acompanhamento, só em termos de megawatts a entrarem em funcionamento.

Os seus projetos estão dentro do prazo. Estão a expandir-se mais do que os outros. Isso vai continuar no próximo ano. Basta ver a rapidez com que estão a construir. Estes são os centros de dados de treino de IA da Anthropic na AWS, na parte inferior em 2024 e na parte superior em 2025. Um intervalo de um ano. Reparem na rapidez com que esses edifícios são construídos. Trata-se de instalações com mais de 100 megawatts no total. É incrível a eficiência destes tipos nas operações.

Acreditamos que os agentes estão apenas a dar os primeiros passos. Fizemos uma análise do mercado global (TAM) para avaliar, em vários setores diferentes, qual seria a fatia do bolo que, na nossa opinião, um agente poderia conquistar. É enorme. Gostaria de esclarecer talvez duas coisas antes de concluir. A primeira é que acreditamos que, atualmente, a OpenAI e a Anthropic são altamente rentáveis. Muito do que se diz sobre subsídios pode ou não ser verdade, dependendo do volume de caixa que se movimenta e da eficácia com que prestam serviços a estes modelos em termos de desempenho. Acreditamos que são muito rentáveis, apenas com base nas informações que divulgaram durante os anúncios de financiamento relativos à angariação de fundos. A Anthropic atingiu recentemente 47 mil milhões de dólares de ARR e a última divulgação da OpenAI foi de 2 mil milhões de dólares por mês, o que as coloca nos 24 mil milhões de dólares de ARR, embora, com base no nosso acompanhamento, os valores reais sejam muito superiores a isso.

Achamos que estamos certos. Este é um dos meus colegas, o Joey, que trabalha na equipa de tokenómica e demonstra que estamos no caminho certo. Por fim, acreditamos que a ideia de que a transição do treino para a inferência é, em grande medida, uma mentira. À medida que estas empresas angariam mais fundos, conseguem adquirir mais centros de dados de treino e melhorar o desempenho dos modelos. Quando se diz que há uma grande transição do treino para a inferência, nós simplesmente não vemos isso nos dados, nesta fase.

Veja mais apresentações com transcrições

Gravado em:

18 de agosto de 2026

por

• Jordan Nanos