Amazon Adquire DuckLabs e Integra DuckDB em Amazon Aurora PostgreSQL
A Amazon anunciou a aquisição da DuckLabs, a empresa de Amsterdam por trás da base de dados analítica DuckDB.
Segundo as notícias, Hannes Mühleisen e Mark Raasveldt, criadores da DuckDB e co-fundadores da DuckLabs, continuarão a liderar a equipe e a direção técnica do projeto de código aberto como parte da AWS.
No anúncio em seu blog, Mühleisen e Raasveldt explicam as razões por trás da decisão de se juntar à AWS:
Juntar-se à AWS nos dá recursos e alcance para trazer essa tecnologia para muitos mais desenvolvedores e organizações, e para perseguir ideias em uma escala que teria sido difícil para nós alcançar sozinhos.
Todas as partes envolvidas no acordo tranquilizaram a comunidade sobre o futuro dos projetos mantidos pela DuckLabs. O DuckDB e todos os componentes de sua "Pack Stack", como DuckLake e Quack, permanecerão livres e de código aberto sob a licença do MIT, enquanto a Fundação DuckDB sem fins lucrativos continuará sua supervisão dos projetos.
No anúncio, Mai-Lan Tomsen Bukovec, vice-presidente de tecnologia da AWS, explica para que DuckDB foi criado:
DuckDB se propôs a resolver o problema do desempenho rapidamente para os 90%+ de consultas de dados no mundo de hoje, que muitas vezes executa 1 terabyte de dados ou menos como parte de análise e painel.
Argumenta que as optimizações e o desempenho da DuckDB são particularmente relevantes nas cargas de trabalho de IA. Agentes de IA muitas vezes inspecionam dados e executam pequenas consultas exploratórias antes de decidir como eles realmente querem avançar, um padrão que torna o DuckDB naturalmente otimizado para casos de uso de IA.
A comunidade recebeu positivamente as notícias, embora com algum cepticismo. Em Reddit, adappergentlefolk escreve:
Espero que isto não diminua o ritmo de inovação que eles têm feito, mas estou feliz que eles encontraram uma maneira de tanto dinheiro em seu trabalho, mas manter a maior parte dele oss sob a fundação.
Em um artigo no blog de Werner Vogels, Andy Warfield, engenheiro distinto da AWS, compartilha mais sobre como a relação entre a AWS e DuckLabs amadureceu antes da aquisição. Ele escreve que o contato inicial aconteceu quando a equipe S3 estava trabalhando nas Tabelas S3. A colaboração evoluiu então, como explica:
Nos últimos dois anos (dar ou receber), nossas equipes têm trabalhado cada vez mais em conjunto e ampliado as áreas onde colaboramos. Nós exploramos AWS Lambda como um primitivo combinado para lançar consultas DuckDB rapidamente, e suavizamos as integrações entre DuckDB e os motores de análise de banco de dados AWS através dos comandos ATTACH e CONNECT em evolução do DuckDB.
Para Warfield, o acordo é uma oportunidade para ampliar o alcance dos co-fundadores em vez de absorver seu trabalho:
A visão de Hannes e Mark está tão alinhada com a maneira como pensamos em dados na Amazon que queríamos dar a eles a oportunidade mais ampla possível de definir a agenda não só para o DuckDB, mas para como as análises devem ser construídas e entregues na nuvem. Então, depois de muitas conversas [...], tomamos conjuntamente a decisão de ter a equipe do DuckLabs na AWS.
Após a aquisição, a Amazon Aurora PostgreSQL é o primeiro serviço a receber um recurso voltado para o usuário alimentado pela DuckDB. Esra Kayabali, principal arquiteta de soluções da AWS, explica o tipo de cargas de trabalho que o novo recurso tenta simplificar.
Anteriormente, se sua aplicação precisava combinar dados transacionais recentes em Aurora com registros históricos armazenados no Amazon S3, uma abordagem comum era construir pipelines ETL reversas que duplicassem dados, aumentassem os custos de infraestrutura e requeriam esforço de engenharia contínuo para manter tudo sincronizado.
A integração do DuckDB diretamente em Aurora PostgreSQL permite que uma única consulta combine dados operacionais ao vivo com dados históricos disponíveis em tabelas Apache Iceberg gerenciadas através do Catálogo de Dados AWS Glue, bem como dados de Parquet e Iceberg armazenados em Tabelas Amazon S3 e S3. O processamento dessas consultas permanece dentro da Amazon Aurora, sem lúpulo de rede adicional ou oleodutos ETL, minimizando configurações e recursos.
O recurso está disponível em todas as regiões comerciais e AWS GovCloud (EUA) sem custo adicional, com clientes pagando apenas para o cálculo incremental Aurora e os pedidos S3 suas consultas gerar.