A Amazon Web Services está tornando possível acessar dados armazenados em seu serviço de armazenamento em nuvem S3 como um sistema de arquivos tradicional, eliminando a divisão entre dois tipos de armazenamento que frustrou desenvolvedores e cientistas de dados por quase duas décadas.
A nova capacidade, chamada Arquivos Amazon S3permite que aplicativos em execução na AWS acessem um bucket de armazenamento S3 como se fosse um sistema de arquivos local, lendo e gravando dados usando operações de arquivo padrão em vez de comandos especializados de armazenamento em nuvem.
Na prática, isso significa que uma equipe de aprendizado de máquina pode executar um trabalho de treinamento diretamente nos dados do S3, sem primeiro copiá-los para um sistema de arquivos separado. Ou, talvez o mais importante hoje em dia, um agente de IA pode ler e gravar arquivos no S3 usando as mesmas ferramentas básicas que usaria em um disco rígido local.
O S3, lançado há 20 anos, contém uma enorme quantidade de dados em nuvem do mundo. O S3 Files promete abrir a porta para uma gama muito mais ampla de aplicativos e sistemas de IA trabalharem diretamente com esses dados.
A história de fundo: Em um ensaio extraordinariamente sincero coincidindo com a notícia, Andy Warfieldvice-presidente e engenheiro renomado que lidera a engenharia S3 na AWS, descreveu os desafios técnicos e filosóficos de fazer o recurso funcionar e por que a primeira abordagem falhou.
A questão central, escreveu Warfield, é que arquivos e objetos são fundamentalmente diferentes.
Os arquivos podem ser editados no local e compartilhados entre aplicativos em tempo real, funcionando da maneira que a maioria dos softwares sempre esperou. Os objetos no S3 funcionam de maneira diferente: eles são projetados para serem armazenados e recuperados como unidades completas, e milhões de aplicações são construídas em torno dessa suposição.
Então, eles “fizeram a única coisa sensata que você pode fazer quando se depara com um problema de projeto técnico realmente difícil: trancamos um grupo de nossos engenheiros mais experientes em uma sala e não os deixamos sair até que tivessem um plano que todos gostassem”, escreveu Warfield.
“Seguiram-se discussões apaixonadas e controversas”, disse ele. “E então finalmente desistimos.”
Mas, no final das contas, a equipe encontrou a resposta ao não tentar mais esconder a fronteira entre arquivos e objetos e, em vez disso, torná-la uma parte deliberada do design.
A abordagem: O S3 Files usa um modelo de “preparação e confirmação”, pegando emprestado o conceito de sistemas de controle de versão como o Git: as alterações se acumulam no lado do sistema de arquivos e são enviadas de volta para o S3 como objetos inteiros, preservando as garantias das quais os aplicativos S3 existentes dependem.
Google e Microsoft oferecem suas próprias ferramentas para acessar o armazenamento de objetos em nuvem por meio de interfaces de sistema de arquivos, mas a AWS está posicionando o S3 Files como uma integração mais profunda, apoiada por um sistema de arquivos totalmente gerenciado, em vez de um simples adaptador.
O S3 Files está disponível hoje em regiões da AWS em todo o mundo, baseado no Elastic File System da Amazon. A empresa diz que está em testes com clientes há cerca de nove meses.
