O Atlas Stream Processing foi lançado em disponibilidade geral!

Clark Gates-George and Joe Niemiec

Temos o prazer de anunciar que o Atlas Stream Processing – a forma nativa do MongoDB de processar dados de streaming – agora está disponível ao público geral, permitindo que os desenvolvedores criem rapidamente aplicativos responsivos e orientados por eventos!

Nossa equipe passou os últimos dois anos definindo uma visão e criando um produto que se apoia nos pontos fortes do MongoDB para superar os desafios complexos do processamento de fluxo. Depois de uma década criando produtos de processamento de fluxo fora do MongoDB, agora estamos usando todas as características únicas do MongoDB – a Query API e o poderoso framework de agregação, o modelo de documento e sua flexibilidade de esquema – para proporcionar uma experiência fantástica para o desenvolvedor.

Escolhemos seguir uma nova abordagem para lidar com o processamento de fluxo e, com base no feedback da comunidade, essa é a maneira mais benéfica para a maioria dos desenvolvedores.

Vamos conferir as novidades.

O que há de novo na disponibilidade geral?

Graphic calling out the new features in general availability. Under the Dev Experience Improvements category, there is
  1. Prontidão para produção:
    o Atlas Stream Processing está pronto para suportar suas cargas de trabalho de produção, garantindo um processamento de fluxo confiável e dimensionável para seus aplicativos de missão crítica.

  2. Suporte a coleções de séries temporais:
    Emita resultados do processador para coleções de séries temporais. Pré-processe os dados continuamente enquanto os salva para acesso histórico posterior em um tipo de coleção do MongoDB Atlas criado explicitamente para permitir armazenamento eficiente e consulta de dados de séries temporais.

  3. Camadas de desenvolvimento e produção:
    além da camada de cluster SP30 disponível durante a prévia pública, introduzimos uma camada SP10 para fornecer flexibilidade e uma opção econômica para casos de uso exploratórios e cargas de processamento de fluxo de baixo tráfego.

  4. Suporte aprimorado ao Kafka:
    o suporte adicionado para cabeçalhos do Kafka permite que os aplicativos forneçam metadados adicionais junto com os dados do evento. Eles são úteis para vários casos de uso de processamento de fluxo (por exemplo, mensagens de roteamento, processamento condicional e muito mais).

  5. Acesso com privilégios mínimos: os usuários do Atlas Database podem conceder acesso às instâncias de processamento de fluxo e permitir o acesso somente a quem precisa.

  6. Alerta do processador de fluxo: obtenha informações e visibilidade sobre a integridade de seus processadores de fluxo criando alertas para quando ocorrer uma falha. Os métodos compatíveis para alertas incluem e-mail, SMS, plataformas de monitoramento como Datadog e outros.

Por que devo usar o Atlas Stream Processing?

O Atlas Stream Processing traz o poder e a flexibilidade do document model e da Query API do MongoDB para o desafiador espaço de processamento de fluxos. Com o Atlas Stream Processing, os desenvolvedores podem:

  • Gerenciar com facilidade estruturas de dados complexas e dinâmicas

  • Usar a já MongoDB Query API para processar dados de streaming

  • Obter uma integração perfeita com o MongoDB Atlas

  • Extrair benefícios de um serviço totalmente gerenciado que elimina a sobrecarga operacional

Destaques de clientes

Confira relatos de desenvolvedores sobre o Atlas Stream Processing:

Na Acoustic, nosso foco principal é capacitar as marcas com insights comportamentais que possibilitem a criação de experiências do cliente envolventes e personalizadas. Para isso, nossa plataforma Acoustic Connect deve ser capaz de processar e gerenciar com eficiência milhões de sinais de marketing, comportamento e cliente enquanto ocorrem. Com o Atlas Stream Processing, nossos engenheiros podem aproveitar as habilidades que já têm por trabalhar com dados no Atlas para processar novos dados continuamente, garantindo que nossos clientes tenham acesso a insights da sua clientela em tempo real.

John Riewerts, EVP de Engenharia da Acoustic

O Atlas Stream Processing nos permite processar, validar e transformar dados antes de enviá-los para nossa arquitetura de mensagens no AWS, fornecendo atualizações orientadas por eventos em toda a plataforma. A confiabilidade e o desempenho do Atlas Stream Processing aumentaram nossa produtividade, melhoraram a experiência do desenvolvedor e reduziram os custos de infraestrutura.

Cody Perry, engenheiro de software da Meltwater

Quais serão as próximas novidades do Atlas Stream Processing?

Graphic calling out some of the things that are ahead for Atlas Stream Processing, including more regions, advanced networking, additional sources & sinks, and richer metrics & observability

Estamos introduzindo novos recursos e funcionalidades para garantir que o MongoDB ofereça uma experiência de processamento de fluxo de alto nível para todas as equipes de desenvolvimento. Nos próximos meses, pretendemos lançar:

  1. Suporte avançado de rede:
    suporte para VPC peering para clusters do Kafka para equipes que precisem de mais recursos de rede.

  2. Suporte ampliado a regiões de nuvem:
    suporte a todas as regiões de nuvem disponíveis no Atlas Data Federation.

  3. Suporte expandido a provedores de nuvem:
    suporte para Microsoft Azure.

  4. Suporte expandido a fontes e coletores de dados:
    ainda não podemos divulgar detalhes sobre as novas fontes e coletores de dados, mas temos planos de expandir além dos bancos de dados Kafka e Atlas nos próximos meses. Entre em contato para nos informar de quais fontes e coletadores você precisa. Vamos considerar seus comentários no nosso planejamento.

  5. Métricas mais ricas e observabilidade:
    suporte para maior visibilidade dos processadores de fluxo para ajudar a simplificar o monitoramento e a solução de problemas.

  6. Flexibilidade de implantação com o Terraform:
    suporte para gerenciar instâncias do Atlas Stream Processing e conexões de registro do Atlas Stream com o Terraform. Essa integração ajuda a habilitar um pipeline de CI/CD contínuo, aumentando a eficiência operacional com a infraestrutura como código. Além disso, vamos fazer em breve um post sobre como começar a usar o Atlas Stream Processing e o Terraform. Aguarde!

Caso você tenha interesse em processar dados de sensores de alta velocidade, analisar continuamente os dados dos clientes para oferecer experiências personalizadas ou realizar manutenção preditiva para aumentar as receitas e reduzir os custos, o Atlas Stream Processing é a solução perfeita. Junte-se às centenas de equipes de desenvolvimento que já desenvolvem com o Atlas Stream Processing. Vamos divulgar mais novidades em breve. Boa sorte nas suas criações!

Faça login agora mesmo ou confira nosso tutorial de introdução para começar.