Joe Niemiec

16 results

Atlas Stream Processing is Now Generally Available!

We're thrilled to announce that Atlas Stream Processing —the MongoDB-native way to process streaming data—is now generally available, empowering developers to quickly build responsive, event-driven applications! Our team spent the last two years defining a vision and building a product that leans into MongoDB’s strengths to overcome the hard challenges in stream processing. After a decade of building stream processing products outside of MongoDB, we are using everything that makes MongoDB unique and differentiated—the Query API and powerful aggregation framework, as well as the document model and its schema flexibility—to create an awesome developer experience. It’s a new approach to stream processing, and based on the feedback of so many of you in our community, it’s the best way for most developers using MongoDB to do it. Let’s get into what’s new. This post is also available in: Deutsch , Français , Español , Português , Italiano , 한국어 , 简体中文 . What's new in general availability? Production Readiness Ready to support your production workloads, ensuring reliable and scalable stream processing for your mission-critical applications. Time Series Collection Support Emit processor results into Time Series Collections . Pre-process data continuously while saving it for historical access later in a collection type available in MongoDB Atlas built to efficiently store and query time series data. Development and Production Tiers Besides the SP30 cluster tier available during the public preview, we’re introducing an SP10 tier to provide flexibility and a cost-effective option for exploratory use cases and low-traffic stream processing workloads. Improved Kafka Support Added support for Kafka headers allows applications to provide additional metadata alongside event data. They are helpful for various stream processing use cases (e.g., routing messages, conditional processing, and more). Least Privilege Access Atlas Database Users can grant access to Stream Processing Instances and enable access to only those who need it. Read our tutorial for more information. Stream Processor Alerting Gain insight and visibility into the health of your stream processors by creating alerts for when a failure occurs. Supported methods for alerting include email, SMS, monitoring platforms like Datadog, and more . Why Atlas Stream Processing? Atlas Stream Processing brings the power and flexibility of MongoDB's document model and Query API to the challenging stream processing space. With Atlas Stream Processing, developers can: Effortlessly handle complex and rapidly changing data structures Use the familiar MongoDB Query API for processing streaming data Seamlessly integrate with MongoDB Atlas Benefit from a fully managed service that eliminates operational overhead Customer highlights Read what developers are saying about Atlas Stream Processing: At Acoustic, our key focus is to empower brands with behavioral insights that enable them to create engaging, personalized customer experiences. To do so, our Acoustic Connect platform must be able to efficiently process and manage millions of marketing, behavioral, and customer signals as they occur. With Atlas Stream Processing, our engineers can leverage the skills they already have from working with data in Atlas to process new data continuously, ensuring our customers have access to real-time customer insights. John Riewerts, EVP, Engineering at Acoustic Atlas Stream Processing enables us to process, validate, and transform data before sending it to our messaging architecture in AWS powering event-driven updates throughout our platform. The reliability and performance of Atlas Stream Processing has increased our productivity, improved developer experience, and reduced infrastructure cost. Cody Perry, Software Engineer, Meltwater What's ahead for Atlas Stream Processing? We’re rapidly introducing new features and functionality to ensure MongoDB delivers a world-class stream processing experience for all development teams. Over the next few months, you can expect to see: Advanced Networking Support Support for VPC Peering to Kafka Clusters for teams requiring additional networking capabilities Expanded Cloud Region Support Support for all cloud regions available in Atlas Data Federation Expanded Cloud Provider Support Support for Microsoft Azure Expanded Data Source and Sink Support We have plans to expand beyond Kafka and Atlas databases in the coming months. Let us know which sources and sinks you need, and we will factor that into our planning Richer Metrics & Observability Support for expanded visibility into your stream processors to help simplify monitoring and troubleshooting Expanded Deployment Flexibility Support for deploying stream processors with Terraform. This integration will help to enable a seamless CI/CD pipeline, enhancing operational efficiency with infrastructure as code. Look out for a dedicated blog in the near future on how to get started with Atlas Stream Processing and Terraform. So whether you're looking to process high-velocity sensor data, continuously analyze customer data to deliver personalized experiences, or perform predictive maintenance to increase yields and reduce costs, Atlas Stream Processing has you covered. Join the hundreds of development teams already building with Atlas Stream Processing. Stay tuned to hear more from us soon, and good luck building! Login today or check out our introductory tutorial to get started.

May 2, 2024

Atlas Stream Processing ist jetzt allgemein verfügbar!

Wir freuen uns, ankündigen zu können, dass Atlas Stream Processing  – die MongoDB-native Methode zur Verarbeitung von Streaming-Daten – jetzt allgemein verfügbar ist und es Entwicklern ermöglicht, schnell reaktionsfähige, ereignisgesteuerte Anwendungen zu erstellen! Unser Team hat die letzten zwei Jahre damit verbracht, eine Vision zu definieren und ein Produkt zu entwickeln, das sich auf die Stärken von MongoDB stützt, um die schwierigen Herausforderungen bei der Stream-Verarbeitung zu meistern. Nach einem Jahrzehnt der Entwicklung von Stream-Processing-Produkten außerhalb von MongoDB nutzen wir alles, was MongoDB einzigartig macht – die Query-API und das leistungsstarke Aggregations-Framework sowie das Dokumentenmodell und seine Schema-Flexibilität –, um ein großartiges Entwicklererlebnis zu schaffen. Das ist ein neuer Ansatz für die Stream-Verarbeitung, und basierend auf dem Feedback so vieler von Ihnen in unserer Community ist es für die meisten Entwickler die optimale Lösung. Kommen wir zu den Neuerungen. Was gibt es Neues bei der allgemeinen Verfügbarkeit? Bereit für die Produktion: Bereit zur Unterstützung Ihrer Produktions-Workloads, um eine zuverlässige und skalierbare Stream-Verarbeitung für Ihre unternehmenskritischen Anwendungen zu gewährleisten. Unterstützung für Time Series Collections: Ausgabe von Prozessorergebnissen in Time Series Collections . Verarbeiten Sie Daten kontinuierlich vor, während Sie sie für einen späteren historischen Zugriff in einem Sammlungstyp speichern, der in MongoDB Atlas explizit für die effiziente Speicherung und Abfrage von Time Series Data entwickelt wurde. Entwicklungs- und Produktions-Tiers: Neben dem SP30-Cluster-Tier, das während der öffentlichen Vorschau verfügbar ist, führen wir ein SP10-Tier ein, um Flexibilität und eine kostengünstige Option für explorative Anwendungsfälle und Stream Processing Workloads mit geringem Datenverkehr zu bieten. Verbesserte Unterstützung für Kafka: Die hinzugefügte Unterstützung für Kafka-Header ermöglicht es Anwendungen, neben den Ereignisdaten zusätzliche Metadaten bereitzustellen. Sie sind hilfreich für verschiedene Anwendungsfälle der Stream-Verarbeitung (z. B. Weiterleitung von Nachrichten, bedingte Verarbeitung und mehr). Zugriff mit geringsten Privilegien: Atlas-Datenbankbenutzer können den Zugriff auf Stream Processing Instances gewähren und den Zugriff nur denjenigen ermöglichen, die ihn benötigen. Stream Processor Alerting: Verschaffen Sie sich einen Überblick über den Zustand Ihrer Stream-Prozessoren, indem Sie für den Fall eines Ausfalls Warnmeldungen erstellen. Zu den unterstützten Methoden für Benachrichtigungen gehören E-Mail, SMS, Überwachungsplattformen wie Datadog und mehr . Warum Atlas Stream Processing? Atlas Stream Processing bringt die Leistungsfähigkeit und Flexibilität des Dokumentmodells und der Abfrage-API von MongoDB in den anspruchsvollen Bereich des Stream Processing. Mit Atlas Stream Processing können Entwickler: mühelos mit komplexen und sich schnell ändernden Datenstrukturen umgehen die vertraute MongoDB Query API für die Verarbeitung von Streaming-Daten verwenden sich nahtlos mit MongoDB Atlas integrieren von einem vollständig verwalteten Service profitieren, der den operativen Overhead eliminiert Kunden-Highlights Lesen Sie, was Entwickler über Atlas Stream Processing sagen: Bei Acoustic liegt unser Hauptaugenmerk darauf, Marken mit Behavioral Insights zu versorgen, die es ihnen ermöglichen, ansprechende, personalisierte Kundenerfahrungen zu schaffen. Dazu muss unsere Acoustic Connect-Plattform in der Lage sein, Millionen von Marketing-, Verhaltens- und Kundensignalen effizient zu verarbeiten und zu verwalten, sobald diese erscheinen. Mit Atlas Stream Processing können unsere Ingenieure die Funktionen, die sie bereits aus der Arbeit mit Daten in Atlas kennen, dazu nutzen, neue Daten kontinuierlich zu verarbeiten und so sicherzustellen, dass unsere Kunden Zugang zu Kundeneinblicken in Echtzeit haben. John Riewerts, EVP, Engineering bei Acoustic Atlas Stream Processing ermöglicht es uns, Daten zu verarbeiten, zu validieren und zu transformieren, bevor wir sie an unsere Messaging-Architektur in AWS senden, wodurch ereignisgesteuerte Updates auf unserer gesamten Plattform ermöglicht werden. Die Zuverlässigkeit und Leistung von Atlas Stream Processing hat unsere Produktivität gesteigert, die Entwicklererfahrung verbessert und die Infrastrukturkosten gesenkt. Cody Perry, Software Engineer, Meltwater Wie geht es weiter mit Atlas Stream Processing? Wir führen schnell neue Features und Funktionen ein, um sicherzustellen, dass MongoDB allen Entwicklungsteams eine erstklassige Stream Processing Experience bietet. In den nächsten Monaten können Sie Folgendes erwarten: Erweiterte Netzwerkunterstützung: Unterstützung für VPC-Peering zu Kafka-Clustern für Teams, die zusätzliche Netzwerkfunktionen benötigen Erweiterte Unterstützung von Cloud-Regionen: Unterstützung für alle in Atlas Data Federation verfügbaren Cloud-Regionen Erweiterte Unterstützung für Cloud-Anbieter: Unterstützung für Microsoft Azure Erweiterte Unterstützung von Datenquellen und Datensenken: Wir geben noch keine Einzelheiten über zusätzliche Quellen und Senken bekannt, aber wir haben Pläne, in den kommenden Monaten über Kafka und Atlas-Datenbanken hinauszugehen. Teilen Sie uns mit , welche Quellen und Senken Sie benötigen, und wir werden dies bei unserer Planung berücksichtigen Reichhaltigere Metriken und Beobachtungsmöglichkeiten: Unterstützung für einen erweiterten Einblick in Ihre Stream-Prozessoren, um die Überwachung und Fehlerbehebung zu vereinfachen Flexibilität bei der Bereitstellung mit HashiCorp Terraform: Unterstützung für die Verwaltung von Atlas Stream Processing Instanzen und Atlas Stream Registry-Verbindungen mit Terraform. Diese Integration ermöglicht eine nahtlose CI/CD-Pipeline und verbessert die betriebliche Effizienz mit Infrastructure as Code. Halten Sie außerdem in naher Zukunft Ausschau nach einem speziellen Blog über die ersten Schritte mit Atlas Stream Processing und Terraform. Ganz gleich, ob Sie Sensordaten mit hoher Geschwindigkeit verarbeiten, Kundendaten kontinuierlich analysieren, um ein personalisiertes Erlebnis zu bieten, oder eine vorausschauende Wartung durchführen möchten, um die Erträge zu steigern und die Kosten zu senken – Atlas Stream Processing hat alles für Sie. Schließen Sie sich den Hunderten von Entwicklungsteams an, die bereits mit Atlas Stream Processing arbeiten. Bleiben Sie dran, um bald mehr von uns zu hören. Wir wünschen Ihnen viel Erfolg bei der Entwicklung! Melden Sie sich noch heute an oder sehen Sie sich unser Einführungs-Tutorial an, um loszulegen.

May 2, 2024

Atlas Stream Processing è ora disponibile!

Siamo entusiasti di annunciare che Atlas Stream Processing , il metodo nativo di MongoDB per elaborare i dati in streaming, è ora disponibile a livello generale, consentendo agli sviluppatori di creare rapidamente applicazioni reattive e basate sugli eventi. Il nostro team ha dedicato gli ultimi due anni a definire una visione e a creare un prodotto che si basi sui punti di forza di MongoDB per superare le difficili sfide dello stream processing. Dopo un decennio di creazione di prodotti di stream processing al di fuori di MongoDB, stiamo utilizzando tutto ciò che rende MongoDB unico e differenziato, ovvero l'API query e il potente framework di aggregazione, nonché il document model e la flessibilità dello schema, per creare un'esperienza straordinaria per gli sviluppatori. È un nuovo approccio allo stream processing e, in base al feedback di molti dei membri della nostra community, è il modo migliore per farlo per la maggior parte degli sviluppatori. Diamo un'occhiata alle novità. Novità generalmente disponibili Prontezza per la produzione: pronto a supportare i carichi di lavoro di produzione, garantendo uno stream processing affidabile e scalabile per applicazioni mission-critical. Supporto per le collection di Time Series: emetti i risultati del processore nelle collection di Time Series . Pre-elabora i dati in modo continuo salvandoli per l'accesso cronologico in un secondo momento in un tipo di collection disponibile in MongoDB Atlas creato appositamente per archiviare in modo efficiente ed eseguire query sui dati delle time-series. Livelli di sviluppo e produzione: oltre al livello cluster SP30 disponibile durante la public preview, stiamo introducendo un livello SP10 per offrire flessibilità e un'opzione conveniente per casi d'uso esplorativi e carichi di lavoro di Atlas Stream Processing a basso traffico. Supporto Kafka migliorato: il supporto aggiunto per le intestazioni Kafka consente alle applicazioni di fornire metadati aggiuntivi insieme ai dati degli eventi. Sono utili per diversi casi d'uso di stream processing (ad esempio, instradamento di messaggi, elaborazione condizionale e altro). Accesso con privilegio minimo: gli utenti del database Atlas possono concedere l'accesso alle istanze di stream processing e abilitare l'accesso solo a chi ne ha bisogno. Avvisi del processore dello stream: ottieni insight e visibilità sull'integrità dei processori di stream creando avvisi per quando si verifica un errore. I metodi supportati per gli avvisi includono e-mail, SMS, piattaforme di monitoraggio come Datadog e altro ancora . Perché Atlas Stream Processing? Atlas Stream Processing porta la potenza e la flessibilità del modello di documenti e dell' API Query di MongoDB nell'impegnativo spazio di stream processing. Con Atlas Stream Processing, gli sviluppatori possono: Gestire facilmente strutture di dati complesse e in rapida evoluzione Utilizzare la familiare MongoDB Query API per elaborare i dati in streaming Si integra perfettamente con MongoDB Atlas Approfitta di un servizio completamente gestito che elimina i costi generali Punti salienti per il cliente Leggi cosa dicono gli sviluppatori di Atlas Stream Processing: In Acoustic, il nostro obiettivo principale è fornire ai marchi insight comportamentali che consentano loro di creare esperienze del cliente coinvolgenti e personalizzate. A tal fine, la nostra piattaforma Acoustic Connect deve essere in grado di elaborare e gestire in modo efficiente milioni di segnali di marketing, comportamentali e dei clienti nel momento in cui si verificano. Con Atlas Stream Processing, i nostri ingegneri possono sfruttare le competenze che hanno già maturato lavorando con i dati in Atlas per elaborare continuamente nuovi dati, garantendo ai nostri clienti l'accesso a insight sui consumatori in tempo reale. John Riewerts, EVP, Engineering di Acoustic Atlas Stream Processing ci consente di elaborare, convalidare e trasformare i dati prima di inviarli alla nostra architettura di messaggistica in AWS, alimentando aggiornamenti basati sugli eventi in tutta la nostra piattaforma. L'affidabilità e le prestazioni di Atlas Stream Processing hanno aumentato la nostra produttività, migliorato l'esperienza degli sviluppatori e ridotto i costi dell'infrastruttura. Cody Perry, Ingegnere software, Meltwater Cosa riserva il futuro per Atlas Stream Processing? Stiamo introducendo rapidamente nuove caratteristiche e funzionalità per garantire che MongoDB offra un'esperienza di stream processing di livello mondiale per tutti i team di sviluppo. Ecco le novità previste nei prossimi mesi: Supporto di rete avanzato: supporto per VPC Peering su cluster Kafka per i team che richiedono ulteriori funzionalità di rete Supporto ampliato per le regioni cloud: supporto per tutte le regioni cloud disponibili in Atlas Data Federation Supporto esteso per i provider cloud: supporto per Microsoft Azure Supporto esteso per origini dati e sink: non stiamo ancora annunciando dettagli su origini e sink aggiuntivi, ma abbiamo in programma di espanderci oltre i database Kafka e Atlas nei prossimi mesi. Comunicaci quali fonti e sink sono necessari e li terremo in considerazione nella nostra pianificazione Parametri e osservabilità più ricchi: supporto per una maggiore visibilità negli stream processor per semplificare il monitoraggio e la risoluzione dei problemi Flessibilità di implementazione con Terraform: supporto per la gestione delle istanze di Atlas Stream Processing e delle connessioni Atlas Stream Registry con Terraform. Questa integrazione consente di abilitare una pipeline CI/CD senza soluzione di continuità, migliorando l'efficienza operativa con l'infrastruttura come codice. Inoltre, nel prossimo futuro troverai un blog dedicato su come iniziare con Atlas Stream Processing e Terraform. Quindi, se vuoi elaborare dati provenienti da sensori ad alta velocità, analizzare costantemente i dati dei clienti per offrire esperienze personalizzate o eseguire manutenzione predittiva per aumentare i rendimenti e ridurre i costi, Atlas Stream Processing è la soluzione che fa per te. Unisciti alle centinaia di team di sviluppo che già creano con Atlas Stream Processing. Continua a seguirci per scoprire di più a breve e buon sviluppo. Accedi subito o dai un'occhiata al nostro tutorial introduttivo per iniziare.

May 2, 2024

Atlas Stream Processing 现已正式发布！

我们非常高兴地宣布， Atlas Stream Processing — MongoDB 处理流媒体数据的原生方式 — 现已全面发布，使开发者能够快速构建响应式、事件驱动型应用程序！ 我们的团队在过去两年中确定了愿景，并利用 MongoDB 的优势打造了一款产品，以克服流处理方面的艰巨挑战。在 MongoDB 之外构建流处理产品十年后，我们正在利用 MongoDB 独特和与众不同的一切优势 — 查询 API 和强大的聚合框架，以及文档模型及其模式灵活性 — 来创造出色的开发者体验。 这是一种全新的流处理方法，根据我们社区中许多人的反馈，对大多数开发者来说，这是最好的方法。 让我们来看看有什么新变化。 正式发布中有哪些新增功能？ 生产就绪： 可随时支持您的生产工作负载，确保为您的关键任务应用程序提供可靠、可扩展的流处理。 时间序列集合支持： 将处理器结果发送到 时间序列集合 中。使用 MongoDB Atlas 中专门构建的集合类型连续预处理数据，同时将其保存以供后续访问历史数据，该集合类型专门用于高效地存储和查询时间序列数据。 开发和生产层级： 除了在公开预览期间提供的 SP30 集群层，我们还推出了 SP10 层，为探索性用例和低流量流处理工作负载提供灵活性和经济高效的选择。 改进的 Kafka 支持： 新增的 Kafka 标头支持允许应用程序在提供事件数据的同时提供附加元数据。它们对各种流处理使用案例（如路由信息、条件处理等）很有帮助。 最低权限访问： Atlas 数据库用户可授予流处理实例访问权限，并仅向有需要的人开放访问权限。 流处理器警报： 通过在发生故障时创建警报，深入了解和掌握流处理器的健康状况。支持的警报方法包括电子邮件、短信、Datadog 等监控平台等。 为什么选择 Atlas Stream Processing？ Atlas Stream Processing 为具有挑战性的流处理领域带来了强大、灵活的 MongoDB 文档模型和 查询 API 。借助 Atlas Stream Processing，开发者可以： 轻松处理复杂且快速变化的数据结构 使用熟悉的 MongoDB Query API 处理流媒体数据 与 MongoDB Atlas 无缝集成 受益于消除运营开销的全面托管服务 客户亮点 阅读开发人员对 Atlas Stream Processing 的评价： Acoustic 的重点是通过行为见解为品牌赋能，使其能够创造卓越的个性化客户体验。为此，我们的 Acoustic Connect 平台必须能够高效处理和管理数以百万计的营销、行为和客户信号。通过 Atlas Stream Processing，我们的工程师就可以利用他们在 Atlas 中处理数据时已经掌握的技能来持续处理新数据，确保我们的客户能够获得实时的客户见解。 Acoustic 工程执行副总裁 John Riewerts Atlas Stream Processing 让我们能够处理、验证和转换数据，再将数据发送到 AWS 中的消息传递架构，在整个平台上支持事件驱动的更新。Atlas Stream Processing 的可靠性和性能提高了我们的工作效率，改善了开发者体验，并降低了基础架构成本。 Meltwater 软件工程师 Cody Perry Atlas Stream Processing 的前景如何？ 我们正在快速推出新特性和功能，以确保 MongoDB 为所有开发团队提供世界一流的流处理体验。在接下来的几个月里，您将看到： 高级网络支持： 支持 VPC 对等互连到 Kafka 集群，适用于需要额外联网功能的团队 扩展云区域支持： 支持 Atlas Data Federation 中所有可用的 云区 域 扩展云提供商支持： 支持 Microsoft Azure 扩展数据源和接收器支持： 我们还没有宣布其他数据源和数据宿的具体细节，但我们计划在未来几个月内扩展到 Kafka 和 Atlas 数据库之外。 让我们知道 您需要哪些源和接收器，我们会将其纳入规划 更丰富的指标和可观察性： 支持扩展流处理器的可视性，帮助简化监控和故障排除工作 借助 HashiCorp Terraform 实现部署灵活性： 支持使用 Terraform 管理 Atlas Stream Processing 实例和 Atlas Stream Registry 连接。这种集成有助于实现无缝的 CI/CD 管道，通过基础架构即代码提高运营效率。此外，在不久的将来，请留意关于如何开始使用 Atlas Stream Processing 和 Terraform 的专门博客。 因此，无论您是要处理高速传感器数据、持续分析客户数据以提供个性化体验，还是要执行预测性维护以提高产量和降低成本，Atlas Stream Processing 都能满足您的需求。加入已经使用 Atlas Stream Processing 进行构建的数百个开发团队。敬请期待我们的后续消息，祝您工作顺利！ 立即登录 或查看我们的 入门教程 以开始使用。

May 2, 2024

O Atlas Stream Processing foi lançado em disponibilidade geral!

Temos o prazer de anunciar que o Atlas Stream Processing – a forma nativa do MongoDB de processar dados de streaming – agora está disponível ao público geral, permitindo que os desenvolvedores criem rapidamente aplicativos responsivos e orientados por eventos! Nossa equipe passou os últimos dois anos definindo uma visão e criando um produto que se apoia nos pontos fortes do MongoDB para superar os desafios complexos do processamento de fluxo. Depois de uma década criando produtos de processamento de fluxo fora do MongoDB, agora estamos usando todas as características únicas do MongoDB – a Query API e o poderoso framework de agregação, o modelo de documento e sua flexibilidade de esquema – para proporcionar uma experiência fantástica para o desenvolvedor. Escolhemos seguir uma nova abordagem para lidar com o processamento de fluxo e, com base no feedback da comunidade, essa é a maneira mais benéfica para a maioria dos desenvolvedores. Vamos conferir as novidades. O que há de novo na disponibilidade geral? Prontidão para produção: o Atlas Stream Processing está pronto para suportar suas cargas de trabalho de produção, garantindo um processamento de fluxo confiável e dimensionável para seus aplicativos de missão crítica. Suporte a coleções de séries temporais: Emita resultados do processador para coleções de séries temporais . Pré-processe os dados continuamente enquanto os salva para acesso histórico posterior em um tipo de coleção do MongoDB Atlas criado explicitamente para permitir armazenamento eficiente e consulta de dados de séries temporais. Camadas de desenvolvimento e produção: além da camada de cluster SP30 disponível durante a prévia pública, introduzimos uma camada SP10 para fornecer flexibilidade e uma opção econômica para casos de uso exploratórios e cargas de processamento de fluxo de baixo tráfego. Suporte aprimorado ao Kafka: o suporte adicionado para cabeçalhos do Kafka permite que os aplicativos forneçam metadados adicionais junto com os dados do evento. Eles são úteis para vários casos de uso de processamento de fluxo (por exemplo, mensagens de roteamento, processamento condicional e muito mais). Acesso com privilégios mínimos: os usuários do Atlas Database podem conceder acesso às instâncias de processamento de fluxo e permitir o acesso somente a quem precisa. Alerta do processador de fluxo: obtenha informações e visibilidade sobre a integridade de seus processadores de fluxo criando alertas para quando ocorrer uma falha. Os métodos compatíveis para alertas incluem e-mail, SMS, plataformas de monitoramento como Datadog e outros . Por que devo usar o Atlas Stream Processing? O Atlas Stream Processing traz o poder e a flexibilidade do document model e da Query API do MongoDB para o desafiador espaço de processamento de fluxos. Com o Atlas Stream Processing, os desenvolvedores podem: Gerenciar com facilidade estruturas de dados complexas e dinâmicas Usar a já MongoDB Query API para processar dados de streaming Obter uma integração perfeita com o MongoDB Atlas Extrair benefícios de um serviço totalmente gerenciado que elimina a sobrecarga operacional Destaques de clientes Confira relatos de desenvolvedores sobre o Atlas Stream Processing: Na Acoustic, nosso foco principal é capacitar as marcas com insights comportamentais que possibilitem a criação de experiências do cliente envolventes e personalizadas. Para isso, nossa plataforma Acoustic Connect deve ser capaz de processar e gerenciar com eficiência milhões de sinais de marketing, comportamento e cliente enquanto ocorrem. Com o Atlas Stream Processing, nossos engenheiros podem aproveitar as habilidades que já têm por trabalhar com dados no Atlas para processar novos dados continuamente, garantindo que nossos clientes tenham acesso a insights da sua clientela em tempo real. John Riewerts, EVP de Engenharia da Acoustic O Atlas Stream Processing nos permite processar, validar e transformar dados antes de enviá-los para nossa arquitetura de mensagens no AWS, fornecendo atualizações orientadas por eventos em toda a plataforma. A confiabilidade e o desempenho do Atlas Stream Processing aumentaram nossa produtividade, melhoraram a experiência do desenvolvedor e reduziram os custos de infraestrutura. Cody Perry, engenheiro de software da Meltwater Quais serão as próximas novidades do Atlas Stream Processing? Estamos introduzindo novos recursos e funcionalidades para garantir que o MongoDB ofereça uma experiência de processamento de fluxo de alto nível para todas as equipes de desenvolvimento. Nos próximos meses, pretendemos lançar: Suporte avançado de rede: suporte para VPC peering para clusters do Kafka para equipes que precisem de mais recursos de rede. Suporte ampliado a regiões de nuvem: suporte a todas as regiões de nuvem disponíveis no Atlas Data Federation . Suporte expandido a provedores de nuvem: suporte para Microsoft Azure. Suporte expandido a fontes e coletores de dados: ainda não podemos divulgar detalhes sobre as novas fontes e coletores de dados, mas temos planos de expandir além dos bancos de dados Kafka e Atlas nos próximos meses. Entre em contato para nos informar de quais fontes e coletadores você precisa. Vamos considerar seus comentários no nosso planejamento. Métricas mais ricas e observabilidade: suporte para maior visibilidade dos processadores de fluxo para ajudar a simplificar o monitoramento e a solução de problemas. Flexibilidade de implantação com o Terraform: suporte para gerenciar instâncias do Atlas Stream Processing e conexões de registro do Atlas Stream com o Terraform. Essa integração ajuda a habilitar um pipeline de CI/CD contínuo, aumentando a eficiência operacional com a infraestrutura como código. Além disso, vamos fazer em breve um post sobre como começar a usar o Atlas Stream Processing e o Terraform. Aguarde! Caso você tenha interesse em processar dados de sensores de alta velocidade, analisar continuamente os dados dos clientes para oferecer experiências personalizadas ou realizar manutenção preditiva para aumentar as receitas e reduzir os custos, o Atlas Stream Processing é a solução perfeita. Junte-se às centenas de equipes de desenvolvimento que já desenvolvem com o Atlas Stream Processing. Vamos divulgar mais novidades em breve. Boa sorte nas suas criações! Faça login agora mesmo ou confira nosso tutorial de introdução para começar.

May 2, 2024

Atlas Stream Processing est désormais disponible !

Nous sommes ravis d’annoncer qu’ Atlas Stream Processing , la méthode native MongoDB pour traiter les données de streaming, est désormais disponible, permettant aux développeurs de créer rapidement des applications réactives et pilotées par les événements ! Notre équipe a passé les deux dernières années à définir une vision et à créer un produit qui s’appuie sur les atouts de MongoDB pour surmonter les défis difficiles du traitement de la diffusion. Après une décennie passée à créer des produits de traitement de diffusion en dehors de MongoDB, nous utilisons tout ce qui rend MongoDB unique et différencié (la Query API et un puissant framework d’agrégation, ainsi que le document model et sa flexibilité de schéma) pour créer une expérience de développement exceptionnelle. Il s’agit d’une nouvelle approche du traitement de la diffusion, et d’après les commentaires de nombreux membres de notre communauté, c’est la meilleure méthode pour la plupart des développeurs. Passons aux nouveautés. Quoi de neuf avec la disponibilité générale ? Préparation à la production : prêt à prendre en charge vos charges de travail de production, garantissant un traitement de diffusion fiable et évolutif pour vos applications critiques. Prise en charge des collections de time-series : émettez les résultats du processeur dans les collections de séries temporelles . Prétraitez les données en continu tout en les sauvegardant pour un accès historique ultérieur dans un type de collection disponible dans MongoDB Atlas et spécialement conçu pour stocker et interroger efficacement les données de time-series. Niveaux de développement et de production : outre le niveau de cluster SP30 disponible lors de l’aperçu public, nous introduisons un niveau SP10 pour offrir une flexibilité et une option rentable pour les cas d’utilisation exploratoires et les charges de travail de traitement de diffusion à faible trafic. Prise en charge Kafka améliorée : la prise en charge supplémentaire des en-têtes Kafka permet aux applications de fournir des métadonnées supplémentaires aux côtés des données d’événement. Ils sont utiles pour divers cas d’utilisation de traitement de diffusion (par exemple, le routage des messages, le traitement conditionnel, etc.). Accès au moindre privilège : les utilisateurs de la base de données Atlas peuvent accorder l’accès aux instances de traitement de diffusion et n’autoriser l’accès qu’à ceux qui en ont besoin. Alertes des processeurs de diffusion : obtenez des informations et une visibilité sur l’état de santé de vos processeurs de diffusion en créant des alertes en cas de panne. Les méthodes d’alerte prises en charge incluent le courrier électronique, les SMS, les plateformes de surveillance telles que Datadog, etc . Pourquoi Atlas Stream Processing ? Atlas Stream Processing apporte la puissance et la flexibilité du document model et de la Query API de MongoDB dans le monde complexe du traitement de la diffusion. Avec Atlas Stream Processing, les développeurs peuvent : Gérer sans effort des structures de données complexes et en évolution rapide Utiliser la MongoDB Query API pour traiter les données en streaming S’intégrer de manière transparente avec MongoDB Atlas Bénéficier d’un service entièrement géré qui élimine les frais opérationnels Témoignages des clients Lisez ce que les développeurs disent à propos d’Atlas Stream Processing : Chez Acoustic, notre objectif principal est de fournir aux marques des informations comportementales qui leur permettent de créer des expériences client attrayantes et personnalisées. Pour ce faire, notre plateforme Acoustic Connect doit être capable de traiter et de gérer efficacement des millions de signaux marketing, comportementaux et clients au fur et à mesure qu’ils se produisent. Avec Atlas Stream Processing, nos ingénieurs peuvent tirer parti des compétences déjà acquises en travaillant avec des données dans Atlas pour traiter de nouvelles données en continu, garantissant ainsi à nos clients un accès à des informations client en temps réel. John Riewerts, vice-président exécutif de l’ingénierie chez Acoustic Atlas Stream Processing nous permet de traiter, valider et transformer les données avant de les envoyer à notre architecture de messagerie dans AWS, alimentant les mises à jour basées sur les événements sur l’ensemble de notre plateforme. La fiabilité et les performances d’Atlas Stream Processing ont permis d’accroître notre productivité, d’améliorer l’expérience des développeurs et de réduire les coûts d’infrastructure. Cody Perry, Ingénieur logiciel, Meltwater Quelle est la suite pour Atlas Stream Processing ? Nous introduisons rapidement de nouvelles fonctionnalités pour garantir que MongoDB offre une expérience de traitement de diffusion de classe mondiale à toutes les équipes de développement. Au cours des prochains mois, vous pouvez vous attendre à profiter des éléments suivants : Prise en charge réseau avancée : prise en charge du peering VPC vers les clusters Kafka pour les équipes nécessitant des capacités réseau supplémentaires Prise en charge étendue des régions cloud : prise en charge de toutes les régions cloud disponibles dans Atlas Data Federation Prise en charge étendue des fournisseurs de cloud : prise en charge de Microsoft Azure Prise en charge étendue des sources et des puits de données : nous n’annonçons pas encore de détails sur les sources et les puits supplémentaires, mais nous prévoyons de nous étendre au-delà des bases de données Kafka et Atlas dans les mois à venir. Indiquez-nous les sources et les puits dont vous avez besoin, et nous en tiendrons compte dans notre programme. Des indicateurs et une observabilité plus riches : prise en charge d’une visibilité accrue sur les processeurs de diffusion afin de simplifier la surveillance et le dépannage Flexibilité de déploiement avec Terraform : prise en charge de la gestion des instances Atlas Stream Processing et des connexions au registre Atlas Stream avec Terraform. Cette intégration permet de mettre en place un pipeline CI/CD transparent, améliorant l’efficacité opérationnelle avec l’infrastructure en tant que code. Soyez à l’affût d’un blog dédié sur la façon de démarrer avec Atlas Stream Processing et Terraform. Ainsi, que vous cherchiez à traiter les données de capteurs à haute vitesse, à analyser en continu les données client pour offrir des expériences personnalisées ou à effectuer une maintenance prédictive pour augmenter les rendements et réduire les coûts, Atlas Stream Processing est là pour vous. Rejoignez les centaines d’équipes de développement déjà constituées avec Atlas Stream Processing. Restez à l’affût des nouveautés qui arrivent, et bonne chance dans votre construction ! Connectez-vous dès aujourd’hui ou consultez notre tutoriel d’introduction pour commencer.

May 2, 2024

¡Atlas Stream Processing ya está disponible de forma general!

Estamos encantados de anunciar que Atlas Stream Processing , la forma nativa de MongoDB de procesar datos de flujos, ya está disponible de forma general, lo que permite a los desarrolladores crear rápidamente aplicaciones receptivas e impulsadas por eventos. Nuestro equipo pasó los últimos dos años definiendo una visión y creando un producto que se apoya en las fortalezas de MongoDB para superar los difíciles desafíos del procesamiento de flujos. Después de una década de crear productos de procesamiento de flujos fuera de MongoDB, estamos utilizando todo lo que hace que MongoDB sea único y diferente (como la API de consultas, el poderoso marco de agregación y el modelo de documentos y su flexibilidad de esquema) para crear una experiencia increíble para los desarrolladores. Es un nuevo enfoque para el procesamiento de flujos y, según los comentarios de muchos de ustedes en nuestra comunidad, es la mejor manera de hacerlo para la mayoría de los desarrolladores. Veamos qué hay de nuevo. ¿Qué hay de nuevo en la disponibilidad general? Preparación para la producción: Listo para soportar sus cargas de trabajo de producción, asegurando un procesamiento de flujo confiable y escalable para sus aplicaciones críticas. Compatibilidad con la colección Time Series: Emita resultados del procesador en colecciones Time Series . Haga el procesamiento previo de los datos de forma continua mientras los guarda para poder acceder a ellos más adelante en un tipo de colección disponible en MongoDB Atlas creada explícitamente para almacenar de manera eficiente y consultar datos de time-series. Niveles de desarrollo y producción: Además del nivel de clúster SP30 disponible durante la vista previa pública, estamos introduciendo un nivel SP10 para proporcionar flexibilidad y una opción rentable para casos de uso exploratorios y cargas de trabajo de procesamiento de flujos de bajo tráfico. Compatibilidad mejorada con Kafka: La compatibilidad adicional con los encabezados Kafka permite que las aplicaciones proporcionen más metadatos junto con los datos de eventos. Son útiles para varios casos de uso de procesamiento de flujos (por ejemplo, mensajes de enrutamiento, procesamiento condicional y más). Acceso de mínimo privilegio: Los usuarios de la base de datos de Atlas pueden conceder acceso a las instancias de procesamiento de flujos y habilitarlo solo para aquellos que lo necesiten. Alertas del procesador de flujos: Obtenga información y visibilidad sobre el estado de sus procesadores de flujos mediante al crear alertas de fallas. Los métodos admitidos para alertar incluyen correo electrónico, SMS, plataformas de monitoreo como Datadog y más . ¿Por qué elegir Atlas Stream Processing? Atlas Stream Processing aporta la potencia y flexibilidad del modelo de documentos y la API de consultas de MongoDB al desafiante espacio del procesamiento de flujos. Con Atlas Stream Processing, los desarrolladores pueden: Gestionar sin esfuerzo estructuras de datos complejas y cambiantes. Emplear la conocida API de consultas de MongoDB para procesar datos de flujos. Integrarlo a la perfección con MongoDB Atlas. Beneficiarse de un servicio totalmente gestionado que elimina los gastos generales. Lo más destacado por los clientes Lea lo que dicen los desarrolladores sobre Atlas Stream Processing: En Acoustic, nuestro enfoque clave es empoderar a las marcas con información conductual que les permita crear experiencias atractivas y personalizadas para los clientes. Para ello, nuestra plataforma Acoustic Connect debe ser capaz de procesar y administrar de manera eficiente millones de señales de marketing, de comportamiento y de clientes a medida que ocurren. Con Atlas Stream Processing, nuestros ingenieros pueden aprovechar las habilidades que ya tienen, desde trabajar con datos en Atlas para procesar nuevos datos de forma continua, asegurando así que nuestros clientes tengan acceso a información sobre los clientes en tiempo real. John Riewerts, EVP, Ingeniería en Acoustic Atlas Stream Processing nos permite procesar, validar y transformar datos antes de enviarlos a nuestra arquitectura de mensajería en AWS, potenciando las actualizaciones basadas en eventos en toda nuestra plataforma. La confiabilidad y el rendimiento de Atlas Stream Processing han aumentado nuestra productividad, mejorado la experiencia de los desarrolladores y reducido el costo de infraestructura. Cody Perry, ingeniero de software, Meltwater ¿Qué se viene para Atlas Stream Processing? Estamos introduciendo rápidamente nuevas características y funcionalidades para garantizar que MongoDB ofrezca una experiencia de procesamiento de flujos de categoría mundial para todos los equipos de desarrollo. En los próximos meses, puede esperar ver: Compatibilidad avanzada con redes: Compatibilidad para Peering de VPC con clústeres de Kafka para equipos que requieren más capacidades de red. Compatibilidad ampliada con cloud: Compatibilidad con todas las clouds disponibles en Atlas Data Federation . Compatibilidad ampliada con proveedores de cloud: Compatibilidad con Microsoft Azure. Compatibilidad ampliada con fuentes y sumideros de datos: Todavía no estamos anunciando detalles sobre fuentes y destinos adicionales, pero tenemos planes de expandirnos más allá de las bases de datos Kafka y Atlas en los próximos meses. Háganos saber qué fuentes y destinos necesita, y lo tendremos en cuenta en nuestra planificación. Métricas y observabilidad más completas: Compatibilidad con una visibilidad ampliada de sus procesadores de flujos para ayudar a simplificar el monitoreo y la resolución de problemas. Flexibilidad de implementación con HashiCorp Terraform: Compatibilidad para administrar instancias de Atlas Stream Processing y conexiones de registro de flujos de Atlas con Terraform. Esta integración ayuda a habilitar un pipeline de CI/CD sin problemas, lo que mejora la eficiencia operativa con la infraestructura como código. Además, en breve publicaremos un blog sobre cómo dar los primeros pasos con Atlas Stream Processing y Terraform. Entonces, ya sea que esté buscando procesar datos de sensores de alta velocidad, analizar continuamente datos de clientes para brindar experiencias personalizadas o hacer un mantenimiento predictivo para aumentar las ganancias y reducir los costos, Atlas Stream Processing se encarga de ello. Únase a los cientos de equipos de desarrollo que ya están creando con Atlas Stream Processing. Manténgase a la espera de más noticias y ¡buena suerte en su proceso de creación! Inicie sesión hoy o consulte nuestro tutorial introductorio para comenzar.

May 2, 2024

Atlas Stream Processing이 정식 출시되었습니다!

개발자들이 반응형 이벤트 중심 애플리케이션을 신속하게 구축할 수 있도록 스트리밍 데이터를 처리하는 MongoDB 네이티브 방식인 Atlas Stream Processing 을 정식 버전으로 출시합니다. 우리 팀은 지난 2년 동안 스트림 처리의 어려운 과제를 극복하기 위해 비전을 정의하고 MongoDB의 강점을 활용하는 제품을 구축했습니다. MongoDB 외부에서 10년 동안 스트림 처리 제품을 개발한 후 당사는 쿼리 API와 강력한 집계 프레임워크, 문서 모델, 스키마 유연성 등 MongoDB 고유의 장점과 차별화 요인을 모두 활용하여 뛰어난 개발자 경험을 창출하고 있습니다. 이는 새로운 스트림 처리 방식이며, 동 업계에서 얻은 수많은 피드백에 비추어볼 때 대부분의 개발자에게 가장 적합한 방법입니다. 새로운 기능을 살펴보겠습니다. 정식 버전에 어떤 새로운 기능이 추가되었습니까? 프로덕션 지원: 프로덕션 워크로드를 지원하여 미션 크리티컬 애플리케이션에 신뢰할 수 있고 확장 가능한 스트림 처리를 보장합니다. Time-series 지원: 프로세서 결과를 Time-series 컬렉션으로 내보냅니다. 명시적으로 시계열 데이터를 효율적으로 저장하고 쿼리를 수행하기 위해 구축된 MongoDB Atlas 컬렉션 유형에서 추후 시계열 기록에 액세스하기 위해 데이터 사전 처리 과정을 지속적으로 진행하는 동시에 데이터를 저장합니다. 개발 및 프로덕션 계층: 공개 미리 보기 단계에서 사용할 수 있는 SP30 클러스터 계층 외에도 탐색적 사용 사례와 트래픽이 적은 스트림 처리 워크로드에 유연성과 비용 효율적인 옵션을 제공하는 SP10 계층을 도입합니다. Kafka 지원 개선: 애플리케이션이 이벤트 데이터와 함께 추가 메타데이터를 제공할 수 있도록 Kafka 헤더 지원이 추가되었습니다. 다양한 스트림 처리 사용 사례(예: 메시지 라우팅, 조건부 처리 등)에 유용합니다. 최소 권한 액세스: Atlas 데이터베이스 사용자는 스트림 처리 인스턴스에 액세스 권한을 부여하고 필요한 사용자만 액세스하도록 설정할 수 있습니다. Stream Processor 알림: 고장 발생 시 알림을 생성하여 스트림 프로세서의 상태에 대한 인사이트와 가시성을 확보하세요. 지원되는 알림 방법에는 이메일, SMS, Datadog과 같은 모니터링 플랫폼이 있습니다. Atlas Stream Processing이란? Atlas Stream Processing은 까다로운 스트림 처리 영역에 MongoDB의 문서 모델과 쿼리 API 의 강력한 성능과 유연성을 제공합니다. Atlas Stream Processing으로 개발자가 수행할 수 있는 작업은 다음과 같습니다. 복잡하고 빠르게 변화하는 데이터 구조를 손쉽게 처리 스트리밍 데이터 처리에 친숙한 MongoDB Query API 사용 MongoDB Atlas와 원활하게 통합 운영 오버헤드를 제거하는 완전 관리형 서비스 고객 하이라이트 Atlas Stream Processing에 대한 개발자의 의견을 읽어보세요. Acoustic의 주요 목표는 브랜드가 매력적인 개인 맞춤형 고객 경험을 창출할 수 있도록 각 브랜드에게 행동 인사이트를 제공하는 것입니다. 이를 해내기 위해서는 수백만 가지의 마케팅/행동/고객 신호가 발생할 경우, Acoustic Connect 플랫폼이 이러한 신호를 효율적으로 처리하고 관리할 수 있어야 합니다. Acoustic 엔지니어들은 Atlas 데이터 작업을 하면서 체득한 기술을 Atlas Stream Processing으로 활용하여 새로운 데이터를 끊임없이 처리함으로써 고객이 고객 인사이트를 실시간으로 얻을 수 있도록 지원합니다. 존 리워츠(John Riewerts) Acoustic 엔지니어링 부문 EVP Atlas Stream Processing을 사용하면 데이터를 처리하고 검증하여 변환한 후, AWS의 메시지 송수신 아키텍처로 전송하여 플랫폼 전반에 걸친 이벤트 중심 업데이트를 실행시킬 수 있습니다. Atlas Stream Processing의 신뢰성과 성능 덕분에 생산성이 높아지고 개발자 경험이 향상되었으며 인프라 비용이 절감되었습니다. 코디 페리(Cody Perry) Meltwater 소프트웨어 엔지니어 Atlas Stream Processing의 미래는? 당사는 모든 개발 팀에 세계적 수준의 스트림 처리 환경을 제공하기 위해 MongoDB의 새로운 기능을 빠르게 도입하고 있습니다. 앞으로 몇 달 동안 공개될 내용은 아래와 다음과 같습니다. 고급 네트워킹 지원: 추가 네트워킹 기능이 요구되는 팀에 Kafka 클러스터 VPC 피어링 지원 확장된 클라우드 리전 지원: Atlas Data Federation 에서 이용 가능한 모든 클라우드 리전 지원 확장된 클라우드 공급자 지원: Microsoft Azure 지원 확장된 데이터 소스와 싱크 지원: 추가 소스와 싱크에 대한 구체적인 내용은 아직 발표하지 않았지만, 앞으로 몇 달 내에 Kafka와 Atlas 데이터베이스 이상으로 확장할 계획이 있습니다. 필요한 소스와 싱크를 알려 주시면 계획에 반영하겠습니다. 풍부한 지표와 관찰: 스트림 프로세서의 가시성을 확장하여 모니터링과 문제 해결을 단순화하는 데 도움이 됩니다. Terraform으로 배포 유연성 확보: Terraform을 사용하는 Atlas Stream Processing 인스턴스와 Atlas Stream 레지스트리 연결 관리를 지원합니다. 이러한 통합은 원활한 CI/CD 파이프라인을 지원하여 코드형 인프라로 운영 효율성 향상을 실현합니다. 또한, 조만간 Atlas Stream Processing과 Terraform을 시작하는 방법을 소개할 전용 블로그도 기대해 주세요. 그러므로 고속 센서 데이터를 처리하거나, 고객 데이터를 지속적으로 분석하여 개인화된 경험을 제공하거나, 예측 정비를 수행하여 수율을 높이고 비용을 절감하려는 작업을 찾으신다면 Atlas Stream Processing으로 지원할 수 있습니다. 이미 Atlas Stream Processing으로 구축되고 있는 수백 개의 개발 팀에 합류하세요. 곧 더 많은 소식이 있을 예정이니 계속 지켜봐 주시기 바라며 귀사의 발전을 기원합니다. 지금 로그인하거나 소개 튜토리얼을 확인하여 시작해 보세요 .

May 2, 2024

Atlas Stream Processing is Now in Public Preview

Update May 2, 2024: Atlas Stream processing is now generally available. Read our blog to learn more . This post is also available in: Deutsch , Français , Español , Português , Italiano , 한국인 , 简体中文 . Today, we’re excited to announce that Atlas Stream Processing is now in public preview. Any developer on Atlas interested in giving it a try has full access. Learn more in our docs or get started today. Listen to the MongoDB Podcast to learn about the Atlas Stream Processing public preview from Head of Streaming Products, Kenny Gorman. Developers love the flexibility and ease of use of the document model, alongside the Query API, which allows them to work with data as code in MongoDB Atlas. With Atlas Stream Processing, we are bringing these same foundational principles to stream processing. A report covering the topic published by S&P Global Market Intelligence 451 Research had this to say, “A unified approach to leveraging data for application development — the direction of travel for MongoDB — is particularly valuable in the context of stream processing where operational and development complexity has proven a significant barrier to adoption." First announced at .local NYC 2023, Atlas Stream Processing is redefining the experience of aggregating and enriching streams of high velocity, rapidly changing event data, and unifying how to work with data in motion and at rest. How are developers using the product so far? And what have we learned? During the private preview, we saw thousands of development teams request access and we have gathered useful feedback from hundreds of engaged teams. One of those engaged teams is the marketing technology leader, Acoustic : "At Acoustic, our key focus is to empower brands with behavioral insights that enable them to create engaging, personalized customer experiences. To do so, our Acoustic Connect platform must be able to efficiently process and manage millions of marketing, behavioral, and customer signals as they occur. With Atlas Stream Processing, our engineers can leverage the skills they already have from working with data in Atlas to process new data continuously, ensuring our customers have access to real-time customer insights." John Riewerts, EVP, Engineering at Acoustic Other interesting use cases include: A leading global airline using complex aggregations to rapidly process maintenance and operations data, ensuring on-time flights for their thousands of daily customers, A large manufacturer of energy equipment using Atlas Stream Processing to enable continuous monitoring of high-volume pump data to avoid outages and optimize their yields, and An innovative enterprise SaaS provider leveraging the rich processing capabilities in Atlas Stream Processing to deliver timely and contextual in-product alerts to drive improved product engagement. These are just a few of the many use-case examples that we’re seeing across industries. Beyond the use cases we’ve already seen, developers are giving us tons of insight into what they’d like to see us add to in the future. In addition to enabling continuous processing of data in Atlas databases through change streams, it’s exciting to see developers using Atlas Stream Processing with their Kafka data hosted by valued partners like Confluent , Amazon MSK , Azure Event Hubs , and Redpanda . Our aim with developer data platform capabilities in Atlas has always been to make for a better experience across the key technologies relied on by developers. What’s new in the public preview? That brings us to what’s new. As we scale to more teams, we’re expanding functionality to include the most requested feedback gathered in our private preview. From the many pieces of feedback received, three common themes emerged: Refining the developer experience Expanding advanced features and functionality Improving operations and security Refining the developer experience In private preview, we established the core of the developer experience that is essential to making Atlas Stream Processing a natural solution for development teams. And in public preview, we’re doubling down on this by making two additional enhancements: VS Code integration The MongoDB VS Code plugin has added support for connecting to Stream Processing instances. For developers already leveraging the plugin, teams can create and manage processors in a familiar development environment. This means less time switching between tools and more time building your applications! Improved dead letter queue (DLQ) capabilities DLQ support is a key element for powerful stream processing and in public preview, we’re expanding DLQ capabilities. DLQ messages will now display themselves when executing pipelines with sp.process() and when running .sample() on running processors, allowing for a more streamlined development experience that does not require setting up a target collection to act as a DLQ. Expanding advanced features and functionality Atlas Stream Processing already supported many of the key aggregation operators developers are familiar with in the Query API used with data at rest. We've now added powerful windowing capabilities and the ability to easily merge and emit data to an Atlas database or to a Kafka topic. Public preview will add even more functionality demanded by the most advanced teams relying on stream processing to deliver customer experiences: $lookup Developers can now enrich documents being processed in a stream processor with data from remote Atlas clusters, performing joins against fields from the document and the target collection. Change streams pre- and post-imaging Many developers are using Atlas Stream Processing to continuously process data in Atlas databases as a source through change streams. We have enhanced the change stream $source in public preview with support for pre-and post-images . This enables common use cases where developers need to calculate deltas between fields in documents as well as use cases requiring access to the full contents of a deleted document. Conditional routing with dynamic expressions in merge and emit stages Conditional routing lets developers use the value of fields in documents being processed in Atlas Stream Processing to dynamically send specific messages to different Atlas collections or Kafka topics. The $merge and $emit stages also now support the use of dynamic expressions. This makes it possible to use the Query API for use cases requiring the ability to fork messages to different collections or topics as needed. Idle stream timeouts Streams without advancing watermarks due to a lack of inbound data can now be configured to close after a period of time emitting the results of the windows. This can be critical for streaming sources that have inconsistent flows of data. Improving operations and security Finally, we have invested heavily over the past few months in improving other operational and security aspects of Atlas Stream Processing. A few of the highlights include: Checkpointing Atlas Stream Processing now performs checkpoints for saving a state while processing. Stream processors are continuously running processes, so whether due to a data issue or infrastructure failure, they require an intelligent recovery mechanism. Checkpoints make it easy to resume your stream processors from wherever data stopped being collected and processed. Terraform provider support Support for the creation of connections and stream processing instances (SPIs) is now available with Terraform. This allows for infrastructure to be authored as code for repeatable deployments. Security roles Atlas Stream Processing has added a project-level role, giving users just enough permission to perform their stream processing tasks. Stream processors can run under the context of a specific role, supporting a least privilege configuration. Auditing Atlas Stream Processing can now audit authentication attempts and actions within your Stream Processing Instance giving you insight into security-related events. Kafka consumer group support Stream processors in now use Kafka consumer groups for offset tracking. This allows users to easily change the position of the processor in the stream for operations and easily monitor for potential processor lag. A final note on what’s new is that in public preview, we will begin charging for Atlas Stream Processing, using preview pricing (subject to change). You can learn more about pricing in our documentation . Build your first stream processor today Public preview is a huge step forward for us as we expand the developer data platform and enable more teams with a stream processing solution that simplifies the operational complexity of building reactive, responsive, event-driven applications, while also offering an improved developer experience. We can’t wait to see what you build! Login today or get started with the tutorial , view our resources , or follow the Learning Byte on MongoDB University.

February 13, 2024

Atlas Stream Processing ahora está en vista previa pública.

Hoy, nos complace anunciar que Atlas Stream Processing ya está en versión preliminar pública. La vista previa pública abre el acceso a cualquier desarrollador en Atlas interesado en probarlo. Obtenga más información en nuestros docs o comienza hoy mismo. Escuche el podcast de MongoDB para obtener más información sobre la versión preliminar pública de Atlas Stream Processing del jefe de productos de transmisión, Kenny Gorman. A los desarrolladores les encanta la flexibilidad y facilidad de uso del modelo de documentos, junto con la API de consultas, que les permite trabajar con datos como código. Con Atlas Stream Processing, trasladamos estos mismos principios fundamentales al procesamiento de flujos. Anunciado por primera vez en .local NYC 2023 , Atlas Stream Processing está redefiniendo la experiencia de agregar y enriquecer flujos de datos de transmisiones de alta velocidad y que cambian con rapidez, y unificando cómo trabajar con datos en movimiento y en reposo. ¿Cómo usan el producto los desarrolladores hasta ahora? ¿Y qué aprendimos? Durante la vista previa privada, vimos que miles de equipos de desarrollo solicitan acceso y recopilamos comentarios útiles de cientos de equipos comprometidos. Entre los casos de uso se incluyen los siguientes: Una aerolínea líder mundial que utiliza agregaciones complejas para procesar rápidamente los datos de mantenimiento y operaciones, lo que garantiza la puntualidad de los vuelos para sus miles de clientes diarios Un gran fabricante de equipos de energía que utilizan Atlas Stream Processing para permitir el monitoreo continuo de datos de bombas de alto volumen para evitar interrupciones y optimizar sus rendimientos Un innovador proveedor de SaaS empresarial que aprovecha las capacidades de procesamiento enriquecidas en Atlas Stream Processing para ofrecer alertas oportunas y contextuales en el producto para impulsar una mejor interacción con el producto Estos son solo algunos de los muchos ejemplos de casos de uso que vemos en todas las industrias para Atlas Stream Processing. Más allá de los casos de uso que ya vimos, los desarrolladores nos dan toneladas de información sobre lo que les gustaría que agregáramos a Atlas Stream Processing en el futuro. Además de permitir el procesamiento continuo de los datos en las bases de datos de Atlas a través de change stream, fue impactante ver a los desarrolladores utilizar Atlas Stream Processing con sus datos de Kafka alojados por socios valiosos como Confluent , Amazon MSK , Azure Event Hubs y Redpanda . Nuestro objetivo con las capacidades de la plataforma de datos para desarrolladores siempre es lograr una mejor experiencia en todas las tecnologías clave en las que confían los desarrolladores. ¿Qué hay de nuevo en la vista previa pública? Eso nos trae a las novedades. Y a medida que escalamos a más equipos, expandimos la funcionalidad para incluir los comentarios más solicitados recopilados en nuestra vista previa privada. De los muchos comentarios recibidos, surgieron tres temas comunes: Cómo refinar la experiencia del desarrollador Ampliar las características y funcionalidades avanzadas, y Mejorar las operaciones y la seguridad Cómo refinar la experiencia del desarrollador En la vista previa privada, establecimos el núcleo de la experiencia del desarrollador esencial para hacer de Atlas Stream Processing una solución natural para los equipos de desarrollo. Y en la vista previa pública, publicamos esto haciendo 2 mejoras adicionales: Integración de VS Code El complemento MongoDB VS Code agregó soporte para conectarse a instancias de procesamiento de flujo. Para los desarrolladores que ya utilizan el complemento, esto permite a los equipos crear y gestionar procesadores en un entorno de desarrollo familiar. ¡Pase menos tiempo cambiando entre herramientas y más tiempo creando sus aplicaciones! Capacidades mejoradas de cola de mensajes fallidos (DLQ) La compatibilidad con DLQ es un elemento clave para un potente procesamiento de transmisiones y, en vista previa pública, estamos expandiendo las capacidades de DLQ en Atlas Stream Processing. Los mensajes de la cola de letras muertas ahora se mostrarán al ejecutar tuberías con sp.proceso() y al ejecutar .muestra() en procesadores en ejecución, lo que permite una experiencia de desarrollo más optimizada que no requiere configurar una collection objetivo para actuar como DLQ. Ampliación de características y funcionalidades avanzadas Atlas Stream Processing ya admitía muchos de los operadores de agregación clave con los que los desarrolladores están familiarizados en la API de consulta utilizada con datos en reposo, y agregaba potentes funciones de ventanas y la capacidad de fusionar y emitir datos fácilmente a la base de datos Atlas o a un tema Kafka. La vista previa pública agregará aún más funcionalidades exigidas por los equipos más avanzados que confían en el procesamiento de stream para ofrecer experiencias de cliente: $lookup Los desarrolladores ahora pueden enriquecer los documentos que se procesan en un procesador de transmisión con datos del Atlas cluster remoto, y realizar uniones con campos del documento y la collection de destino. change stream antes y después de la creación de imágenes Muchos desarrolladores están utilizando Atlas Stream Processing para procesar continuamente datos en bases de datos Atlas como fuente a través de change streams. Mejoramos el $source de change stream en vista previa pública con asistencia técnica para imágenes previas y posteriores. Esto permite casos de uso comunes en los que los desarrolladores necesitan calcular deltas entre campos en documentos, así como casos de uso que requieren acceso al contenido completo de un documento eliminado. Enrutamiento condicional con expresiones dinámicas en las etapas de fusión y emisión El enrutamiento condicional permite a los desarrolladores utilizar el valor de los campos de los documentos que se procesan en Atlas Stream Processing para enviar dinámicamente mensajes específicos a diferentes collections de Atlas o temas de Kafka. Las etapas $merge y $emit ahora también admiten el uso de expresiones dinámicas. Esto permite utilizar la API de consultas para casos de uso que requieren la capacidad de bifurcar mensajes a diferentes collections o temas, según sea necesario. Tiempos de espera de transmisión inactiva Las reproducciones sin avanzar en las marcas de agua debido a la falta de datos entrantes ahora se pueden configurar para cerrar después de un período de tiempo que emita los resultados de las ventanas. Esto puede ser fundamental para las fuentes de transmisión que tienen flujos de datos inconsistentes. Mejorar las operaciones y la seguridad Por último, invertimos mucho en los últimos meses en mejorar otros aspectos operativos y de seguridad de Atlas Stream Processing. Entre los aspectos destacados se incluyen los siguientes: Punto de control Atlas Stream Processing ahora realiza puntos de control para guardar el estado durante el procesamiento. Los procesadores de flujos son procesos en ejecución continua, por lo que, ya sea por un problema de datos o por un fallo de la infraestructura, requieren un mecanismo de recuperación inteligente. Los puntos de control facilitan la reanudación de sus procesadores de transmisión desde cualquier lugar donde los datos dejaron de recopilarse y procesarse. Asistencia técnica para proveedores de Terraform El soporte para la creación de Conexiones e Instancias de Procesamiento de Transmisión (SPI) ahora está disponible con Terraform. Esto permite crear la infraestructura como código para implementaciones repetibles. Funciones de seguridad Atlas Stream Processing agregó una función a nivel de proyecto, que otorga a los usuarios los permisos necesarios para realizar sus tareas de procesamiento de transmisiones. Los procesadores de transmisiones pueden ejecutarse bajo el contexto de una función específica, lo que permite una configuración de mínimos privilegios. Asistencia técnica del grupo de consumidores de Kafka Los procesadores de transmisión en Atlas Stream Processing ahora usan grupos de consumidores Kafka para el seguimiento compensatorio. Esto permite a los usuarios cambiar fácilmente la posición del procesador en la transmisión de operaciones y controlar fácilmente el posible retraso del procesador. Una nota final sobre las novedades es que, en la vista previa pública, comenzaremos a cobrar por Atlas Stream Processing, utilizando precios promocionales hasta nuestra versión de disponibilidad general. Puede obtener más información sobre los precios de Atlas Stream Processing en nuestra documentación. Crea tu primer procesador de transmisión hoy La vista previa pública es un gran avance para nosotros a medida que ampliamos la plataforma de datos para desarrolladores y permitimos más equipos con una solución de procesamiento de transmisiones que simplifica la complejidad operativa de crear aplicaciones reactivas, receptivas y basadas en eventos, al tiempo que también ofrece una mejor experiencia de desarrollador. ¡Estamos ansiosos por ver lo que desarrollas! Inicia sesión hoy mismo para comenzar u obtener más información sobre Atlas Stream Processing en nuestra documentación , recursos , tutoriales o Learning Byte en MongoDB University.

February 13, 2024

Atlas Stream Processing ist jetzt in der Public Preview verfügbar

Wir freuen uns, heute die Public Preview von Atlas Stream Processing ankündigen zu können. Die Public Preview öffnet den Zugang für alle Entwickler auf Atlas, die es ausprobieren möchten – erfahren Sie mehr in unseren Dokumenten oder starten Sie noch heute. Hören Sie sich den MongoDB-Podcast an, um von Kenny Gorman, dem Leiter der Streaming-Produkte, mehr über die Public Preview von Atlas Stream Processing zu erfahren. Entwickler lieben die Flexibilität und Benutzerfreundlichkeit des Dokumentenmodells, zusammen mit der Query API, die es ihnen ermöglicht, mit Daten wie mit Code zu arbeiten. Mit Atlas Stream Processing bringen wir dieselben Grundprinzipien in das Stream Processing ein. Zuerst angekündigt auf .local NYC 2023 definiert Atlas Stream Processing die Zusammenführung und Anreicherung von Datenströmen mit hoher Geschwindigkeit und sich schnell ändernden Ereignisdaten neu und vereinheitlicht die Arbeit mit Daten in Bewegung und Daten im Ruhezustand. Wie nutzen Entwickler das Produkt bisher? Und was haben wir gelernt? Während der privaten Vorabversion haben Tausende von Entwicklungsteams den Zugriff angefordert, und wir haben nützliches Feedback von Hunderten von engagierten Teams erhalten. Zu den Anwendungsfällen gehören: Ein weltweit führendes Luftfahrtunternehmen, das komplexe Aggregationen zur schnellen Verarbeitung von Wartungs- und Betriebsdaten einsetzt, um pünktliche Flüge für seine Tausenden von täglichen Kunden zu gewährleisten Ein großer Hersteller von Energieanlagen, der Atlas Stream Processing einsetzt, um eine kontinuierliche Überwachung großer Pumpendaten zu ermöglichen, damit Ausfälle vermieden und die Erträge optimiert werden können Ein innovativer SaaS-Anbieter für Unternehmen, der die umfangreichen Verarbeitungsfunktionen von Atlas Stream Processing nutzt, um zeitnahe und kontextbezogene Produktwarnungen zu liefern, die das Engagement für das Produkt verbessern. Dies sind nur einige der vielen Anwendungsbeispiele, die wir in verschiedenen Branchen für Atlas Stream Processing sehen. Neben den Anwendungsfällen, die wir bereits gesehen haben, geben uns die Entwickler zahlreiche Hinweise darauf, was sie sich für die Zukunft von Atlas Stream Processing wünschen. Neben der kontinuierlichen Verarbeitung von Daten in Atlas-Datenbanken durch Change Streams ist es beeindruckend zu sehen, dass Entwickler Atlas Stream Processing mit ihren Kafka-Daten verwenden, die von geschätzten Partnern wie Confluent , Amazon MSK , Azure Event Hubs und Redpanda zusammenarbeiten werden. Unser Ziel mit den Funktionen der Entwicklerdatenplattform ist es immer, eine bessere Erfahrung über die Schlüsseltechnologien hinweg zu schaffen, auf die sich die Entwickler verlassen. Was ist neu beim Public Preview? Das bringt uns zu den Neuerungen. Und da wir immer mehr Teams einbeziehen, erweitern wir die Funktionalität um das am häufigsten gewünschte Feedback, das wir in unserem Private Preview gesammelt haben. Aus den vielen eingegangenen Feedbacks kristallisierten sich drei gemeinsame Themen heraus: Verfeinerung des Entwicklererlebnisses Erweiterung der fortgeschrittenen Features und Funktionen Verbesserung von Betrieb und Sicherheit Verfeinerung des Entwicklererlebnisses Im Private Preview haben wir den Kern der Entwicklererfahrung geschaffen, die notwendig ist, um Atlas Stream Processing zu einer natürlichen Lösung für Entwicklungsteams zu machen. Und in der Public Preview verdoppeln wir dies, indem wir zwei zusätzliche Verbesserungen vornehmen: Integration von VS-Codes Das MongoDB VS Code-Plugin hat Unterstützung für die Verbindung zu Stream Processing Instances hinzugefügt. Für Entwickler, die das Plugin bereits nutzen, können Teams Prozessoren in einer vertrauten Entwicklungsumgebung erstellen und verwalten. Das bedeutet weniger Zeit für den Wechsel zwischen verschiedenen Tools und mehr Zeit für die Entwicklung Ihrer Anwendungen! Verbesserte Funktionen der Dead Letter Queue (DLQ) Die DLQ -Unterstützung ist ein Schlüsselelement für eine leistungsstarke Stream-Verarbeitung und in der Public Preview erweitern wir die DLQ-Funktionen in Atlas Stream Processing. Dead-Letter-Queue-Meldungen werden jetzt selbst angezeigt, wenn Pipelines mit sp.process() ausgeführt werden und wenn .sample() auf laufenden Prozessoren ausgeführt wird. Dies ermöglicht eine optimierte Entwicklungserfahrung, die keine target collection erfordert, um als DLQ zu fungieren. Erweiterung der fortgeschrittenen Features und Funktionen Atlas Stream Processing unterstützte bereits viele der wichtigsten Aggregationsoperatoren, mit denen Entwickler in der Query API vertraut sind, die mit Daten im Ruhezustand verwendet wird, und fügte leistungsstarke Fensterfunktionen und die Möglichkeit hinzu, Daten einfach zusammenzuführen und an die Atlas-Datenbank oder an ein Kafka-Thema zu senden. Der Public Preview bietet noch mehr Funktionen, die von den fortschrittlichsten Teams benötigt werden, die auf Stream Processing angewiesen sind, um Kundenerfahrung zu liefern: $Lookup Entwickler können jetzt Dokumente, die in einem Stream-Prozessor verarbeitet werden, mit Daten aus entfernten Atlas-Clustern anreichern, indem sie Joins gegen Felder aus dem Dokument und der Zielsammlung durchführen. Change Streams vor und nach dem Imaging Viele Entwickler verwenden Atlas Stream Processing, um Daten in Atlas-Datenbanken als Quelle kontinuierlich durch Change Streams zu verarbeiten. Wir haben den Change Stream $source in der Public Preview um die Unterstützung von Vor- und Nachbildern erweitert. Dies ermöglicht häufige Anwendungsfälle, in denen Entwickler Deltas zwischen Feldern in Dokumenten berechnen müssen, sowie Anwendungsfälle, die den Zugriff auf den vollständigen Inhalt eines gelöschten Dokuments erfordern. Bedingtes Routing mit dynamischen Ausdrücken in den Phasen Merge und Emit Mit dem bedingten Routing können Entwickler den Wert von Feldern in Dokumenten verwenden, die in Atlas Stream Processing verarbeitet werden, um bestimmte Nachrichten dynamisch an verschiedene Atlas Collections oder Kafka-Themen zu senden. Die Stufen $merge und $emit unterstützen jetzt auch die Verwendung von dynamischen Ausdrücken. Dies ermöglicht die Verwendung der Abfrage-API für Anwendungsfälle, die die Möglichkeit erfordern, Nachrichten je nach Bedarf in verschiedene Collections oder Themen zu verzweigen. Zeitüberschreitungen bei Leerlauf-Streams Streams, die mangels eingehender Daten nicht mit Wasserzeichen fortschreiten, können jetzt so konfiguriert werden, dass sie sich nach einer gewissen Zeit schließen und die Ergebnisse der Fenster ausgeben. Dies kann bei Streaming-Quellen, die inkonsistente Datenströme aufweisen, entscheidend sein. Verbesserung von Betrieb und Sicherheit Schließlich haben wir in den letzten Monaten stark in die Verbesserung anderer Betriebs- und Sicherheitsaspekte von Atlas Stream Processing investiert. Einige der Highlights sind: Checkpointing Atlas Stream Processing führt jetzt Checkpoints durch, um den Status während der Verarbeitung zu speichern. Stream-Prozessoren sind kontinuierlich laufende Prozesse. Ob aufgrund eines Datenproblems oder eines Ausfalls der Infrastruktur, sie benötigen einen intelligenten Wiederherstellungsmechanismus. Mit Checkpoints können Sie Ihre Stream-Prozessoren ganz einfach an der Stelle wieder aufnehmen, an der die Datenerfassung und -verarbeitung unterbrochen wurde. Unterstützung für Terraform-Anbieter Unterstützung für die Erstellung von Verbindungen und Stream Processing Instances (SPIs) ist jetzt mit Terraform verfügbar. So kann die Infrastruktur als Code für wiederholbare Bereitstellungen erstellt werden. Sicherheitsrollen Atlas Stream Processing hat eine Rolle auf Projektebene hinzugefügt, die den Benutzern gerade genug Rechte gibt, um ihre Stream Processing-Aufgaben zu erfüllen. Stream-Prozessoren können im Kontext einer bestimmten Rolle ausgeführt werden und unterstützen so eine Konfiguration mit geringsten Berechtigungen. Unterstützung für Kafka-Verbrauchergruppen Stream-Prozessoren in Atlas Stream Processing verwenden jetzt Kafka-Konsumentengruppen für die Nachverfolgung von Offsets. So können Sie die Position des Prozessors im Stream für Operationen leicht ändern und eine mögliche Verzögerung des Prozessors leicht überwachen. Eine letzte Anmerkung zu den Neuerungen ist, dass wir in der Public Preview damit beginnen werden, Gebühren für Atlas Stream Processing zu erheben, wobei wir bis zur Veröffentlichung der allgemeinen Verfügbarkeit Aktionspreise verwenden. Mehr über die Preise von Atlas Stream Processing erfahren Sie in unserer Dokumentation. Erstellen Sie noch heute Ihren ersten Stream-Prozessor Der Public Preview ist ein großer Schritt nach vorne für uns, da wir die Entwicklerdatenplattform erweitern und mehr Teams mit einer Stream-Processing-Lösung ausstatten, die die betriebliche Komplexität bei der Entwicklung reaktiver, reaktionsfähiger, ereignisgesteuerter Anwendungen vereinfacht und gleichzeitig eine verbesserte Entwicklererfahrung bietet. Wir können es kaum erwarten zu sehen, was Sie erschaffen! Melden Sie sich noch heute an, um loszulegen oder erfahren Sie mehr über Atlas Stream Processing in unserer Dokumentation , unseren Ressourcen , Tutorials oder Learning Byte auf der MongoDB University.

February 13, 2024

Atlas Stream Processing è ora disponibile in anteprima pubblica

Oggi siamo lieti di annunciare che Atlas Stream Processing è ora disponibile in anteprima pubblica. L'anteprima pubblica apre l'accesso a qualsiasi sviluppatore di Atlas interessato a provarla: per saperne di più, consulta i nostri documenti o inizia subito. Ascolta il podcast di MongoDB per conoscere l'anteprima pubblica di Atlas Stream Processing dal Responsabile di Streaming Products, Kenny Gorman. Gli sviluppatori apprezzano la flessibilità e la facilità d'uso del modello di documento, insieme all'API query, che consente loro di lavorare con i dati come codice. Con Atlas Stream Processing, stiamo introducendo questi stessi principi fondamentali nell'elaborazione del flusso. Annunciato per la prima volta su .local NYC 2023 , Atlas Stream Processing sta ridefinendo l'esperienza di aggregazione e arricchimento di flussi di dati di eventi ad alta velocità e in rapida evoluzione, unificando le modalità di lavoro con i dati in movimento e a riposo. Come stanno utilizzando il prodotto gli sviluppatori finora? E cosa abbiamo imparato? Durante l'anteprima privata, migliaia di team di sviluppo hanno richiesto l'accesso e abbiamo raccolto utili feedback da centinaia di team coinvolti. I casi d'uso includono: Un aereo di linea leader a livello mondiale che utilizza aggregazioni complesse per elaborare rapidamente i dati relativi alla manutenzione e alle operazioni, garantendo voli puntuali per migliaia di clienti al giorno Un grande produttore di apparecchiature energetiche che utilizza Atlas Stream Processing per consentire il monitoraggio continuo dei dati delle pompe ad alto volume al fine di evitare interruzioni e ottimizzarne i rendimenti e Un innovativo provider SaaS aziendale che sfrutta le ricche capacità di elaborazione di Atlas Stream Processing per inviare avvisi tempestivi e contestuali all'interno del prodotto al fine di migliorare l'engagement. Questi sono solo alcuni dei numerosi esempi di casi d'uso osservati nei diversi settori per Atlas Stream Processing. Oltre ai casi d'uso già citati, gli sviluppatori ci stanno fornendo moltissime informazioni su funzionalità da aggiungere ad Atlas Stream Processing in futuro. Oltre ad abilitare l'elaborazione continua dei dati nei database Atlas tramite change stream, è stato davvero straordinario vedere gli sviluppatori utilizzare Atlas Stream Processing con i dati Kafka in hosting presso partner di valore come Confluent , Amazon MSK , Azure Event Hub e Redpanda . Il nostro obiettivo con le capacità della piattaforma dati per sviluppatori è sempre quello di migliorare l'esperienza tramite le tecnologie chiave scelte dagli sviluppatori. Quali sono le novità dell'anteprima pubblica? Questo ci porta alle novità. E man mano che scaliamo a più team, stiamo espandendo le funzionalità per includere i feedback più richiesti raccolti nella nostra anteprima privata. Dai numerosi feedback ricevuti, sono emersi tre temi comuni: Perfezionamento dell'esperienza degli sviluppatori Espansione di caratteristiche e funzionalità avanzate e Miglioramento delle operazioni e della sicurezza Perfezionamento dell'esperienza degli sviluppatori Nell'anteprima privata, abbiamo stabilito la base dell'esperienza degli sviluppatori essenziale per rendere Atlas Stream Processing una soluzione naturale per i team di sviluppo. E nell'anteprima pubblica, stiamo ampliando questo aspetto apportando 2 ulteriori miglioramenti: Integrazione di VS Code Il plug-in MongoDB VS Code ha aggiunto il supporto per la connessione alle istanze di elaborazione dei flussi. Per gli sviluppatori che già utilizzano il plugin, ciò consente ai team di creare e gestire gli elaboratori in un ambiente di sviluppo familiare. Meno tempo per passare da uno strumento all'altro e più tempo per creare applicazioni! Funzionalità DLQ (Dead Letter Queue) migliorate Il supporto DLQ è un elemento chiave per l'elaborazione avanzata dei flussi e nell'anteprima pubblica stiamo espandendo le funzionalità DLQ in Atlas Stream Processing. I messaggi della Dead Letter Queue ora si visualizzano durante l'esecuzione di pipeline con sp.process() e durante l'esecuzione di .sample() su elaboratori in esecuzione, consentendo un'esperienza di sviluppo più semplificata che non richiede l'impostazione di una collection che funga da DLQ. Espansione di caratteristiche e funzionalità avanzate Atlas Stream Processing supportava già molti degli operatori di aggregazione chiave noti agli sviluppatori nell'API Query utilizzata con i dati inattivi e ha aggiunto potenti capacità di windowing e la possibilità di unire ed emettere facilmente dati nel database Atlas o in un argomento Kafka. L'anteprima pubblica aggiungerà ancora più funzionalità richieste dai team più avanzati che si affidano all'elaborazione dei flussi per offrire esperienza del cliente: fase di $lookup Gli sviluppatori possono ora arricchire i documenti che vengono elaborati in un elaboratore di flusso con i dati provenienti da cluster Atlas remoti, eseguendo unioni sui campi del documento e della collection target. Flussi di modifica pre e post-imaging Molti sviluppatori utilizzano Atlas Stream Processing per elaborare in modo costante i dati nei database Atlas come fonte tramite change stream. Abbiamo migliorato il change stream $source nell'anteprima pubblica con il supporto per le immagini pre e post-. Ciò consente i casi d'uso comuni in cui gli sviluppatori devono calcolare le delta tra i campi nei documenti e i casi d'uso che richiedono l'accesso a tutti i contenuti di un documento eliminato. Instradamento condizionale con espressioni dinamiche nelle fasi di unione ed emissione L'instradamento condizionale consente agli sviluppatori di utilizzare il valore dei campi nei documenti in fase di elaborazione in Atlas Stream Processing per inviare dinamicamente messaggi specifici a diverse collection Atlas o argomenti Kafka. Anche le fasi $merge e $emit supportano ora l'uso di espressioni dinamiche. In questo modo è possibile utilizzare l'API Query per i casi d'uso che richiedono la possibilità di eseguire il fork dei messaggi in collection o argomenti diversi in base alle esigenze. Timeout flussi inattivo I flussi senza filigrane di avanzamento a causa della mancanza di dati in ingresso possono ora essere configurati per chiudersi dopo un periodo di tempo emettendo i risultati delle finestre. Questo può essere fondamentale per le origini di flussi che hanno flussi di dati incoerenti. Miglioramento delle operazioni e della sicurezza Infine, negli ultimi mesi abbiamo investito molto nel miglioramento di altri aspetti operativi e di sicurezza di Atlas Stream Processing. Alcuni dei punti salienti includono: Esecuzione di checkpoint Atlas Stream Processing ora esegue checkpoint per salvare lo stato durante l'elaborazione. Gli elaboratori di flusso sono processi in continua esecuzione, pertanto, che si tratti di un problema di dati o di un guasto dell'infrastruttura, richiedono un meccanismo di ripristino intelligente. I checkpoint consentono di riprendere facilmente gli elaboratori di flusso dal punto in cui si è interrotta la raccolta e l'elaborazione dei dati. Supporto del provider Terraform Il supporto per la creazione di connessioni e istanze di elaborazione dei flussi (SPI) è ora disponibile con Terraform. Ciò consente di creare l'infrastruttura come codice per distribuzioni ripetibili. Ruoli di sicurezza Atlas Stream Processing ha aggiunto un ruolo a livello di progetto, dando agli utenti le autorizzazioni necessarie per eseguire le attività di elaborazione del flusso. Gli elaboratori di flusso possono essere eseguiti nel contesto di un ruolo specifico, supportando una configurazione con privilegi minimi. Supporto del gruppo di consumatori Kafka Gli elaboratori di flusso in Atlas Stream Processing ora utilizzano i gruppi di consumatori Kafka per il monitoraggio degli offset. Ciò consente agli utenti di modificare facilmente la posizione dell'elaboratore nel flusso per le operazioni e di monitorare facilmente eventuali ritardi dell'elaboratore. Un'ultima nota sulle novità è che nell'anteprima pubblica inizieremo ad addebitare i costi per Atlas Stream Processing, con prezzi promozionali fino alla release della disponibilità generale. Puoi scoprire di più sui prezzi di Atlas Stream Processing nella nostra documentazione. Sviluppa oggi stesso il tuo primo elaboratore di flusso L'anteprima pubblica è un enorme passo avanti per noi, in quanto espandiamo la piattaforma di dati per sviluppatori e consentiamo a un maggior numero di team di disporre di una soluzione di elaborazione dei flussi che semplifica la complessità operativa della creazione di applicazioni reattive, responsive e guidate dagli eventi, offrendo al contempo una migliore esperienza per gli sviluppatori. Non vediamo l'ora di scoprire cosa svilupperai! Accedi oggi per iniziare o scopri di più su Atlas Stream Processing nella nostra documentazione , nelle risorse , nei tutorial o nel Learning Byte su MongoDB University.

February 13, 2024