Développez l'apprentissage automatique prédictif avec Flink | Atelier du 18 déc. | S'inscrire
Intégrée à la première solution de gouvernance à 100% pour Apache Kafka, la fonctionnalité Data Quality Rules aide les équipes à renforcer l’intégrité de leurs données et à résoudre rapidement les problèmes de qualité éventuels.
Avec Custom Connectors et Stream Sharing, Confluent facilite considérablement les connexions entre applications sur mesure et le partage en temps réel des données, tant en interne qu’à l’extérieur de l’entreprise.
Le moteur Kora Engine de Confluent aide sa solution Confluent Cloud à gagner en rapidité tout en affichant une latence réduite par rapport à la solution open source Apache Kafka.
Le programme Apache Flink de Confluent est accessible à certains clients, en avant-première, pour qu’ils l’aident à peaufiner le lancement de ce produit.
Londres, Roy.-Uni – 16 mai 2023 – Confluent, Inc. (NASDAQ: CFLT), pionnier dans le domaine du streaming de données, dévoile ce jour les nouvelles fonctionnalités de sa solution Confluent Cloud, conçues pour assurer les clients de la fiabilité de leurs données et des possibilités de traitement facile et de partage sécurisé de celles-ci. Avec Data Quality Rules, extension de la suite Stream Governance, les organisations ont le moyen de surmonter aisément les problèmes de qualité des données pour que ces dernières puissent être considérées comme sûres pour la prise de décisions critiques. En outre, les autres nouveautés de Confluent – Custom Connectors, Stream Sharing, le moteur Kora Engine et le programme d’accès anticipé à Apache Flink géré à 100% – facilitent la tâche des entreprises en quête d’obtention d’informations riches (insights) à partir de leurs données sur une plateforme. Le tout en limitant les fardeaux opérationnels et en s’assurant de performances de pointe.
« Les données en temps réel font vivre l’entreprise. Or il est très difficile de les gérer lorsqu’elles proviennent de différentes sources en continu, en ayant l’assurance qu’elles sont dignes de confiance », souligne Shaun Clowes, Directeur produit de Confluent. « Résultat, de nombreuses organisations se dotent d’un patchwork de solutions entravées par des fonctionnement en silos et par un manque d’efficacité de leurs équipes en interne. Les nouvelles fonctionnalités de Confluent Cloud viennent corriger ce problème en garantissant que des données fiables peuvent être partagées aux formats adéquats par les bonnes personnes ».
Les entreprises peuvent prendre des décisions plus vite grâce aux possibilités de partage rapide des données de grande qualité entre leurs équipes, avec leurs clients et leurs partenaires. Mais cela reste une gageure pour les organisations disposant d’une infrastructure open source hautement distribuée, à l’image de Apache Kafka. Selon la récente étude 2023 Data Streaming Report de Confluent, 72% des responsables informatiques pointent l’usage disparate des méthodes d’intégration et des normes comme une difficulté ou un obstacle majeur pour leur infrastructure de streaming de données. Justement, l’annonce de ce jour répond directement à ces problématiques grâce à un lot de fonctionnalités inédites.
La fonctionnalité Data Quality Rules renforce la suite de gouvernance de Confluent afin d’optimiser la fiabilité des données Les Data contracts sont des accords formels entre des composants situés en amont (upstream) et en aval (downstream) autour de la structure et de la sémantique des données en mouvement. Les règles ou politiques constituent un composant critique permettant d’appliquer les contrats de données ; les flux de données sont ainsi toujours de grande qualité, consommables et capables de s’adapter à l’évolution ultérieure des schémas.
Afin de répondre au besoin de contrats de données plus exhaustifs, Data Quality Rules de Confluent, nouvelle fonctionnalité de Stream Governance, permet aux organisations de fournir des flux de données fiables et de grande qualité. Comment ? A l’aide de règles personnalisables qui garantissent l’intégrité et la compatibilité des données. Grâce à Data Quality Rules, les schémas conservés dans le registre dédié (Schema Registry) peuvent désormais être enrichis de plusieurs types de règles, permettant ainsi aux équipes d’y gagner puisqu’elles peuvent :
« Un niveau élevé de qualité et un degré de confiance maximal contribuent à améliorer les résultats d’une entreprise. C’est d’autant plus important dans le cas du streaming de données puisque les analyses, les décisions et les actions interviennent en temps réel », souligne Stewart Bond, VP Data Intelligence et logiciels d’intégration chez IDC. « Nos études montrent que la satisfaction client est largement influencée par des données de grande qualité. En cas de problème de confiance causé par des données de qualité médiocre, les coûts d’exploitation en pâtissent considérablement. Des fonctionnalités telles que Data Quality Rules aident les organisations à veiller à ce que leurs flux de données soient dignes de confiance en validant leur intégrité et en résolvant rapidement les problèmes de qualité ».
Les Custom Connectors permettent aux connecteurs Kafka de fonctionner avec Confluent Cloud sans gestion de l’infrastructure Un grand nombre d’organisations disposent d’architectures de données uniques qui leur imposent de concevoir des connecteurs sur mesure afin d’intégrer à Apache Kafka leurs systèmes de données maison et leurs applications personnalisées. Or ces connecteurs sur mesure doivent ensuite être gérés par leurs soins, ce qui nécessite diverses opérations manuelles – provisionnement, mise à niveau et supervision – toutes très chronophages. Autant de temps et de ressources perdues au détriment d’activités bien plus critiques. En étoffant l'écosystème de connecteurs Confluent, les Custom Connectors offrent aux équipes les atouts suivants :
« Afin de fournir des données précises et à jour via la plateforme Trimble, nous avons besoin de pipelines de streaming qui se connectent à nos services internes et à des systèmes de données dans le monde entier », explique Graham Garvin, Responsable produit de Trimble. « Les Custom Connectors vont nous permettre de jeter un pont entre notre service d’événements interne et Kafka sans avoir à configurer et gérer l’infrastructure de connexion sous-jacente. Nous pourrons ainsi facilement charger nos connecteurs créés sur mesure afin d’acheminer des données avec fluidité dans Confluent et, ainsi, permettre à nos équipes de se concentrer sur des activités plus importantes pour notre entreprise ».
Les nouveaux Custom Connectors de Confluent sont accessibles via AWS (leur disponibilité varie d’une région du monde à l’autre). La prise en charge dans les autres régions et par d’autres plateformes sera par la suite étendue.
Stream Sharing facilite le partage de données avec une sécurité de niveau entreprise Aucune organisation ne fonctionne sans interaction avec l’extérieur. Dans le cas des acteurs spécialisés dans la gestion des stocks, les livraisons et les transactions financières, l’échange de données en temps réel est permanent, tant en interne qu’en externe : les données circulent via leur écosystème pour prendre des décisions éclairées, offrir des expériences fluides à leurs clients et améliorer leurs processus. Aujourd’hui, un grand nombre d’organisations s’appuient toujours sur la transmission de fichiers plats ou sur l’interrogation d’interfaces de programmation (API) pour l’échange de données. Cela se traduit par des retards au niveau des données, des risques pour la sécurité et une complexité accrue en termes d’intégration. La fonctionnalité Stream Sharing de Confluent représente la meilleure solution – et la plus sûre – pour partager des données. Grâce à elle, les équipes y gagnent là encore : Using Stream Sharing, teams can:
Autres innovations annoncés à l’occasion du Kafka Summit de Londres :
Organisé par Confluent, le Kafka Summit London est le premier événement dédié aux développeurs, aux architectes, aux ingénieurs spécialistes des données, aux professionnels du DevOps et à quiconque souhaite en savoir plus sur le streaming de données et sur Apache Kafka. Cet événement sera placé sous le signe de l’échange de bonnes pratiques, de partage de conseils pour bâtir des systèmes de prochaine génération et sur des discussions autour de l’avenir des technologies de streaming.
Zoom sur les autres innovations apportées par Confluent à sa plateforme leader :
Kora est à la base de Confluent Cloud pour offrir plus vite des insights et des expériences : depuis 2018, Confluent a consacré passé plus de 5 millions d’heures d’ingénierie au développement de Kora, un moteur Apache Kafka conçu pour le cloud. Avec son architecture partagée multi-tenant et son modèle sans serveur, ses couches de mise en réseau-stockage découplées, l’automatisation des processus et sa disponibilité globale, Kora permet aux clients de Confluent Cloud d’évoluer 30 fois plus vite, de stocker des données sans limites de conservation, de les protéger avec un accord de niveau de service de 99,99%, mais aussi de faire exécuter des charges de travail avec une latence ultra-faible.
Le programme d’accès anticipé à Apache Flink de Confluent affiche des capacités avancées de traitement des flux : le traitement des flux joue un rôle crucial au sein de l’infrastructure de streaming en filtrant, en raccordant et en agrégeant les données en temps réel. Cela permet aux applications et aux systèmes en amont de fournir des informations riches instantanément. Les entreprises clientes se tournent vers Flink pour profiter de ses capacités de traitement de pointe et de sa communauté de développeurs étoffée, afin de gérer leurs flux de données de grande envergure, avec un très haut débit et une latence faible.
A la suite de l’acquisition d’Immerok par Confluent, le programme de gestion à 100% de Apache Flink est désormais ouvert, en avant-première, à certains clients de Confluent Cloud. Ils vont pouvoir essayer ce service et aider à définir le calendrier de lancement en s’associant à ses équipes Produits et Ingénierie.
Pour en savoir plus sur ces nouveautés, rendez-vous au Kafka Summit de Londres ! Inscrivez-vous ici pour assister à la présentation du CEO de Confluent et de son cofondateur Jay Kreps qui évoqueront l’avenir du traitement des flux de données avec Apache Flink. L’événement est prévu le 16 mai à 11 h(heure de Paris).
Ressources complémentaires
À propos de Confluent
Confluent est la plateforme de streaming de données à l’avant-garde d’une catégorie fondamentalement nouvelle d’infrastructure de données qui met les données en mouvement. L’offre cloud native de Confluent est la plateforme fondamentale pour les données en mouvement, conçue pour être un réseau intelligent permettant aux données en temps réel provenant de plusieurs sources de circuler en continu dans toute l’organisation. Avec Confluent, les organisations peuvent répondre au nouvel impératif commercial consistant à offrir des expériences client front-end riches et numériques et à passer à des opérations back-end sophistiquées, en temps réel et pilotées par logiciel. Pour en savoir plus, veuillez consulter le site www.confluent.fr.
Confluent et les marques associées sont des marques commerciales ou des marques déposées de Confluent, Inc.
*Apache® et Apache Kafka® sont des marques déposées ou des marques commerciales de la Apache Software Foundation aux États-Unis et/ou dans d'autres pays. L'utilisation de ces marques n'implique aucune approbation de la part de l'Apache Software Foundation. Toutes les autres marques sont la propriété de leurs détenteurs respectifs.
*Ce communiqué de presse contient des déclarations prospectives. Les mots " croire ", " pouvoir ", " prévoir ", " estimer ", " continuer ", " anticiper ", " avoir l'intention ", " s'attendre ", " chercher ", " planifier ", " projeter " et autres expressions similaires ont pour but d'identifier les énoncés prospectifs. Ces déclarations prospectives sont soumises à des risques, des incertitudes et des hypothèses. Si les risques se matérialisent ou si les hypothèses s'avèrent incorrectes, les résultats réels pourraient différer matériellement des résultats implicites de ces déclarations prospectives. Confluent n'assume aucune obligation et n'a pas l'intention de mettre à jour ces déclarations prévisionnelles après la date du présent communiqué.