SumUp renforce son activité grâce à un data mesh basé sur Confluent Cloud

Les petites entreprises ont des exigences spécifiques, mais disposent de moins de ressources que les organisations de taille moyenne ou les grandes sociétés. Depuis sa création en 2012, la société de fintech SumUp leur fournit une solution de paiement facile à utiliser et conçue pour mettre toutes les entreprises sur un pied d’égalité.

Au cours de la dernière décennie, l'entreprise est rapidement passée du statut de startup lean à celui de scaleup en phase avancée, capable de fournir à ses clients une large gamme de services performants. Au fil de sa croissance, SumUp a accumulé une grande variété de systèmes internes, de produits orientés client et de processus métier qui ont progressivement cloisonné ses données. Celles-ci sont devenues de plus en plus difficiles à exploiter au rythme nécessaire au bon fonctionnement de l'entreprise.

Pour concrétiser sa vision et prendre des décisions éclairées basées sur les données, SumUp a progressivement mis en œuvre différents principes liés au maillage de données - gouvernance fédérée, données en tant que produit, infrastructure en libre-service, propriété de domaine, etc. - qui lui ont permis de moderniser son architecture et son approche de la gestion des données. Au cours des deux dernières années, Confluent Cloud est devenu pour les équipes de l'entreprise un allié incontournable, qui leur fournit les produits de données fiables et partageables dont elles ont besoin pour accélérer leurs capacités d'innovation et de croissance.

Abandonner une stratégie de données obsolète basée sur une gestion centralisée

Les lecteurs de carte et les systèmes de point de vente de SumUp permettent aujourd'hui à plus de 4 millions d'entreprises d'accepter des paiements au sein de 36 marchés à travers le monde. Au fur et à mesure de la croissance de l'entreprise, les équipes (y compris l'équipe de plateforme de données) ont entamé une transition pour faire de SumUp une entreprise axée sur les données, et ainsi proposer à leurs clients des produits toujours plus performants.

Auparavant, les collaborateurs devaient solliciter l'équipe de plateforme de données pour accéder aux informations dont ils avaient besoin pour générer des rapports, créer des outils analytiques ou lancer des cas d'usage axés sur les données. Avec l'augmentation progressive du volume de requêtes, l'équipe de plateforme de données s'est peu à peu retrouvée submergée, ce qui a ralenti l'accès aux données. Il est alors devenu évident que SumUp avait besoin de changer sa stratégie de gestion des données.

Pourquoi SumUp a choisi Confluent Cloud pour créer son data mesh

Avant de se tourner vers le streaming de données, SumUp utilisait une architecture à trois niveaux composée d'une couche de présentation et d'application, d'une couche métier et d'une couche de développement. Toutefois, afin d'offrir aux clients une meilleure expérience, l'équipe de plateforme de données souhaitait mettre en œuvre les bases d'un data mesh en abandonnant les services de messagerie traditionnels de type pub-sub au profit d'une architecture axée sur les événements.

SumUp s'est alors mise en quête d'un système de messagerie distribuée qui pourrait l'aider à démocratiser la gestion de ses données. L'entreprise a rapidement décidé de se tourner vers Apache Kafka, qui présentait plusieurs avantages par rapport aux autres technologies de streaming: une solide communauté open source, une grande popularité dans différents secteurs, et un succès maintes fois prouvé. Elle semblait donc répondre aux problématiques de SumUp en matière de gestion des données.

Si l'équipe est parvenue à standardiser la façon dont elle mettait en œuvre ses pipelines de streaming de données avec Kafka, elle a vite réalisé qu'un service géré lui permettrait de se concentrer sur la création d'un modèle de données véritablement décentralisé. Après avoir comparé différents services basés sur Kafka, SumUp a choisi Confluent Cloud pour sa fiabilité et sa simplicité d'usage.

En migrant vers Confluent Cloud, l'équipe de plateforme de données a fait un grand pas en avant dans son projet de mise en œuvre d'un data mesh. Le service de données entièrement géré de Confluent leur a permis de déployer facilement Kafka sur des environnements sur site ainsi que sur des environnements cloud hébergés par AWS.

L'expertise des équipes de Confluent sur Kafka a également permis à SumUp de développer une infrastructure en libre-service pour ses utilisateurs internes, tout en s'affranchissant des problématiques liées à la gestion en interne d'une plateforme. Pour finir, Confluent Cloud a aidé les équipes produit à développer plus facilement des applications orientées clients à l'aide de flux de données en temps réel.

Vers une décentralisation de la propriété des données grâce au streaming de données en libre-service

Pour concrétiser sa vision à long terme, l'équipe de plateforme de données de SumUp devait offrir aux équipes la possibilité de créer de manière indépendante des flux de données consommables et standardisés. Pour cela, elle devait transformer les informations auparavant stockées en silo en produits de données réutilisables capables d'alimenter de nouveaux cas d'usage.

Une telle transition impliquait de mettre en œuvre différents principes: responsabilité basée sur le domaine, gouvernance fédérée et infrastructure en libre-service. Concrètement, cela signifiait que les équipes chargées de produire ou de gérer les données entrantes devaient créer et gérer elles-mêmes les produits de données nouvellement créés, tandis que l'équipe de plateforme de données devait contrôler les normes et politiques en lien avec les données.

Pourquoi Confluent était le partenaire idéal pour aider SumUp à mener à bien sa stratégie de données

SumUp avait besoin d'une solution lui permettant de réduire la charge opérationnelle associée aux services de streaming, tout en garantissant la stabilité de sa plateforme dans le cadre de cas d'usage critiques.

Avec Confluent Cloud, l'équipe de plateforme de données a pu confier la gestion de son infrastructure à une équipe d'experts afin de se concentrer sur la mise en œuvre d'un modèle de données décentralisé. Cela a permis aux autres équipes de l'entreprise d'explorer, puis de mettre en place, de nouveaux cas d'usage du streaming de données.

Avant cette transition, les ingénieurs de l’équipe de plateforme de données recevaient les demandes de leurs collègues, les priorisaient en fonction de leur charge de travail, et devaient comprendre les tenants et aboutissants de chaque demande en matière de données, avant de pouvoir y répondre.

Pour les cas d’usage analytiques par exemple, ce processus impliquait :

• D’identifier les sources et les cibles de données

• De préparer des modèles de données sur la base des besoins en matière de reporting ou d’analytique

• De créer des pipelines de données pour pouvoir se connecter à l’architecture d’entrepôt de données

• D’aider leurs collègues à générer des rapports sur la base des données obtenues

Plus l’entreprise se développait et lançait de nouveaux produits, plus il devenait difficile pour l’équipe de plateforme de données de mettre à niveau l’infrastructure pour répondre à la demande. La création de nouveaux pipelines et d’une architecture axée sur les événements n’a pas suffi à soulager l’équipe, qui avait toujours du mal à développer ses services à l’échelle de l’entreprise (car sa capacité à créer de tels pipelines restait limitée).

Dans ce contexte difficile, l’équipe de plateforme de données ne pouvait prioriser que quelques projets chaque semestre, et finissait par reporter indéfiniment des cas d’usage utiles. Confluent Cloud a permis à l’équipe de se focaliser sur la création de produits de données fiables et partageables, plutôt que sur la gestion de l’infrastructure de données et de problématiques opérationnelles.

Comment SumUp tire parti des fonctionnalités professionnelles de Confluent Cloud

En tant que plateforme cloud native et sans serveur, Confluent Cloud permet à l’équipe de plateforme de streaming de tirer parti de l’architecture de microservices de SumUp, hébergée au sein d’instances PostgreSQL sur Amazon RDS. Les équipes internes peuvent donc profiter à tout moment et en libre-service des fonctionnalités de Confluent Cloud.

Aujourd’hui, chaque équipe de SumUp peut publier de manière indépendante des données de streaming directement sur Confluent Cloud. Les autres collaborateurs de l’entreprise peuvent ensuite consommer ces flux afin d’enrichir des produits de données ou de concevoir de nouvelles stratégies pour faire de SumUp une entreprise encore plus axée sur les données.

L’équipe de plateforme de données de SumUp utilise désormais Confluent Cloud pour offrir des services de plateforme basés sur Kafka. Ces services assurent une qualité de données constante lors de l’envoi de données à certains systèmes à des fins de modélisation de données. En plus de disposer de fonctionnalités open source telles que Kafka Connect, l’équipe bénéficie d’avantages propres à Confluent :

• Des fonctionnalités de sécurité et de gouvernance de niveau professionnel (p. ex., des contrôles d’accès basés sur les rôles)

• Une amélioration de la productivité des développeurs(notamment grâce à la fonctionnalité Schema Registry)

• Un fonctionnement véritablement cloud native et une grande flexibilité (p. ex. avec Confluent pour Kubernetes et Confluent Operator)

Plus de 20 équipes utilisent désormais le streaming de données

Suite à la mise en œuvre des bases de son data mesh grâce à Confluent Cloud, l’équipe de plateforme de données de SumUp peut désormais proposer des flux de données fiables, accessibles et partageables. L’ensemble des collaborateurs, quelle que soit leur fonction au sein de l’entreprise, disposent désormais d’une plateforme commune pour publier, transformer et partager les données de streaming dont SumUp a besoin pour offrir à ses clients de meilleurs produits et booster son efficacité.

Accélérer l’adoption du streaming de données grâce à un modèle décentralisé

Avec Confluent, les équipes qui mettent en œuvre des cas d’usage de Kafka peuvent créer et partager facilement des produits de données sans dépendre de l’équipe de plateforme de données. Lorsqu’une équipe a besoin d’accéder à certaines données, il lui suffit d’envoyer directement une demande au propriétaire de ces dernières en lui demandant de publier ces données sur Confluent Cloud afin que les ingénieurs de l’équipe concernée puissent créer des produits de données réutilisables.

En libérant les collaborateurs de SumUp des contraintes liées à la gestion des données, Confluent a permis à de nouvelles équipes d’intégrer le streaming de données dans leurs produits, systèmes de reporting et cas d’usage analytiques, et a également aidé l’équipe de plateforme de données à se concentrer sur des tâches à forte valeur ajoutée (telles que la création de nouveaux services de plateforme basés sur Kafka pour les équipes, toujours plus nombreuses, qui utilisent Confluent Cloud chez SumUp).

Mettre en œuvre des cas d’usage critiques

Désormais, plus de 20 équipes de SumUp utilisent Confluent Cloud pour mettre en œuvre des cas d’usage critiques et complexes :

Équipe Global Bank : cette équipe transverse est chargée de gérer les services bancaires et les services de paiements aux commerçants de SumUp. Grâce à Confluent Cloud, elle a boosté ses processus de distribution de données entre les différents microservices chargés de mettre à jour les enregistrements de transaction avant de les transmettre en temps réel sur le compte des commerçants. En créant des produits de données réutilisables avec ces données de transaction obtenues en temps réel, l’équipe a amélioré la résilience des cas d’usage qui impliquent d’importants volumes de données, tels que la surveillance 24h/24, 7j/7, la détection de la fraude ou les recommandations personnalisées basées sur l’activité de compte des commerçants. Cela lui a permis d’améliorer l’expérience proposée aux commerçants, et donc de gagner leur confiance.

Équipe de gestion de la relation client (CRM) : l’équipe CRM utilise Confluent Cloud pour fournir aux équipes opérationnelles des informations en temps réel relatives aux clients et aux produits, directement dans le système CRM. En abandonnant les traitements par lots au profit du streaming de données en temps réel, elle partage ses données de streaming avec l’ensemble de l’entreprise et offre aux clients une expérience optimisée.

Équipe chargée des données de risque et de la plateforme de machine learning : cette équipe gère la liaison entre les processus d’agrégation de streaming en temps quasi réel et le feature store de SumUp. Avec Confluent Cloud, l’équipe a pu standardiser les pipelines de données qui alimentent les modèles de machine learning, ce qui permet à ces derniers de prendre des décisions sur la base de données à jour, et donc d’être utilisés de manière optimale par les équipes et les clients de SumUp.

Quelles perspectives d’avenir pour SumUp et Confluent Cloud ?

De plus en plus de services au sein de SumUp cherchent à mettre en place de nouveaux cas d’usage du streaming de données afin d’améliorer l’expérience de leurs clients et l’efficacité de leurs processus. Avec Confluent Cloud en tant que plateforme de streaming de données, l’équipe de plateforme de données peut inscrire facilement ces nouveaux utilisateurs.

L’équipe prévoit également, dans un futur proche, d’inclure des clusters multi régionaux au déploiement de son data mesh. Si l’infrastructure de SumUp est pour le moment principalement axée sur l’Europe, cela devrait en effet changer puisque l’entreprise s’est développée aux États-Unis, en Australie et en Amérique latine, et compte bien internationaliser son architecture.

Combiné avec les fonctionnalités de gouvernance fédérée et l’infrastructure en libre-service de SumUp, ce déploiement multirégional permettra à l’équipe de plateforme de données de répondre aux exigences en matière de gouvernance et de réglementation lorsqu’elle proposera ses services aux clients de ces pays.

Enfin, l’équipe de plateforme de données prévoit d’exploiter des fonctionnalités de traitement de flux et de partage de données en temps réel avec des outils tels que ksqlDB et les proxys REST. Alors que les collaborateurs se tournant vers Confluent Cloud sont de plus en plus nombreux, ces fonctionnalités vont permettre à l’équipe d’utiliser les produits de données pour :

• Améliorer les processus et les fonctionnalités de reporting grâce à des informations en continu

• Optimiser l’utilisation des ressources informatiques et des systèmes back-end

• Proposer aux commerçants des applications et services en temps réel adaptés à leurs besoins

En savoir plus sur SumUp