La capacité et les performances de stockage sont souvent sous-utilisées dans les centres de données actuels. Il y a une raison logique à cela. Une infrastructure doit être capable de prendre en charge la plus grande quantité de stockage et les demandes de performances les plus élevées qui pourraient potentiellement être requises pour un serveur ou une application spécifique. En fait, les taux d'utilisation des performances et de la capacité de stockage sont faibles à très faibles dans un déploiement typique. Par conséquent, les solutions de stockage évoluent rapidement afin de combler ces lacunes et répondre aux exigences spécifiques de chaque client.
Finanz Informatik Technologie Service (FI-TS) est un fournisseur de services Cloud (CSP) au service des principales sociétés de services financiers et d'assurance en Allemagne. Ces grandes institutions disposent de bases de données massives et proposent des services qui exigent des niveaux de performance élevés. Elles ont besoin de services d'infrastructure sécurisés capables de répondre à ces demandes tout en minimisant les coûts. Pour atteindre cet objectif, il est essentiel d'éliminer la capacité de stockage sous-utilisée tout en étant capable de faire évoluer les données de manière efficace sans compromettre les performances ou la flexibilité. Face à ces défis, FI-TS s'est tourné vers Lightbits Labs et Intel pour l'aider à développer une solution efficace.
Le défi du stockage et des conteneurs
L'équipe DevOps de FI-TS mettait au point l'interface de production Finance Cloud Native basée sur Kubernetes pour fournir des services natifs du Cloud construits sur une infrastructure NVM Express (NVMe) conçue en interne. L'exigence la plus importante de la solution était qu'elle devait respecter les lois de l'Union européenne (UE) et de l'Allemagne en matière de conformité des données, y compris les réglementations sur le stockage des données et les réglementations financières établies par l'autorité fédérale allemande de surveillance financière, la BaFin. Tout stockage persistant devrait répondre à ces exigences.
Malheureusement, répondre à ces exigences critiques était un défi substantiel au sein de l'environnement Kubernetes de FI-TS en raison du stockage NVMe à connexion directe que l'entreprise utilisait à l'époque. L'orchestration Kubernetes permettait de créer des volumes persistants locaux (sur NVMe), mais ceux-ci n'offraient aucune protection des données et obligeaient les applications à offrir leur propre haute disponibilité. Sinon, les conteneurs qui ont été déplacés vers un autre serveur n'auraient pas accès à leurs données précédemment écrites. Ce qu'il fallait, c'était une solution de stockage centralisée et redondante qui fonctionne comme le NVMe local, qui fonctionne avec des conteneurs et qui répond aux exigences de la BaFin en matière de protection et de conservation des données.
FI-TS était également confronté à des inefficacités en matière de stockage et d'utilisation des ressources, car il n'est pas possible de faire évoluer le stockage indépendamment de la puissance de calcul avec le système DAS en place. FI-TS avait examiné plusieurs solutions alternatives - y compris des solutions de stockage traditionnelles dans des centres de données - pour résoudre ces problèmes, mais les structures de coûts ne correspondaient pas à l'analyse de rentabilité de l'entreprise.
Gestion de la haute disponibilité
Compte tenu des industries qu'elle dessert, FI-TS avait besoin d'un stockage persistant capable d'offrir une haute disponibilité à des taux de performance flash locaux. La solution devait également être conçue pour s'intégrer à la couche d'orchestration et s'intégrer étroitement à Kubernetes en utilisant la spécification de l'interface de stockage commune (CSI). Enfin, étant donné que plusieurs clients institutionnels utiliseraient la plateforme, la solution devait prendre en charge la multilocation tout en contribuant à garantir la conformité avec les réglementations européennes et allemandes strictes en matière de finances et de confidentialité.
Face à ces nécessités, FI-TS s'est tourné vers Lightbits Labs, un partenaire d'Intel. Lightbits a été le pionnier de la norme NVMe sur TCP (NVMe/TCP) incorporée dans LightOS, qui permet l'intégration complète du stockage persistant natif dans le Cloud pour Kubernetes, avec une mise à l'échelle et une disponibilité sans précédent via le clustering. Grâce à un frontal NVMe/TCP optimisé et à une gestion intelligente des flashs en arrière-plan, LightOS assure des opérations d'entrée/sortie par seconde (IOPS). Du point de vue des applications, il est impossible de les distinguer des unités de stockage SSD NVMe à connexion directe. Lightbits et Intel continuent de travailler ensemble pour promouvoir NVMe sur TCP et fournir un stockage natif pour les centres de données qui soit évolutif, efficace et facile à utiliser.
Définir le succès
Reconnaissant que Lightbits et Intel pouvaient l'aider à surmonter les obstacles auxquels il était confronté, FI-TS a entamé sa collaboration en définissant les exigences de la solution, notamment :
- Une empreinte de stockage réduite, avec la possibilité de s'adapter à l'évolution des besoins.
- Des capacités de stockage persistant pour les services Cloud qui ont offert une haute disponibilité aux clients institutionnels qui construisent leurs infrastructures.
- Une architecture de stockage entièrement automatisée qui offre aux clients un accès direct à Kubernetes à l'aide d'API, notamment la spécification CSI.
- Orchestration pour une offre d'infrastructure en environnement conteneurisé (IaaS)
- La technologie NVMe pour compléter l'infrastructure existante
Après avoir achevé le processus initial de validation de concept (PoC), FI-TS a conclu que la solution de stockage désagrégé native dans le Cloud qui en résultait répondait à ses exigences critiques en matière de fonctionnalité de stockage permanent et de haute disponibilité. À partir de là, FI-TS a continué à collaborer avec Lightbits et Intel pour façonner l'environnement de production complet basé sur Intel.
Figure 1. Aperçu de l'architecture FI-TS Finance Cloud Native.
Assembler les pièces du puzzle
Comme Lightbits utilise NVMe sur TCP, la solution a également pu fonctionner sur l'infrastructure existante de FI-TS, construite sur Ethernet et TCP/IP. Cela a rendu son évolutivité simple et efficace par rapport aux protocoles basés sur l'accès direct à la mémoire à distance (RDMA) et aux autres structures de stockage.
Lightbits et Intel ont été en mesure de répondre aux exigences strictes de l'accord de niveau de service (ANS) de FI-TS. Et la solution de services Finance Cloud Native qui en résulte intègre le stockage en bloc défini par logiciel à haute performance Lightbits LightOS pour les volumes de conteneurs avec une large gamme de matériel Intel, notamment les suivants :
- Processeurs Intel® Xeon® Scalable de 3e génération: Les processeurs Intel Xeon Scalable de 3e génération offrent des performances et une accélération élevées, sont optimisés pour les logiciels de stockage et incluent le dispositif de gestion des volumes Intel (Intel VMD) et les capacités de branchement à chaud des unités de stockage SSD d'entreprise.
- Mémoire persistante Intel® Optane™ (PMem): Intel Optane PMem fait plus que doubler la capacité des modules DIMM DRAM DDR4 classiques, ce qui peut contribuer à réduire considérablement le coût total de possession en augmentant l'utilité de chaque serveur. Intel Optane PMem élargit également le pool de mémoire qui résout les goulets d'étranglement d'entrée/sortie (E/S) élevés en gardant les données facilement accessibles dans le niveau de mémoire pour répondre aux demandes des centres de données haute capacité Finance Cloud Native à mesure que les besoins futurs augmentent.
- Unités de stockage SSD Intel® QLC 3D NAND : La technologie Intel QLC 3D NAND offre un stockage de grande capacité avec des performances de lecture et une évolutivité exceptionnelles. Il s'agit d'une solution abordable qui peut contribuer à réduire l'empreinte des systèmes constitués uniquement de disques durs ou hybrides (disques durs et unités de stockage SSD TLC).
- Intel® Ethernet série 800 avec technologie ADQ (Application Device Queues) : La technologie ADQ permet à NVMe over Fabrics (NVMe-oF)/TCP d'atteindre des performances de stockage distribué du même ordre que les protocoles basés sur RDMA, tandis que NVMe-oF/TCP permet une large adoption en raison de sa facilité de déploiement et de son évolutivité.
L'innovation n'est qu'une partie de l'histoire
Le résultat le plus important pour FI-TS était qu'il pouvait maintenant offrir à ses clients un stockage persistant qui permet la portabilité tout en fonctionnant comme un flash local - un bond en avant dans un monde conteneurisé - tout en restant aligné avec la structure de coût des services Finance Cloud Native. Mais les résultats sont allés bien au-delà de cette innovation notable, Lightbits et Intel ayant également répondu aux autres exigences clés de FI-TS : haute disponibilité et intégration étroite avec Kubernetes à l'aide de CSI. Et comme Lightbits utilise NVMe sur TCP, la solution a également pu fonctionner sur l'infrastructure existante de FI-TS, construite sur Ethernet et TCP/IP. Cela rendait la mise à l'échelle simple et efficace par rapport aux matrices basées sur RDMA ou d'autres matrices de stockage.
« La technologie de stockage sous-jacente FI-TS, le logiciel LightOS sur les dernières technologies matérielles Intel, offre à nos clients un moyen très simple et évolutif d'exécuter des applications à haute performance » -Kam Eshghi, directeur de la stratégie, Lightbits1.
Le stockage LightOS fait la différence
Avec l'introduction de son service Finance Cloud Native, FI-TS a pu offrir un différentiateur clé qui lui a permis de se démarquer clairement de ses concurrents : un modèle de déploiement entièrement automatisé, piloté par API, flexible et facile à utiliser pour le provisionnement des environnements clients. Le service offre une haute disponibilité avec des IOPS élevées, une faible latence (même en charge), une large bande passante et des temps de réponse constants.
Gestion intelligente des flashs
La gestion intelligente des flashs du service Finance Cloud Native permet aux clients finaux de faire tourner des services sur bare metal dans l'environnement Kubernetes en quelques minutes au lieu de plusieurs jours.2 Le service facilite également le provisionnement de volumes définis par logiciel et à haute performance, tout en bénéficiant des avantages de l'approvisionnement fin, de la compression, des instantanés, des clones légers et de la qualité de service (QoS) du stockage. La capacité de LightOS à reconnaître les écritures aléatoires dans les modules Intel Optane PMem, puis à écrire séquentiellement sur les unités de stockage SSD QLC, prolonge également l'endurance des flashs. Avec l'aide d'Intel Optane PMem série 200 et de processeurs Intel Xeon Scalable de 3e génération, la solution a également consolidé un cluster de 8 nœuds avec 704 Go par nœud à un cluster de 5 nœuds avec 2 560 Go par nœud tout en maintenant le même nombre de conteneurs et le même débit.3.
Fiabilité et évolutivité
LightOS automatise la mise à l'échelle des clusters Kubernetes. Cela donne aux clients de Finance Cloud Native l'agilité dont ils ont besoin, y compris une architecture scale-out qui leur permet de faire évoluer indépendamment les performances ou la capacité de stockage, avec un rééquilibrage dynamique dans le cluster de stockage et un redimensionnement dynamique des volumes. Cette approche désagrégée offre une flexibilité totale pour modifier le rapport entre le stockage et le calcul, selon les besoins, afin de répondre aux exigences de performance. Et la fiabilité est intégrée, avec une protection contre les pannes de disque et de serveur, des services de gestion et de recherche hautement disponibles, et la possibilité de servir des centaines de milliers de clients en toute confiance.
Sécurité renforcée et conformité totale
Chaque client FI-TS peut être sûr que son environnement de production est sécurisé, car LightOS prend en charge plusieurs projets et locataires avec une séparation absolue entre les serveurs de calcul dédiés et le stockage Lightbits. Les clients de Finance Cloud Native peuvent également être assurés que les données de leurs clients finaux sont hautement sécurisées, conformément aux réglementations européennes et allemandes.
La solution permet de se démarquer pour FI-TS
FI-TS a facilité le déploiement pour ses clients, grâce à la solution de Lightbits et Intel. En effet, le service Finance Cloud Native fournit des intégrations d'environnement d'application simples et une infrastructure de réseau TCP/IP standard sans utiliser de logiciel client propriétaire. Les coûts sont également limités par l'utilisation de matériel de stockage-serveur standard.
En fin de compte, FI-TS a été en mesure d'améliorer l'utilisation des ressources, d'obtenir de meilleures performances, de faire évoluer les données plus efficacement et de réduire son coût total de possession grâce à sa collaboration avec Lightbits et Intel. Mieux encore, FI-TS a pu offrir un service hautement différencié qui répondait aux besoins les plus critiques de ses clients.
« Avec la plateforme construite sur le logiciel LightBits OS et le matériel Intel, nous avons été en mesure de fournir les performances requises par nos clients et de leur dire en toute confiance que leurs données étaient entre de bonnes mains ». - Gero Skopinski, directeur de Cloud Solutions, Finanz Informatik Technologie Service4
Finanz Informatik Technologie Service (FI-TS) soutient les opérations informatiques de quelques-unes des principales sociétés de services financiers et d'assurance en Allemagne, en fournissant tout, de l'hébergement de l'ordinateur central aux services de cloud public. Fort de ses années d'expérience dans les secteurs de la finance et de l'assurance, FI-TS est un bâtisseur de ponts pour la transformation numérique. FI-TS fournit des technologies Cloud qui répondent aux exigences de conformité réglementaire et offre des solutions de sécurité informatique flexibles.