Un grand opérateur réseau à haut débit, comptant des millions de points de terminaison chez les clients, a dû relever le défi d'extraire de la valeur des données de télémétrie générées par ses équipements réseau. VelociData a aidé l'opérateur à surmonter ces défis grâce à une solution d'infrastructure de données basée sur une large gamme de technologies Intel®. Désormais, l'opérateur réseau peut exploiter de vastes quantités de données réseau en continu et en temps réel pour lutter contre la fraude, réduire les dépenses d'investissement (CapEx), récupérer des revenus et améliorer la qualité de service (QoS).
La promesse et le défi de l'exploitation des données en réseau
Les fournisseurs de haut débit ont pour mission de fournir des services Internet rapides et fiables à des millions de clients. Pour y parvenir, il est nécessaire de disposer de millions d'appareils réseau, des points de terminaison des clients aux systèmes de terminaison de modem câble (CMTS), en passant par les passerelles et les routeurs géants qui forment le pilier du réseau. Ces appareils ne se contentent pas de diriger le trafic de données vers et depuis les clients, mais ils génèrent également des flux massifs de données en temps réel sur l'utilisation et l'état des appareils. L'exploitation de toutes ces données en réseau peut fournir des informations extrêmement précieuses pour guider les opérations de l'entreprise, qu'il s'agisse des décisions d'investissement en capital, de la détection des fraudes ou de l'assistance à la clientèle.
L'un de ces opérateurs a imaginé un réseau qui offrirait un aperçu significatif de son état interne, de son degré et de ses domaines d'activité, de la manière dont il est utilisé, du type de trafic transporté et des domaines où le volume de trafic est susceptible d'augmenter. Afin de tirer une réelle valeur de ces données, l'entreprise a réalisé qu'elle avait besoin d'une architecture de données conçue pour mettre l'ensemble du flux de données en réseau à la disposition de la modélisation analytique, de l'intelligence artificielle (IA) et de la science décisionnelle.
Travailler avec des données en continu et en temps réel à cette échelle (se comptant non pas en millions mais en dizaines de milliards de lignes de données par jour) est une tâche complexe dans le meilleur des cas. Le défi n'est pas seulement de collecter les données, mais aussi de les trier, de les transformer et de les analyser en temps réel à l'échelle d'Internet, sans perdre d'informations précieuses, même en cas de ralentissement ou de défaillance des composants ou des interconnexions.
Ce défi est rendu encore plus difficile par un réseau hétérogène composé de divers matériels, logiciels et protocoles de données qui n'ont pas été conçus pour fonctionner ensemble et qui ne suivent pas toujours les normes établies.
Qu'est-ce que l'infrastructure de données ?
Une infrastructure de données peut avant tout être considérée comme une interconnexion cohérente entre plusieurs sources de données et plusieurs consommateurs de données. Dans ce cas, les sources de données sont les millions d'appareils du réseau qui génèrent des données de télémétrie, et les consommateurs de données sont les personnes et les systèmes qui cherchent à extraire différentes valeurs métier de ces données.
Mais une infrastructure de données ne se résume pas à un grand nombre de connexions de données. Par analogie, si les données de l'appareil sont la matière première (laine) qui est transformée en flux d'informations utilisables (fil), l'infrastructure de données émerge lorsque tous ces flux sont tissés ensemble pour former une tapisserie : une image complète et cohérente dans le temps des diverses données en réseau dans leur ensemble. Cette infrastructure de données à grande échelle permet aux équipes d'exploitation, d'ingénierie, de marketing et de gestion d'obtenir une visibilité totale du réseau et de faire des découvertes qui apportent une valeur ajoutée à l'entreprise.
Le développement d'une solution avec VelociData
L'opérateur réseau s'est tourné vers VelociData pour mettre en place son approche globale de l'acquisition, de la conservation, de la transmission et de l'analyse du flux continu de données provenant des éléments du réseau (une partie importante et stratégique de son infrastructure de données).
VelociData s'est fixé pour objectif de fournir des informations opportunes et exploitables à partir du flux incessant de données complexes, de formats et de structures très variés, provenant d'appareils situés sur le réseau. La solution devait permettre d'atteindre les objectifs suivants en temps réel :
- Acquérir des données à grande vitesse et à grande échelle
- Analyser les protocoles variés et complexes des données
- Maintenir une cohérence permanente entre plusieurs flux
- Formater les données pour qu'elles soient utilisables dans le traitement analytique
- Fournir les données aux consommateurs humains et numériques
- Analyser et présenter les données de la manière la plus exploitable possible
Tout cela doit être accompli avec des données en mouvement constant, et la solution doit maintenir l'intégrité et la cohérence des données, quoi qu'il arrive dans le système. Les ralentissements, les défaillances et les lacunes dans les données doivent tous être traités en temps réel, sans quoi la valeur informative des données est perdue.
VelociData a fourni une solution sous forme d'appareils construits sur des serveurs Dell Technologies standard, tels que le serveur Dell EMC PowerEdge R740. VelociData utilise des serveurs équipés de technologies Intel avancées pour fournir une solution de bout en bout performante et résiliente.
Les principales technologies Intel® utilisées dans cette solution sont les suivantes :
- Les FGPA (field-programmable gate arrays) Intel® Arria® 10 pour l'analyse et l'indexation des données à des taux de 10 gigabits par seconde (Gb/s), capables de fournir des formats de données exploitables, tels que des valeurs séparées par des virgules (CSV), XML et JavaScript Object Notation (JSON). Les FPGA SmartNIC basés sur la technologie Intel® figurent sur la feuille de route de VelociData.
- Les processeurs Intel® Xeon® Scalable (initialement les processeurs Intel® Xeon® Gold 6150) avec des instructions vectorielles spécialisées Streaming SIMD Extensions 4.2 (SSE4.2), notamment pour l'analyse des données (création de jetons de flux d'entrée).
- Les algorithmes de streaming optimisés par NUMA dans la mémoire pour utiliser pleinement la bande passante disponible en plaçant les données à proximité du processeur qui doit les utiliser.
- La carte réseau convergent Ethernet Intel® XL710 pour la capture de paquets jusqu'à 40 Go, et le kit de développement du plan de données (DPDK) pour la capture et l'inspection de paquets, ce qui remplace un pilote par interruptions par un pilote en mode interrogation bien implémenté qui permet d'augmenter le débit tout en contribuant à réduire la consommation du processeur.
VelociData a consacré d'importants efforts à l'optimisation de ses applications afin de tirer parti des avantages de la plateforme matérielle. Les développeurs ont harmonisé les éléments de calcul et de stockage, utilisé le jeu d'instructions vectorielles avec soin et optimisé le traitement parallèle pour obtenir de faibles latences. VelociData a également construit son propre moteur d'accès direct à la mémoire (DMA) du FPGA, son pilote et ses bibliothèques, ce qui a permis d'obtenir des communications à très faible latence entre le FPGA et la mémoire du processeur.
Figure 1. Architecture de l'infrastructure de données en réseau VelociData.
Les appareils exécutent deux progiciels VelociData différents, connus sous les noms de Raptor et Vortex, comme l'illustre la Figure 1. Raptor comprend les langues des appareils réseau, tandis que Vortex utilise les langues des outils analytiques et d'IA.
Raptor est l'outil chargé de la collecte des données. Il se connecte aux différents éléments du réseau (tels que les routeurs et les CMTS) pour extraire des données à l'aide de protocoles tels que le protocole SMTP (Simple Mail Transfer Protocol), IPDR (IP Detail Record), NetFlow, la télémétrie en continu, etc. Raptor est compatible avec les différents formats de protocole, les champs de données et les nuances des différentes marques d'équipement. Il analyse les champs de données de tous les éléments du réseau et convertit les données au format de données commun propriétaire de VelociData pour pouvoir les utiliser dans les applications de surveillance, de rapport et d'automatisation du réseau.
Vortex intègre les données des serveurs Dell Technologies exécutant Raptor avec des données provenant d'autres systèmes et sources d'applications pour créer et fournir une vue complète du réseau et de l'entreprise à de multiples destinations, notamment Amazon Simple Storage Service (Amazon S3) et Kafka, le tout dans un format normalisé destiné à être utilisé par les machines comme les utilisateurs.
Les avantages d'une infrastructure de données bien structurée
La solution VelociData de cet opérateur réseau fonctionne de manière fiable depuis plusieurs années. L'opérateur a bénéficié d'un large éventail de services et d'informations résultant de la disponibilité de cette infrastructure de données à grande échelle.
Le haut débit est une activité à forte intensité de capital, et l'infrastructure de données a permis à cet opérateur réseau de mieux prévoir l'utilisation future et de prendre des décisions d'investissement en conséquence. Par exemple, l'infrastructure de données peut aider à prendre des décisions sur la manière dont l'entreprise doit déployer davantage de fibres : dans quelles zones géographiques, pour quels utilisateurs, à quel coût et avec quel retour sur investissement (ROI). L'entreprise a développé des modèles avancés pour aider à répondre à ce type de questions, en se basant en partie sur les données fournies par la solution VelociData.
Un autre type de modélisation a contribué à la détection des fraudes. Les modems câble piratés, ou « clones », qui usurpent le réseau pour paraître légitimes, constituent un problème important pour les fournisseurs de haut débit.
Grâce à une analyse basée sur le machine learning (ML), cet opérateur a pu identifier et désactiver les clones, et dans certains cas, augmenter ses revenus en vendant des modems et des contrats légitimes aux personnes qui utilisaient des clones.
Un certain nombre d'applications de données de l'opérateur tournent autour du diagnostic. L'assistance à la clientèle et son infrastructure représentent une dépense énorme pour tout fournisseur de haut débit. Les applications capables d'identifier et de diagnostiquer de manière préventive les problèmes de réseau représentent donc une opportunité majeure de réduction des coûts. Supposons, par exemple, qu'un service de streaming soit pixellisé pour plusieurs clients. Les données provenant des appareils réseau peuvent permettre d'identifier le problème avant même qu'il ne soit signalé par un client. Et en fonction de l'endroit où le problème se produit sur le réseau, les diagnostics automatisés pourraient être en mesure de déterminer si la source du problème se situe à l'échelle d'un bâtiment ou d'un nœud reliant un plus grand nombre de clients. Cette visibilité en temps réel sur l'ensemble du réseau permet à l'opérateur d'effectuer un ensemble de diagnostics plus granulaires et plus performants qui peuvent réduire les coûts. Il est coûteux, par exemple, d'envoyer une équipe d'intervention sur un site donné si le problème se trouve ailleurs.
L'opérateur réseau a découvert de nombreuses autres utilisations de son infrastructure de données. Il a, par exemple, créé des profils de clients sur la base des données d'utilisation et les a utilisés pour améliorer le processus de développement de nouveaux produits. L'opérateur a également pu modéliser l'impact susceptible du déploiement d'un nouveau produit ou service sur la qualité de service, ce qui est bien plus efficace que l'ancienne méthode empirique consistant à déployer le produit ou service et à observer ce qui se passe.
Exploitation du flux de données du réseau
VelociData a tiré parti d'un large éventail de technologies et de systèmes Intel pour créer un système de données en continu qui permet de mieux comprendre et d'optimiser les décisions et les opérations commerciales d'un grand fournisseur réseau à haut débit. En donnant à l'opérateur réseau la possibilité d'optimiser la planification des investissements, de détecter les comportements frauduleux, d'améliorer la qualité de service et de contrôler ses dépenses opérationnelles, VelociData lui a permis de réaliser des millions de dollars de valeur ajoutée à partir de ses données en temps réel.
À propos de VelociData
VelociData est un innovateur de premier plan dans le domaine de la collecte, du traitement et de la transmission de données en temps réel et en continu. Il travaille en étroite collaboration avec Intel pour permettre à ses clients de tirer le meilleur parti de leurs systèmes. Proposant un logiciel facile à utiliser, exceptionnellement fiable, extrêmement rentable et soutenu par un portefeuille de brevets fondamentaux sur les données en continu, VelociData fournit aux plus grandes entreprises du monde de puissantes solutions de données en temps réel pour les services financiers, les soins de santé, la gestion des réseaux, etc.
Plus d'infos
Pour plus d'informations sur Intel® programmable logic.
Visitez le concentrateur d'accélération Intel.