Alibaba Cloud accélère les applications d'IA

Analytics Zoo et bfloat16 améliorent les performances des applications d'IA sur les instances Alibaba Cloud ECS de 7ᵉ génération.

En bref :

  • Les instances Alibaba Cloud ECS haute fréquence de 7ᵉ génération utilisent l'architecture X-Dragon de 3ᵉ génération et les processeurs Intel® Xeon® Scalable de 3ᵉ génération.

  • Les processeurs Intel Xeon Scalable de 3ᵉ génération offrent des plateformes de pointe optimisées pour les charges de travail grâce à la technologie Intel® Deep Learning Boost (Intel® DL Boost) améliorée, qui est une fonctionnalité intégrée d'accélération de l'IA (intelligence artificielle). La technologie Intel DL Boost améliorée offre la première prise en charge x86 de bfloat16 du secteur, ce qui améliore l'inférence et les performances de formation de l'IA.

Télécharger le résumé d'une page
author-image

Par

PDF

Introduction

Ce document décrit comment utiliser Analytics Zoo et Brain Floating Point 16 bits (bfloat16) pour améliorer les performances des applications d'intelligence artificielle (IA) s'exécutant sur les instances Alibaba ECS (Elastic Compute Service) de 7ᵉ génération.

Les instances Alibaba ECS de 7ᵉ génération sont équipées de processeurs Intel® Xeon® Scalable de 3ᵉ génération et prennent en charge bfloat16.

Les processeurs Intel Xeon Scalable de 3ᵉ génération peuvent traiter des charges de travail d'IA complexes. Grâce à la technologie Intel DL Boost améliorée, les processeurs Intel Xeon Scalable de 3ᵉ génération peuvent offrir des performances de formation de l'IA jusqu'à 1,93 fois supérieures1, des performances d'inférence IA jusqu'à 1,87 fois supérieures pour la classification des images,2, des performances de formation de l'IA jusqu'à 1,7 fois supérieures pour le traitement du langage naturel (NLP)3 et des performances de formation de l'IA 4 De nombreuses charges de travail de formation d'IA de secteurs tels que la santé, les finances et la vente au détail peuvent bénéficier de la prise en charge de bfloat16 fournie par ces processeurs.

Lire le livre blanc - Accelerating AI Applications on Alibaba Cloud with Analytics Zoo and Bfloat16 (Accélérer les applications d'IA sur Alibaba Cloud avec Analytics Zoo et Bfloat16).

Explore Related Products and Solutions

Processeurs Intel® Xeon® Scalable

Générez des données exploitables, comptez sur la sécurité matérielle et mettez en place des prestations de services dynamiques avec les processeurs Intel® Xeon® Scalable.

En savoir plus

Analytics Zoo

Faites évoluer vos modèles d'IA en toute transparence vers des clusters big data comportant des milliers de nœuds pour l'apprentissage ou l'inférence distribué(e).

En savoir plus

Intel® Deep Learning Boost

Les processeurs Intel® Xeon® Scalable font franchir un nouveau seuil de performances aux applications d'IA grâce à Intel® Deep Learning Boost.

En savoir plus

Voir plus Voir moins

Customer Stories and Case Studies

Explore the latest customer stories, case studies, and news releases highlighting data-centric innovations.

Data Center Workloads

Learn how Intel® technologies can help provide the scalability needed for high-demand workloads and applications.

Data Center Insights

Get the latest information about Intel data center performance, flexibility, and scalability.

Infos sur le produit et ses performances

1Des performances de formation de l'IA jusqu'à 1,93 fois supérieures avec un processeur Intel Xeon Scalable de 3ᵉ génération prenant en charge Intel DL Boost avec BF16 par rapport à un processeur de génération précédente avec un débit ResNet-50 pour la classification d'images. Nouvelle configuration : 1 nœud, 4 processeurs Intel Xeon Platinum 8380H de 3ᵉ génération (pré-production 28 cœurs, 250 W) avec 384 Go de mémoire totale (24 x 16 Go, 3 200 GHz), SSD Intel de 800 Go, ResNet-50 v1.5, ucode 0x70001b, technologie Intel Hyper-Threading (Intel HT) activée, technologie Intel Turbo Boost activée, et exécutant Ubuntu 20.04 LTS, Linux 5.4.0-26,28,29-generic. Débit : https://github.com/Intel-tensorflow/tensorflow -b bf16/base, commit#828738642769358b388d8f615ded9c213f10c99a, Model Zoo : https://github.com/IntelAI/models -b v1.6.1, ImageNet dataset, oneDNN 1.4, BF16, BS=512, testée par Intel le 18/05/2020. Référence : 1 nœud, 4 processeurs Intel Xeon Platinum 8280 avec 768 Go de mémoire totale (24 x 32 Go, 2 933 GHz), SSD Intel de 800 Go, ucode 0x4002f00, technologie Intel HT activée, technologie Intel Turbo Boost activée, avec Ubuntu 20.04 LTS, Linux 5.4.0-26,28,29-generic, ResNet-50 v1.5. Débit : https://github.com/Intel-tensorflow/tensorflow -b bf16/base, commit#828738642760358b388d8f615ded0c213f10c99a, Model Zoo : https://github.com/intelai/models -b v1.6.1, ImageNet dataset, oneDNN 1.4, FP32, BS=512, testée par Intel le 18/05/2020.
2Des performances d'inférence de l'IA jusqu'à 1,87 fois supérieures avec des processeurs Intel Xeon Scalable de 3ᵉ génération prenant en charge Intel DL Boost avec BF16 par rapport à des processeurs de génération précédente utilisant FP32 sur le débit ResNet-50 pour la classification d'images. Nouvelle configuration : 1 nœud, 4 processeurs Intel Xeon Platinum 8380H de 3ᵉ génération (préproduction, 28 cœurs, 250 W) avec 384 Go de mémoire totale (24 x 16 Go, 3 200 GHz), SSD Intel de 800 Go, ucode 0x70001b, technologie Intel HT activée, technologie Intel Turbo Boost activée avec Ubuntu 20.04 LTS, Linux 5.4.0-26,28,29-generic, ResNet-50 v1.5. Débit : https://github.com/Intel-tensorflow/tensorflow -b bf16/base, commit#828738642760358b388e8r615ded0c213f10c99a, Model Zoo : https://github.com/IntelAI/models -b v1.6.1, ImageNet dataset, oneDNN 1.4, BF16, BS=56, 5 instances, 28 cœurs/instance, testée par Intel le 18/05/2020. Référence : 1 nœud, 4 processeurs Intel Xeon Platinum 8280 avec 768 Go de mémoire totale (24 x 32 Go, 2 933 GHz), SSD Intel de 800 Go, ucode 0x4002f00, technologie Intel HT activée, technologie Intel Turbo Boost activée, avec Ubuntu 20.04 LTS, Linux 5.4.0-26,28,29-generic, ResNet-50 v1.5. Débit :https://github.com/Intel-tensorflow/tensorflow -b bf16/base, commit#828738642760358b388d8f615ded0c213f10c99a, Model Zoo : https://github.com/IntelAI/models -b v1.6.1, ImageNet dataset, oneDNN 1.5, FP32, BS=56, 4 instances, 28 cœurs/instance, testée par Intel le 18/05/2020.
3Des performances de formation de l'IA jusqu'à 1,7 fois supérieures avec un processeur Intel Xeon Scalable de 3ᵉ génération prenant en charge Intel DL Boost avec BF16 par rapport à un processeur de génération précédente sur un débit BERT pour le traitement du langage naturel. Nouvelle configuration : 1 nœud, 4 processeurs Intel Xeon Platinum 8380H de 3ᵉ génération (préproduction, 28 cœurs, 250 W) avec 384 Go de mémoire totale (24 x 16 Go, 3 200 GHz), SSD Intel de 800 Go, ucode 0x70001b, technologie Intel HT activée, technologie Intel Turbo Boost activée avec Ubuntu 20.04 LTS, Linux 5.4.0-26,28,29-generic, BERT-Large (QA). Débit : https://github.com/Intel-tensorflow/tensorflow -b bf16/base, commit#828738642760358b388e8r615ded0c213f10c99a, Model Zoo : https://github.com/IntelAI/models -b v1.6.1, Squad 1.1 dataset, oneDNN 1.4, BF16, BS=12, testée par Intel le 18/05/2020. Référence : 1 nœud, 4 processeurs Intel Xeon Platinum 8280 avec 768 Go de mémoire totale (24 x 32 Go, 2 933 GHz), SSD Intel de 800 Go, ucode 0x4002f00, technologie Intel HT activée, technologie Intel Turbo Boost activée, avec Ubuntu 20.04 LTS, Linux 5.4.0-26,28,29-generic, ResNet-50 v1.5. Débit : https://github.com/Intel-tensorflow/tensorflow -b bf16/base, commit#828738642760358b388d8f615ded0c213f10c99a, Model Zoo : https://github.com/IntelAI/models -b v1.6.1, Squad 1.1 dataset, oneDNN 1.5,FP32, BS=12, testée par Intel le 18/05/2020.
4Jusqu'à 1,9 fois supérieures avec un processeur Intel Xeon Scalable de 3ᵉ génération prenant en charge Intel DL Boost avec BF16 par rapport à un processeur de génération précédente avec FP32 pour le débit BERT pour le traitement du langage naturel. Nouvelle configuration : 1 nœud, 4 processeurs Intel Xeon Platinum 8380H de 3ᵉ génération (préproduction, 28 cœurs, 250 W) avec 384 Go de mémoire totale (24 x 16 Go, 3 200 GHz), SSD Intel de 800 Go, ucode 0x70001b, technologie Intel HT activée, technologie Intel Turbo Boost activée avec Ubuntu 20.04 LTS, Linux 5.4.0-26,28,29-generic, BERT-Large (QA). Débit https://github.com/Intel-tensorflow/tensorflow -b bf16/base, commit#828738642760358b388e8r615ded0c213f10c99a, Model Zoo : https://github.com/IntelAI/models -b v1.6.1, Squad 1.1 dataset, oneDNN 1.4, BF16, BS=32, 4 instances, 28 cœurs/instance, testée par Intel le 18/05/2020. Référence : 1 nœud, 4 processeurs Intel Xeon Platinum 8280 avec 768 Go de mémoire totale (24 x 32 Go, 2 933 GHz), SSD Intel de 800 Go, ucode 0x4002f00, technologie Intel HT activée, technologie Intel Turbo Boost activée, avec Ubuntu 20.04 LTS, Linux 5.4.0-26,28,29-generic, BERTLarge (QA). Débit : https://github.com/Intel-tensorflow/tensorflow -b bf16/base, commit#828738642760358b388d8f615ded0c213f10c99a, Model Zoo: https://github.com/IntelAI/models -b v1.6.1, Squad 1.1 dataset, oneDNN 1.5, FP32, BS=32, 4 instances, 28 cœurs/instance, testée par Intel le 18/05/2020.