Mélange D'Experts (MoE) : Détails Des Architectures Et Applications De Mixtral 8X7B, DBRX Et Deepseek-V2

Tim inclus dans Llm

2024-12-25 2024-12-25 environ 3100 mots 15 minutes - vues

Contenus

Découvrez en profondeur l’architecture et le fonctionnement des modèles à mélange d’experts (MoE) et explorez les applications et avantages de modèles MoE populaires tels que Mixtral 8X7B, DBRX et Deepseek-v2. Implémentez un modèle MoE en Python et évaluez sa performance dans des tâches telles que le raisonnement logique, le résumé et l’extraction d’entités.

Le concept de modèle à mélange d’experts (MoE) fait sensation depuis un certain temps dans le domaine des grands modèles de langage (LLM). Non seulement il améliore considérablement l’efficacité et l’évolutivité des modèles, mais il offre aussi de nouvelles approches pour traiter des tâches complexes. En termes simples, un modèle MoE divise un large modèle en plusieurs petits modèles, chacun se concentrant sur une tâche ou un type de données spécifique. Ainsi, lors du traitement d’une tâche, le modèle n’active que les “experts” concernés, économisant ainsi considérablement les ressources informatiques.

Dans cet article, vous allez :

Comprendre l’architecture de base et le fonctionnement des modèles MoE
Découvrir quelques modèles MoE populaires comme Mixtral 8X7B, DBRX et Deepseek-v2
Implémenter un modèle MoE en Python sur Google Colab
Évaluer la performance d’un modèle MoE typique dans des tâches de raisonnement logique, de résumé et d’extraction d’entités
Explorer les avantages et défis des modèles MoE dans des tâches complexes telles que le traitement du langage naturel et la génération de code

1 Qu’est-ce qu’un modèle à mélange d’experts (MoE) ?

Les modèles d’apprentissage profond actuels sont principalement basés sur les réseaux de neurones artificiels, composés de plusieurs couches, chacune contenant de nombreux “neurones”. Chaque neurone traite les données d’entrée, effectue des calculs basiques (comme les fonctions d’activation), puis transmet le résultat à la couche suivante. Des modèles plus avancés comme le Transformer introduisent un mécanisme d’auto-attention capable de capturer des motifs complexes dans les données.

Cependant, dans les modèles denses traditionnels, l’ensemble du réseau contribue au calcul de chaque entrée, ce qui engendre des coûts computationnels extrêmement élevés. Pour y remédier, les modèles Mixture of Experts (MoE) adoptent une architecture éparse, n’activant que les parties du réseau pertinentes pour la tâche en cours, ou les “experts”. De cette manière, les modèles MoE consomment nettement moins de ressources informatiques pour traiter des tâches complexes comme le traitement du langage naturel.

Imaginez un projet d’équipe où les membres sont divisés en groupes, chaque groupe se concentrant sur une tâche différente. Le fonctionnement d’un modèle MoE est similaire. Il divise un problème complexe en plusieurs sous-tâches, chacune étant gérée par des “experts” dédiés.

Les principaux avantages des modèles MoE sont :

Vitesse de pré-entraînement accélérée : Par rapport aux modèles denses traditionnels, les modèles MoE sont plus efficaces lors du processus de pré-entraînement.
Vitesse d’inférence améliorée : Même avec un nombre de paramètres identique, un modèle MoE offre une vitesse d’inférence plus rapide.
Exigences élevées en VRAM : Tous les experts doivent être stockés simultanément en mémoire, d’où une demande en VRAM relativement grande pour les modèles MoE.

Diagramme MoE

Un modèle MoE est constitué de deux composants clés : les experts, petits réseaux neuronaux se concentrant sur des tâches spécifiques, et un routeur, qui active sélectivement les experts pertinents à partir des données d’entrée. Cette activation sélective améliore l’efficacité en n’utilisant que les experts nécessaires pour chaque tâche.

2 Quelques modèles MoE typiques

Ces dernières années, les modèles MoE ont suscité un vif intérêt dans la recherche en IA en raison de leur capacité à conserver des performances élevées tout en étendant efficacement les grands modèles de langage. Parmi ceux-ci, Mixtral 8x7B est un exemple typique reposant sur l’architecture à mélange d’experts épars. Ce modèle active seulement un sous-ensemble de ses experts pour chaque entrée, améliorant ainsi l’efficacité tout en réalisant des performances comparables à celles d’un modèle dense massif.

Voyons quelques modèles MoE populaires et testons-les en Python sur Google Colab avec Ollama pour apprécier leur potentiel.

2.1 Mixtral 8X7B

L’architecture de Mixtral 8X7B repose sur un Transformer uniquement avec décodeur. Le modèle traite les entrées sous forme de séries de tokens, convertis en vecteurs puis traités via les couches de décodeur. Le résultat est une probabilité que chaque position soit remplie par un mot, permettant ainsi un remplissage et une prédiction de texte.

Décodeur MoE

Chaque couche de décodeur se compose principalement de deux parties clés : un mécanisme d’attention pour capturer des informations contextuelles, et une section à mélange d’experts épars (SMOE) pour traiter individuellement chaque vecteur de mot. La couche MLP constitue le principal poste de dépense en ressources informatiques. SMOE offre de nombreux “experts”, et pour chaque entrée, seul le résultat pondéré des experts les plus pertinents est retenu, permettant à la couche SMOE d’apprendre des modèles complexes avec un coût de calcul réduit.

Caractéristiques clés du modèle :

Nombre total d’experts : 8
Nombre d’experts activés : 2
Nombre de couches de décodeur : 32
Taille du vocabulaire : 32000
Taille d’embedding : 4096
Taille par expert : 5,6 milliards de paramètres, au lieu de 7 milliards. Les autres paramètres (7 milliards - 5,6 milliards) proviennent de composants partagés comme les couches d’embedding, de normalisation et le mécanisme de porte.
Total des paramètres activés : 12,8 milliards
Longueur du contexte : 32k tokens

Lors du chargement du modèle, tous les 44,8 milliards (8*5,6 milliards de paramètres) doivent être chargés (ainsi que tous les paramètres partagés), mais seuls 2×5,6 milliards (12,8 milliards) de paramètres sont nécessaires pour l’inférence.

Mixtral 8x7B excelle dans de nombreux domaines tels que la génération de texte, la compréhension, la traduction, le résumé, l’analyse de sentiment, l’éducation, les services à la clientèle automatisés, et l’assistance à la recherche. Son architecture efficace en fait un outil puissant pour divers champs d’application.

2.2 DBRX

Développé par Databricks, DBRX est un modèle de langage de grande taille (LLM) basé sur un décodeur Transformer, entraîné pour prédire le prochain token. Il utilise une architecture de mélange d’experts (MoE) à granularité fine avec un total de 132 milliards de paramètres, et 36 milliards de paramètres activés pour chaque entrée. Il a été pré-entraîné sur 12 000 milliards de données textuelles et de code. Comparé à d’autres modèles MoE open source (comme Mixtral et Grok-1), DBRX se distingue par une granularité plus fine et l’utilisation de plus petits experts. DBRX utilise 16 experts, en choisissant 4, contre 8 experts pour Mixtral et Grok-1, qui choisissent 2.

Caractéristiques clés de l’architecture :

Experts à granularité fine : Au lieu de simplement dupliquer les couches FFN pour créer plusieurs experts lors de la transition vers une couche MoE, l’objectif avec des experts à granularité fine est de créer davantage d’experts sans augmenter le nombre de paramètres. Pour ce faire, une seule couche FFN peut être divisée en multiples segments, chaque segment se comportant comme un expert distinct. DBRX adopte ce type d’architecture MoE, avec 16 experts parmi lesquels 4 sont sélectionnés pour chaque entrée.
Le modèle applique aussi d’autres innovations comme le codage de position rotatif (RoPE), les unités linéaires avec engorgement (GLU) et l’attention de requête groupée (GQA).

Caractéristiques clés du modèle :

Nombre total d’experts : 16
Nombre d’experts activés par couche : 4
Nombre de couches de décodeur : 24
Total des paramètres activés : 36 milliards
Nombre total de paramètres : 132 milliards
Longueur du contexte : 32k tokens

Le modèle DBRX est particulièrement performant dans des cas d’échelle tels que la génération de code, la compréhension fine du langage, le raisonnement mathématique et les tâches de programmation, notamment dans des scénarios exigeant efficacité et précision, comme la génération de snippets de code, la résolution de problèmes mathématiques, et la fourniture d’explications détaillées pour des prompts complexes.

2.3 Deepseek-v2

Dans l’architecture MoE de Deepseek-v2, deux idées essentielles sont mises à profit :

Experts à granularité fine : Convient à une spécialisation plus avancée des experts et à un accès plus précis aux connaissances.
Experts partagés : Cette méthode vise à désigner certains experts comme des experts partagés, garantissant leur activation continuelle. Cette stratégie aide à rassembler et à synthétiser des connaissances universelles pertinentes à travers divers contextes.

DeepSeekMoE

Caractéristiques clés du modèle :

Nombre total de paramètres : 236 milliards
Total des paramètres activés : 21 milliards
Nombre d’experts par couche routée : 160 (dont 2 sont choisis)
Nombre d’experts partagés par couche : 2
Nombre d’experts activés par couche : 8
Nombre de couches de décodeur : 60
Longueur du contexte : 128k tokens

Le modèle a été pré-entraîné sur un large ensemble de données comptant 81 000 milliards de tokens.

DeepSeek-V2 est particulièrement adapté pour les conversations, ce qui en fait un bon choix pour les chatbots et les assistants virtuels. Le modèle peut générer du texte de haute qualité et est donc approprié pour la création de contenu, la traduction linguistique, et le résumé. Il est également bien adapté pour des cas d’utilisation générant du code.

3 Implémenter un modèle MoE avec Python

Les modèles MoE représentent une avancée majeure en apprentissage machine, sélectionnant dynamiquement différents réseaux d’experts pour traiter diverses tâches. Voici comment implémenter un modèle MoE en Python et explorer sa puissance.

3.1 Étape 1 : Installer les bibliothèques Python nécessaires

D’abord, il est nécessaire d’installer quelques bibliothèques Python essentielles :

1
2
3
4
5


!sudo apt update
!sudo apt install -y pciutils
!pip install langchain-ollama
!curl -fsSL https://ollama.com/install.sh | sh
!pip install ollama==0.4.2

3.2 Étape 2 : Activer les threads

Ensuite, utilisez threading pour faire fonctionner le service Ollama :

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


import threading
import subprocess
import time

def run_ollama_serve():
  subprocess.Popen(["ollama", "serve"])

thread = threading.Thread(target=run_ollama_serve)
thread.start()
time.sleep(5)

3.3 Étape 3 : Récupérer le modèle Ollama

Récupérez un modèle Ollama, tel que DBRX :

1

!ollama pull dbrx

3.4 Étape 4 : Interroger le modèle

Testez le modèle et voyez comment il se comporte :

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


from langchain_core.prompts import ChatPromptTemplate
from langchain_ollama.llms import OllamaLLM
from IPython.display import Markdown

template = """Question: {question}

Answer: Let's think step by step."""

prompt = ChatPromptTemplate.from_template(template)

model = OllamaLLM(model="dbrx")

chain = prompt | model

# Préparer les données d'entrée pour l'appel
input_data = {
    "question": 'Résumez le contenu suivant en une seule phrase : "Bob est un garçon. Bob a un chien. Bob et son chien vont se promener. Bob et son chien vont au parc. Au parc, Bob lance un bâton et son chien le rapporte. Le chien court après un écureuil et Bob le poursuit. Bob récupère son chien et ils rentrent chez eux ensemble."'
}

# Utiliser les données d'entrée pour appeler la chaîne et afficher la réponse
response = chain.invoke(input_data)
display(Markdown(response))

4 Performance Réelle du Modèle Mixtral 8x7B

Lors de la comparaison des sorties des différents modèles MoE, nous pouvons analyser leurs différences sur des tâches telles que le raisonnement logique, le résumé et l’extraction d’entités.

Problème de Raisonnement Logique

1

Donnez-moi une liste de 13 mots, chacun ayant 9 lettres.

Sortie :

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


Bien sûr, voici treize mots, chacun ayant neuf lettres :
1. Agriculture
2. Beautiful
3. Chocolate
4. Dangerous
5. Encyclopedia
6. Fireplace
7. Grammarly
8. Hamburger
9. Important
10. Juxtapose
11. Kitchener
12. Landscape
13. Necessary
J'espère que cette liste vous aidera ! Si vous avez d'autres questions ou besoin d'assistance supplémentaire, n'hésitez pas à demander.

Comme on peut le voir dans la sortie ci-dessus, tous les mots de la réponse n’ont pas 9 lettres. Sur les 13 mots, seuls 8 ont 9 lettres. Ainsi, la réponse est partiellement correcte.

Problème de Résumé

1

Résumez le contenu suivant en une seule phrase : "Bob est un garçon. Il a un chien. Bob et son chien se promènent. Bob et son chien vont au parc. Au parc, Bob jette un bâton que son chien rapporte. Le chien poursuit un écureuil, Bob le poursuit. Bob récupère son chien et ils rentrent ensemble à la maison."

Sortie :

1

Le petit garçon Bob profite d'une sortie animée avec son chien adoré. Ils vont ensemble au parc, jouent à rapporter la balle, poursuivent un écureuil puis rentrent ensemble à la maison.

La sortie ci-dessus montre que la réponse est bien résumée.

Extraction d’Entités

1

Extrayez toutes les valeurs numériques et leurs unités correspondantes du texte : "Le marathon mesure 42 kilomètres, plus de 30 000 personnes participent."

Sortie :

1
2
3
4
5
6
7


1. Dans le texte donné, il y a deux valeurs numériques avec leurs unités correspondantes :
   - 42 (longueur du marathon, unité non mentionnée dans le texte mais plus loin, il est indiqué que c'est en kilomètres)
   - 30,000 (nombre de participants)
2. Plus tard dans le texte, l'unité de la longueur du marathon est fournie : kilomètres. Puisqu'aucune autre unité n'est spécifiée pour cette valeur, nous supposons qu'elle est en kilomètres.
3. Ainsi, la réponse finale est :
   - 42 (kilomètres, longueur du marathon)
   - 30,000 (nombre de participants)

La sortie ci-dessus montre que toutes les valeurs et unités ont été correctement extraites.

Problème de Raisonnement Mathématique

1

J'ai 2 pommes, puis j'en achète 2 autres. J'ai utilisé 2 pommes pour faire une tarte. Après avoir mangé la moitié de la tarte, combien de pommes me reste-t-il ?

Sortie :

1
2
3
4


1. Vous commencez avec 2 pommes.
2. Vous en achetez 2 autres, vous avez donc 4 pommes (2 + 2 = 4).
3. Vous utilisez 2 pommes pour faire une tarte, vous avez donc 2 pommes restantes (4 - 2 = 2).
4. Vous mangez la moitié de la tarte, mais comme nous ne savons pas combien de pommes il y avait dans la tarte, il est impossible de déterminer combien de pommes il reste.

La sortie du modèle est inexacte. La réponse correcte devrait être 2, car il reste 2 des 4 pommes après en avoir utilisé 2 pour la tarte.

5 Conclusion

Les modèles MoE offrent une méthode d’apprentissage profond efficace en n’activant que les experts pertinents pour chaque tâche. Cette activation sélective permet aux modèles MoE de réaliser des opérations complexes avec moins de ressources informatiques comparé aux modèles denses traditionnels. Cependant, les modèles MoE nécessitent des compromis, car ils demandent une grande quantité de VRAM pour stocker tous les experts.

L’architecture Mixtral 8X7B est un exemple typique. Elle utilise un mécanisme de mélange d’experts épars (SMoE) qui active uniquement un sous-ensemble d’experts pour réaliser un traitement de texte efficace, ce qui diminue considérablement le coût computationnel. Avec ses 12,8 milliards de paramètres activés et une longueur de contexte de 32k tokens, il performe bien dans diverses applications allant de la génération de texte à l’automatisation du service client. Le modèle DBRX de Databricks se distingue également par son architecture MoE innovante à granulométrie fine, permettant d’activer uniquement 36 milliards de paramètres lors de chaque entrée tout en utilisant un total de 1320 milliards de paramètres. De même, DeepSeek-v2 utilise des experts granulaires et partagés pour offrir une architecture puissante avec 2360 milliards de paramètres et une longueur de contexte de 128 000 tokens, ce qui le rend idéal pour des applications variées telles que les chatbots, la création de contenu et la génération de code.

5.1 Points Clés

Les modèles MoE améliorent l’efficacité de l’apprentissage profond en n’activant que les experts pertinents pour des tâches spécifiques, réduisant l’utilisation des ressources informatiques par rapport aux modèles denses traditionnels.
Bien que les modèles MoE offrent une efficacité computationnelle, ils requièrent une grande capacité de VRAM pour stocker tous les experts, soulignant un compromis clé entre la puissance de calcul et les besoins en mémoire.
Mixtral 8X7B adopte un mécanisme de mélange d’experts épars (SMoE), activant un sous-ensemble des 12,8 milliards de paramètres pour un traitement de texte efficace et prise en charge d’une longueur de contexte de 32 000 tokens, le rendant applicable à diverses applications, y compris la génération de texte et l’automatisation du service client.
Le modèle DBRX de Databricks utilise une architecture de mélange d’experts à grains fins, activant efficacement 36 milliards de paramètres à chaque entrée tout en exploitant 1320 milliards de paramètres au total, démontrant sa capacité à gérer des tâches complexes de traitement du langage.
DeepSeek-v2 combine une stratégie d’experts granulaires et partagés, formant une architecture puissante avec 2360 milliards de paramètres et une longueur de contexte de 128 000 tokens, le faisant exceller dans des applications variées telles que les chatbots, la création de contenu et la génération de code.

6 Questions Fréquemment Posées

Q1. Qu’est-ce qu’un modèle à mélange d’experts (MoE) ?

A. Les modèles MoE utilisent une architecture éparse, n’activant que les experts les plus pertinents pour chaque tâche, réduisant ainsi l’utilisation des ressources informatiques comparé aux modèles denses traditionnels.

Q2. Quels sont les avantages et inconvénients de l’utilisation des modèles MoE ?

A. Bien que les modèles MoE améliorent l’efficacité computationnelle, ils requièrent une grande quantité de VRAM pour stocker tous les experts, nécessitant un compromis entre la puissance de calcul et les besoins en mémoire.

Q3. Combien de paramètres activés compte le modèle Mixtral 8X7B ?

A. Mixtral 8X7B compte 12,8 milliards (2×5,6 milliards) de paramètres activés, représentant une portion des 44,8 milliards au total (8×5,6 milliards de paramètres), le rendant capable de gérer efficacement des tâches complexes tout en offrant une inférence plus rapide.

Q4. En quoi le modèle DBRX diffère-t-il des autres modèles MoE, tels que Mixtral et Grok-1 ?

A. DBRX utilise une méthode de mélange d’experts à granularité fine avec 16 experts par couche et 4 experts activés, contrairement aux autres modèles MoE avec 8 experts par couche et 2 experts activés.

Q5. Comment DeepSeek-v2 se distingue-t-il parmi les autres modèles MoE ?

A. DeepSeek-v2 combine des experts granulaires et partagés ainsi qu’un ensemble de paramètres vastes et une longue longueur de contexte, en faisant un outil puissant pour une variété d’applications.

7 Lectures Recommandées

Buy me a coffee~

Faire un don

Alipay

PayPal

WeChat Pay