Mistral Large vs Llama 3 vs Phi-3 — Modèles Open-Source 2026

#Notre verdict

Pour un déploiement enterprise on-premise en 2026, Mixtral 8x22B de Mistral AI reste notre recommandation principale pour les entreprises francophones. Trois raisons : la licence Apache 2.0 sans restriction commerciale, le meilleur support du français parmi les modèles open-weight, et une architecture Mixture of Experts qui offre un rapport performances/coût GPU favorable en production.

Llama 3 70B de Meta est la référence mondiale incontestée pour les projets internationaux. L'écosystème communautaire autour de Llama est le plus riche : des milliers de fine-tunes spécialisés, une documentation exhaustive et un support natif dans tous les frameworks d'inférence du marché.

Phi-3 Medium 14B de Microsoft Research est le choix évident pour les déploiements edge, les prototypes rapides et les postes développeurs. Avec 14 milliards de paramètres, il tourne sur un seul GPU grand public — voire sur un MacBook Pro M3 Max — tout en atteignant des scores de benchmark remarquables pour sa taille.

Ce comparatif s'appuie sur notre expérience de déploiement en production chez des clients B2B. Pas de théorie : des retours terrain sur des projets réels, des coûts GPU constatés et des benchmarks vérifiés sur nos propres infrastructures.

#Alternative propriétaire : la gamme Claude 5 d'Anthropic

Avant de plonger dans le comparatif open-weight, il faut mentionner l'alternative propriétaire qui s'impose sur le marché enterprise en 2026. Anthropic a lancé la famille Claude 5, qui redéfinit les standards de performance sur les tâches B2B :

• Opus 5 (claude-opus-5) : le modèle le plus puissant d'Anthropic. Il domine les benchmarks de raisonnement complexe, d'audit réglementaire et de suivi d'instructions multi-étapes. C'est le choix pour les workflows critiques où la fiabilité prime sur le coût.
• Sonnet 5 (claude-sonnet-5) : le meilleur compromis performance/coût de la gamme. Nehos le déploie par défaut sur les nouveaux projets clients. Il égale ou dépasse Claude 4 Opus sur la majorité des tâches, à un coût par token réduit d'environ 30 %.
• Fable 5 (claude-fable-5) : modèle spécialisé dans la génération de contenu long, la narration structurée et le raisonnement créatif. Idéal pour la rédaction technique, les briefs marketing et la production documentaire à grande échelle.

La différence fondamentale : ces modèles propriétaires sont accessibles uniquement via API. Vos données transitent par les serveurs d'Anthropic. Pour les entreprises sans contrainte réglementaire stricte sur la localisation des données, Sonnet 5 surpasse les trois modèles open-weight comparés ici sur la quasi-totalité des benchmarks. Mais si la souveraineté des données est non négociable — secteur public, défense, banque, santé — les modèles open-weight restent la seule option viable pour un hébergement totalement on-premise.

#Tableau comparatif synthétique

#Performances et benchmarks : MMLU, code et raisonnement

Les benchmarks académiques ne racontent qu'une partie de l'histoire, mais ils permettent de comparer les modèles sur un terrain objectif. Trois mesures structurantes pour un déploiement enterprise : MMLU (connaissances générales), HumanEval (génération de code) et les tâches de suivi d'instructions complexes.

#Mistral Large 2 et Mixtral 8x22B

Mistral Large 2, avec ses 123 milliards de paramètres denses, atteint 84,0 % sur MMLU. C'est le score le plus élevé des trois familles comparées. Sur les tâches de raisonnement mathématique (MATH benchmark), il se situe au niveau des meilleurs modèles propriétaires de mi-2024.

Mixtral 8x22B, l'architecture Mixture of Experts de Mistral, affiche 77,8 % sur MMLU. Le score brut est inférieur, mais l'architecture MoE lui confère un avantage en latence : seuls 39 milliards de paramètres sont activés par token sur les 141 milliards totaux. En pratique, Mixtral 8x22B offre un rapport vitesse/qualité souvent supérieur à un modèle dense de taille comparable.

Sur le code (HumanEval), Mistral Large 2 atteint un pass@1 de 92 %, un niveau comparable à GPT-4 Turbo au moment de sa sortie. Mixtral 8x22B est légèrement en retrait à 78 %.

#Llama 3 70B

Llama 3 70B Instruct affiche 82,0 % sur MMLU et un score HumanEval compétitif. Ce qui distingue Llama 3 des autres modèles open-weight, c'est la cohérence des performances sur un large spectre de tâches. Meta a investi massivement dans la qualité des données d'entraînement : 15 000 milliards de tokens, soit 7 fois plus que Llama 2.

L'architecture dense à 70B paramètres est un avantage pour la prédictibilité du comportement en production. Pas de routage d'experts, pas de variance liée à l'activation partielle : chaque requête mobilise exactement les mêmes paramètres. Pour les déploiements réglementés où la reproductibilité est un critère, c'est un point non négligeable.

Meta a également publié Llama 3.1 405B, le plus grand modèle open-weight disponible. Avec 87,3 % sur MMLU, il rivalise avec les modèles propriétaires de première génération. Son déploiement nécessite toutefois une infrastructure GPU conséquente (8x A100 80 Go minimum en bf16).

#Phi-3 Medium 14B

Le positionnement de Phi-3 est radicalement différent. Microsoft Research a conçu un modèle de 14 milliards de paramètres qui atteint 78,0 % sur MMLU — un score remarquable qui le place à 4 points seulement de Llama 3 70B, avec 5 fois moins de paramètres.

Cette efficience provient de la stratégie d'entraînement : Microsoft a privilégié des données de très haute qualité, incluant des manuels scolaires, des exercices de raisonnement synthétiques et des jeux de données filtrés avec soin. Le résultat est un modèle qui raisonne au-dessus de sa catégorie de poids sur la logique et les mathématiques.

Sur HumanEval, Phi-3 Medium atteint un pass@1 de 62 % — correct mais nettement inférieur aux deux modèles plus grands. Pour la génération de code complexe en production, Phi-3 reste un cran en dessous.

#Support du français et souveraineté des données

Pour les entreprises françaises, le support de la langue française est un critère de sélection souvent décisif. Un modèle qui génère un français approximatif, truffé d'anglicismes ou de tournures maladroites, n'est pas déployable sur des cas d'usage orientés client.

#Mistral : le français dans l'ADN

Mistral AI est une entreprise française. Ses modèles sont entraînés avec une attention particulière au français, incluant des corpus juridiques, administratifs et techniques francophones. En production, Mixtral 8x22B et Mistral Large 2 produisent un français naturel, avec une maîtrise des tournures idiomatiques, du vouvoiement et du registre soutenu.

Sur nos évaluations internes chez Nehos (200 prompts métier en français, notation humaine), Mistral Large 2 obtient un score de qualité linguistique de 4,6/5, contre 3,8/5 pour Llama 3 70B et 3,2/5 pour Phi-3 Medium. L'écart est particulièrement marqué sur les textes juridiques et les rapports d'analyse, là où le registre de langue et la précision terminologique comptent.

#Llama 3 : fonctionnel mais anglophone d'abord

Llama 3 70B produit du français correct et fluide pour la majorité des cas d'usage. Mais sur les tâches exigeantes — rédaction juridique, synthèse de rapports réglementaires, correspondance formelle — on observe des calques de l'anglais, des formulations légèrement artificielles et une gestion inégale des accords grammaticaux complexes. Pour un chatbot interne ou un assistant de productivité, c'est suffisant. Pour un document publié au nom de l'entreprise, une relecture humaine reste nécessaire.

#Phi-3 : anglais d'abord, français en retrait

Phi-3 Medium a été principalement entraîné sur des données anglophones. Le français est fonctionnel mais clairement une langue secondaire. Pour des tâches simples (classification, extraction d'entités, résumé court), le résultat est acceptable. Pour la génération de texte long en français, le modèle produit des sorties de qualité inférieure à celles de Mixtral et de Llama 3.

#Souveraineté : l'argument massue de l'open-weight

Au-delà de la langue, la souveraineté des données est le facteur décisif pour de nombreuses organisations françaises. Avec un déploiement on-premise, aucune donnée ne quitte votre infrastructure. Ni vos prompts, ni vos documents, ni les réponses générées ne transitent par un serveur tiers.

Pour les entreprises soumises au RGPD renforcé, aux exigences SecNumCloud ou aux contraintes sectorielles (santé, défense, banque), c'est le seul schéma acceptable. Un déploiement Mixtral 8x22B sur des serveurs OVH qualifiés SecNumCloud garantit une souveraineté totale de bout en bout.

Ce point différencie fondamentalement les modèles open-weight des alternatives propriétaires comme Opus 5, Sonnet 5 ou GPT-5. Quelle que soit la supériorité technique d'un modèle cloud, il ne répond pas aux exigences de souveraineté absolue. Pour un panorama détaillé de cette problématique, consultez notre Baromètre IA ETI France 2026.

#Licences commerciales : ce que vous pouvez (et ne pouvez pas) faire

Le choix d'un modèle open-weight en entreprise passe par une lecture attentive de la licence. « Open-weight » ne signifie pas « libre de droits ». Chaque modèle impose ses propres conditions d'utilisation commerciale.

#Mixtral 8x22B — Apache 2.0

C'est la licence la plus permissive du comparatif. Apache 2.0 autorise l'usage commercial sans restriction, la modification du code, la redistribution et l'intégration dans des produits propriétaires. Aucune obligation de mention, aucun seuil d'utilisateurs, aucune redevance. C'est la raison pour laquelle Mixtral 8x22B est le modèle que nous recommandons systématiquement aux directions juridiques les plus prudentes.

#Mistral Large 2 — Mistral Research License

Mistral Large 2 (123B) est distribué sous la Mistral Research License (MRL). Cette licence autorise la recherche, le développement et l'évaluation sans restriction. Pour un déploiement commercial en production, un accord avec Mistral AI ou l'utilisation via La Plateforme (API Mistral) est nécessaire. Ce n'est pas un frein opérationnel pour la plupart des entreprises, mais c'est une différence importante par rapport à l'Apache 2.0 de Mixtral.

#Llama 3 70B — Meta Llama 3 Community License

La licence Meta autorise l'usage commercial pour toute entité comptant moins de 700 millions d'utilisateurs actifs mensuels. En pratique, cette limite ne concerne que les plateformes géantes (Facebook, TikTok, WeChat). Aucune entreprise B2B française n'est affectée.

Deux obligations à retenir : si vous déployez un produit accessible à des tiers basé sur Llama 3, vous devez afficher la mention « Built with Llama ». Et vous ne pouvez pas utiliser les sorties de Llama 3 pour entraîner un modèle concurrent de Meta. Pour les usages enterprise internes, ces restrictions sont négligeables.

#Phi-3 Medium — MIT

La licence MIT est la plus simple et la plus permissive après le domaine public. Usage commercial, modification, redistribution : tout est autorisé sans condition. Microsoft n'impose aucune obligation de mention ni aucune restriction d'usage.

#Résumé pour votre direction juridique

Si votre département juridique exige zéro ambiguïté sur les droits commerciaux : Mixtral 8x22B (Apache 2.0) ou Phi-3 Medium (MIT). Si la licence Meta est acceptable pour votre cas d'usage : Llama 3 70B reste un excellent choix. Pour une comparaison détaillée avec les modèles propriétaires et leurs conditions d'utilisation API, consultez notre comparatif Mistral vs OpenAI pour entreprise.

#GPU, VRAM et coût d'infrastructure on-premise

Le coût réel d'un déploiement open-weight on-premise est le critère le plus sous-estimé par les décideurs. Les modèles sont « gratuits » en termes de licence, mais l'infrastructure GPU représente un investissement significatif.

#Configuration GPU par modèle

Mixtral 8x22B en précision bf16 nécessite environ 280 Go de VRAM. En production, cela se traduit par 4 GPU A100 80 Go. En quantification 4-bit (GPTQ ou AWQ), le modèle descend à environ 70 Go, soit 1 GPU A100 80 Go ou 2 GPU A100 40 Go. La perte de qualité en quantification 4-bit est mesurée entre 1 et 3 % sur MMLU — acceptable pour la grande majorité des cas d'usage.

Llama 3 70B en bf16 requiert environ 140 Go de VRAM : 2 GPU A100 80 Go. En quantification 4-bit, un seul GPU A100 80 Go suffit (~35 Go). C'est l'une des configurations les plus répandues en production. La perte de qualité est de 1 à 2 % sur MMLU.

Phi-3 Medium 14B en bf16 tient dans 28 Go de VRAM : un seul GPU A100 40 Go suffit largement. En quantification 4-bit (~8 Go), il tourne sur un GPU grand public type RTX 4090 (24 Go). C'est cette accessibilité qui fait de Phi-3 un modèle unique pour les déploiements edge et les postes développeurs.

#Coûts mensuels constatés

Sur les clouds GPU spécialisés (Lambda Labs, RunPod, Vast.ai), les prix indicatifs pour une utilisation 24/7 :

• 1x A100 80 Go : à partir de 1 100 €/mois (Vast.ai, instance spot) à 1 800 €/mois (Lambda Labs, instance réservée)
• 2x A100 80 Go : à partir de 1 800 €/mois (spot) à 3 200 €/mois (réservé)
• 4x A100 80 Go : à partir de 3 500 €/mois (spot) à 6 000 €/mois (réservé)

Sur des serveurs dédiés OVH (hébergement France, qualifiable SecNumCloud) :

• OVH HGR-AI-1 (1x A100 80 Go) : à partir de 2 500 €/mois
• OVH HGR-AI-2 (2x A100 80 Go) : à partir de 4 500 €/mois

Pour Phi-3 Medium en quantification 4-bit sur une machine avec RTX 4090 : à partir de 200 €/mois chez des hébergeurs GPU grand public (Hetzner, OVH Bare Metal).

#Comparaison avec les API propriétaires

Le seuil de rentabilité entre API et on-premise se situe généralement autour de 2 à 3 millions de tokens par jour. En dessous, les API (Anthropic, OpenAI, Mistral) sont plus économiques grâce à la mutualisation de l'infrastructure. Au-dessus, le déploiement on-premise devient rentable en 3 à 6 mois. Utilisez notre Calculateur ROI agent IA pour estimer votre point d'équilibre.

#Optimisation d'inférence : vLLM, TGI, Ollama

Le choix du serveur d'inférence a un impact direct sur la latence, le débit et le coût par token en production. Trois outils dominent l'écosystème en 2026.

#vLLM : la référence production

vLLM est le serveur d'inférence que nous recommandons pour tout déploiement production multi-utilisateurs. Son avantage principal est PagedAttention, un algorithme de gestion mémoire qui optimise l'allocation VRAM pour le cache KV (key-value) des séquences longues. En pratique, cela permet de servir 2 à 4 fois plus de requêtes simultanées qu'un serveur d'inférence naïf sur la même infrastructure GPU.

vLLM supporte nativement le batching continu (continuous batching), ce qui élimine le goulot d'étranglement des requêtes en file d'attente. Sur Mixtral 8x22B avec 2x A100 80 Go, nous mesurons un débit moyen de 2 500 tokens/seconde en batch (toutes requêtes confondues), avec une latence P99 inférieure à 3 secondes pour une réponse de 500 tokens.

#text-generation-inference (TGI) de Hugging Face

TGI est l'alternative principale à vLLM, avec des optimisations spécifiques par architecture de modèle. TGI supporte Flash Attention 2, le tensor parallelism natif et des optimisations CUDA kernel pour les modèles populaires (Llama, Mistral, Falcon). Les performances sont comparables à vLLM dans la plupart des configurations.

L'avantage de TGI est son intégration native avec l'écosystème Hugging Face (Hub, Inference Endpoints, Spaces). Si votre stack de ML repose déjà sur Hugging Face, TGI simplifie la mise en production.

#Ollama : développement et déploiement simple

Ollama est conçu pour la simplicité. Installation en une commande, interface CLI intuitive, support natif des puces Apple Silicon (M1/M2/M3/M4). C'est l'outil idéal pour les postes développeurs et les déploiements mono-utilisateur.

Sur MacBook Pro M3 Max (96 Go de RAM unifiée), Phi-3 Medium en quantification 4-bit tourne à 15-25 tokens/s via Ollama — suffisant pour une utilisation interactive. Llama 3 8B atteint 40-60 tokens/s dans la même configuration.

Pour la production multi-utilisateurs, Ollama n'est pas recommandé : pas de batching continu, pas de gestion avancée de la VRAM, pas de monitoring intégré. Son rôle est le prototypage rapide et l'inférence locale.

#Quantification : GPTQ, AWQ et GGUF

La quantification réduit la taille du modèle en mémoire en échangeant une légère perte de précision. Les trois formats dominants :

• GPTQ : quantification post-entraînement, large support tooling. Recommandé pour les déploiements vLLM/TGI sur GPU NVIDIA.
• AWQ (Activation-aware Weight Quantization) : meilleur ratio qualité/compression que GPTQ sur les petits modèles. Notre choix pour Phi-3 Medium.
• GGUF : format optimisé pour l'inférence CPU et Apple Silicon. Utilisé par Ollama et LM Studio. Idéal pour les postes développeurs sans GPU dédié.

Pour aller plus loin sur l'orchestration de ces modèles dans des workflows automatisés, consultez notre comparatif n8n vs Make vs Zapier pour automation IA.

#Fine-tuning et spécialisation métier

Un modèle généraliste, même performant, n'atteint pas le niveau de qualité requis pour des tâches métier spécifiques sans fine-tuning. La capacité à spécialiser un modèle sur vos propres données est un avantage structurel des modèles open-weight face aux API propriétaires.

#LoRA et QLoRA : fine-tuning accessible

LoRA (Low-Rank Adaptation) et QLoRA (LoRA sur modèle quantifié) ont démocratisé le fine-tuning. Au lieu de modifier l'ensemble des paramètres du modèle, LoRA n'ajuste qu'une matrice de faible rang ajoutée à chaque couche. Le résultat : un fine-tuning qui nécessite 10 à 100 fois moins de VRAM et de temps de calcul qu'un entraînement complet.

Llama 3 8B avec QLoRA : fine-tuning réalisable sur un seul GPU A100 40 Go en 4 à 8 heures pour un jeu de données de 10 000 exemples. Coût GPU sur Lambda Labs : à partir de 12 €. C'est le point d'entrée le plus accessible pour un premier projet de fine-tuning.

Mixtral 8x7B avec LoRA : fine-tuning sur 2x A100 80 Go, 12 à 24 heures pour 10 000 exemples. Coût GPU : à partir de 72 €. L'architecture MoE complexifie légèrement le processus (il faut décider quels experts adapter), mais les résultats sont excellents sur les tâches francophones.

Phi-3 Medium avec QLoRA : fine-tuning sur un seul GPU A100 40 Go en 2 à 4 heures. Coût GPU : à partir de 6 €. L'efficience de Phi-3 en fait un excellent candidat pour les expérimentations rapides et les itérations fréquentes sur les données d'entraînement.

#Coût total d'un projet de fine-tuning

Le coût GPU brut ne représente qu'une fraction du budget total. Un projet de fine-tuning en entreprise inclut :

1. Préparation des données (40 à 60 % du temps projet) : nettoyage, annotation, formatage. Prévoir 5 à 15 jours de travail pour constituer un jeu de données de qualité.
2. Expérimentation et hyperparamètres : 3 à 10 runs d'entraînement pour trouver la configuration optimale (learning rate, nombre d'époques, rang LoRA).
3. Évaluation et validation : tests sur données de validation, évaluation humaine, tests de régression sur les capacités généralistes du modèle.
4. Mise en production : intégration du modèle fine-tuné dans le pipeline d'inférence existant.

Coût total d'un projet de fine-tuning pour une PME/ETI : à partir de 6 000 €, incluant les ressources GPU, l'ingénierie data et l'accompagnement technique.

#Écosystème de fine-tunes communautaires

Llama 3 domine largement sur le nombre de fine-tunes disponibles sur Hugging Face : des milliers de modèles spécialisés (médical, juridique, finance, code) sont téléchargeables et utilisables immédiatement. Plutôt que de fine-tuner from scratch, vous pouvez souvent partir d'un modèle déjà spécialisé dans votre domaine et l'affiner sur vos données propriétaires.

Mistral bénéficie d'une communauté francophone active, avec des fine-tunes spécifiques pour le droit français, la comptabilité et l'administration publique — des ressources rares dans l'écosystème Llama.

Pour stocker et interroger les embeddings produits par ces modèles fine-tunés, consultez notre comparatif Pinecone vs Qdrant vs Weaviate — base vectorielle.

#Quel modèle choisir selon votre cas d'usage

#Déploiement souverain on-premise

Recommandation : Mixtral 8x22B. La licence Apache 2.0, le meilleur support du français et les performances en production en font le premier choix pour les entreprises avec des exigences de souveraineté totale. Secteurs cibles : administration publique, banque, défense, santé.

#Traitement documentaire en français

Recommandation : Mixtral 8x22B ou Mistral 7B pour les tâches plus simples. La maîtrise du français est un facteur différenciant non négociable pour l'extraction de contrats, la synthèse de rapports RH, le traitement de données clients francophones.

#Assistant de code pour développeurs

Recommandation : Llama 3 70B (ou Llama 3.1 405B pour les tâches les plus complexes). L'écosystème de fine-tunes code (CodeLlama, DeepSeek-Coder) et les scores HumanEval élevés donnent à Llama un avantage pratique sur le code. Pour un déploiement intégré de type Agents IA Nehos — déploiement on-premise, Llama 3 70B en quantification 4-bit sur un GPU A100 est la configuration la plus courante.

#Application temps réel ou edge

Recommandation : Phi-3 Medium 14B. Avec 60-80 tokens/s sur GPU standard et 15-25 tokens/s sur MacBook Pro M3 Max, Phi-3 est le seul choix viable pour les applications nécessitant une latence sub-seconde : chat temps réel, suggestion de code inline, inférence on-device.

#Prototypage rapide et POC

Recommandation : Phi-3 Medium via Ollama. Installation en 5 minutes, pas de GPU cloud nécessaire, itérations rapides. C'est le chemin le plus court entre une idée et un prototype fonctionnel. Une fois le POC validé, vous pouvez basculer sur Mixtral 8x22B ou Llama 3 70B pour la production.

#Fine-tuning sur données propriétaires

Recommandation : Llama 3 8B ou Mistral 7B pour un premier fine-tuning (coût minimal, communauté mature). Phi-3 Medium si vos données d'entraînement sont limitées en volume (efficience data remarquable). Montez en taille de modèle une fois la preuve de valeur établie.

#Retour d'expérience Nehos

Chez Nehos, nous déployons des modèles open-weight en production pour deux profils de clients distincts.

Le premier profil regroupe les entreprises avec des contraintes réglementaires absolues : aucune donnée hors UE, voire hors France. C'est le cas de plusieurs clients dans le secteur public et bancaire. Pour ces déploiements, Mixtral 8x22B est notre modèle de production principal. Configuration type : 2 serveurs OVH HGR-AI-2 (2x A100 80 Go chacun) à partir de 4 500 €/mois par serveur, capables de traiter 2 à 3 millions de tokens par heure avec vLLM. Ce coût est souvent inférieur aux API propriétaires pour les volumes de production significatifs (au-delà de 50 millions de tokens par mois).

Le second profil concerne les entreprises en recherche de réduction de coûts d'inférence à scale. Un client e-commerce qui consommait 80 millions de tokens par mois via une API propriétaire dépensait plus de 12 000 €/mois en tokens. Après migration vers Llama 3 70B quantifié sur 2x A100 chez Lambda Labs, le coût est descendu à 3 200 €/mois — une réduction de 73 %.

Llama 3 70B est notre choix pour les projets clients internationaux anglophones, notamment les équipes de développement avec des workflows de code review et de documentation technique en anglais.

Phi-3 Medium est utilisé en interne pour nos propres outils de productivité. Notre assistant de revue de code interne tourne sur Phi-3 Medium via Ollama sur MacBook Pro M3 Max, sans aucun appel cloud. L'investissement : zéro coût GPU récurrent, une latence de 20 tokens/s en moyenne et une intégration VS Code fluide.

Recommandation Nehos : commencez par un POC sur Phi-3 Medium via Ollama pour valider votre cas d'usage. Si la qualité linguistique en français est critique, passez directement à Mixtral 8x22B. Si le volume justifie l'investissement GPU, déployez sur des serveurs dédiés OVH ou Lambda Labs. Pour tous les autres cas, Sonnet 5 via l'API Anthropic reste le choix le plus performant — consultez notre page Agence IA Nehos pour un accompagnement sur mesure.

#Pour aller plus loin

• Agents IA Nehos — déploiement on-premise
• Calculateur ROI agent IA
• Mistral vs OpenAI pour entreprise
• Pinecone vs Qdrant vs Weaviate — base vectorielle
• n8n vs Make vs Zapier pour automation IA
• Baromètre IA ETI France 2026

#Questions fréquentes

Quel GPU minimum pour déployer Llama 3 70B ou Mixtral 8x22B en production ?

Pour Llama 3 70B en bf16 : 2 GPU A100 80 Go ou 4 GPU A100 40 Go. En quantification 4-bit (GPTQ ou AWQ), un seul GPU A100 80 Go suffit avec une perte de performance de 1 à 3 %. Pour Mixtral 8x22B : 4 GPU A100 80 Go en bf16, ou 1 GPU A100 80 Go en quantification 4-bit. Sur les clouds GPU (Lambda Labs, RunPod, Vast.ai), le coût d'une instance 2x A100 80 Go démarre à 1 800 €/mois en spot et à partir de 3 200 €/mois en instance réservée.

La licence Llama 3 de Meta autorise-t-elle l'usage commercial ?

Oui. La Meta Llama 3 Community License autorise l'usage commercial pour toute entité comptant moins de 700 millions d'utilisateurs actifs mensuels. En pratique, cette restriction ne concerne que les plateformes géantes et n'affecte aucune entreprise B2B française. Si vous déployez un produit SaaS basé sur Llama 3 accessible à des tiers, vous devez afficher la mention « Built with Llama ». Mixtral (Apache 2.0) et Phi-3 (MIT) n'ont aucune restriction de ce type.

Combien coûte un fine-tuning LoRA sur Mixtral 8x7B ou Llama 3 8B ?

Le coût GPU brut d'un fine-tuning LoRA sur Llama 3 8B démarre à 12 € (4-8 heures sur 1x A100 40 Go). Pour Mixtral 8x7B : à partir de 72 € (12-24 heures sur 2x A100 80 Go). Le coût total d'un projet de fine-tuning incluant la préparation des données, l'expérimentation et la mise en production : à partir de 6 000 € pour une PME/ETI.

Peut-on utiliser vLLM ou Ollama pour servir ces modèles en production ?

vLLM est recommandé pour la production multi-utilisateurs : PagedAttention, batching continu, support de dizaines de requêtes simultanées. Ollama est idéal pour le développement local et les déploiements mono-utilisateur. TGI de Hugging Face constitue une troisième option avec des optimisations spécifiques par architecture de modèle.

Phi-3 Medium peut-il tourner sur un MacBook Pro M3 ?

Oui. Phi-3 Medium 14B en quantification 4-bit (environ 8 Go) tourne sur MacBook Pro M3 Max (96 Go RAM unifiée) via Ollama à 15-25 tokens/s. Sur MacBook Pro M3 Pro (18 Go RAM), Phi-3 Mini (3.8B) est plus adapté à 40-60 tokens/s. Ces configurations conviennent au développement local mais pas aux déploiements production multi-utilisateurs.