Mistral Large vs Llama 3 vs Phi-3 — Modèles Open-Source 2026

#Notre verdict

Pour un déploiement enterprise on-premise en 2026, Mixtral 8x22B de Mistral AI reste notre recommandation principale pour les entreprises francophones. Trois raisons : la licence Apache 2.0 sans restriction commerciale, le meilleur support du français parmi les modèles open-weight, et une architecture Mixture of Experts qui offre un rapport performances/coût GPU favorable en production.

Llama 3 70B de Meta est la référence mondiale incontestée pour les projets internationaux. L'écosystème communautaire autour de Llama est le plus riche : des milliers de fine-tunes spécialisés, une documentation exhaustive et un support natif dans tous les frameworks d'inférence du marché.

Phi-3 Medium 14B de Microsoft Research est le choix évident pour les déploiements edge, les prototypes rapides et les postes développeurs. Avec 14 milliards de paramètres, il tourne sur un seul GPU grand public — voire sur un MacBook Pro M3 Max — tout en atteignant des scores de benchmark remarquables pour sa taille.

Ce comparatif s'appuie sur la documentation publique des modèles et sur notre pratique du déploiement de LLM. Les scores de benchmark cités sont ceux publiés par les éditeurs (Mistral AI, Meta, Microsoft) à la sortie des modèles.

#Alternative propriétaire : la gamme Claude 5 d'Anthropic

Avant de plonger dans le comparatif open-weight, il faut mentionner l'alternative propriétaire qui s'impose sur le marché enterprise en 2026. Anthropic a lancé la famille Claude 5, qui redéfinit les standards de performance sur les tâches B2B :

• Opus 5 (claude-opus-5) : le modèle le plus puissant d'Anthropic. Il domine les benchmarks de raisonnement complexe, d'audit réglementaire et de suivi d'instructions multi-étapes. C'est le choix pour les workflows critiques où la fiabilité prime sur le coût.
• Sonnet 5 (claude-sonnet-5) : le meilleur compromis performance/coût de la gamme. Nehos le déploie par défaut sur les nouveaux projets clients. Il égale ou dépasse Claude 4 Opus sur la majorité des tâches.
• Fable 5 (claude-fable-5) : modèle spécialisé dans la génération de contenu long, la narration structurée et le raisonnement créatif. Idéal pour la rédaction technique, les briefs marketing et la production documentaire à grande échelle.

La différence fondamentale : ces modèles propriétaires sont accessibles uniquement via API. Vos données transitent par les serveurs d'Anthropic. Pour les entreprises sans contrainte réglementaire stricte sur la localisation des données, Sonnet 5 surpasse les trois modèles open-weight comparés ici sur la quasi-totalité des benchmarks.

Mais si la souveraineté des données est non négociable — secteur public, défense, banque, santé — les modèles open-weight restent la seule option viable pour un hébergement totalement on-premise.

#Tableau comparatif synthétique

#Performances et benchmarks : MMLU, code et raisonnement

Les scores ci-dessous sont ceux publiés par les éditeurs. Les benchmarks académiques ne racontent qu'une partie de l'histoire, mais ils permettent de comparer les modèles sur un terrain objectif. Trois mesures structurantes pour un déploiement enterprise : MMLU (connaissances générales), HumanEval (génération de code) et les tâches de suivi d'instructions complexes.

#Mistral Large 2 et Mixtral 8x22B

Mistral Large 2, avec ses 123 milliards de paramètres denses, atteint 84,0 % sur MMLU. C'est le score le plus élevé des trois familles comparées. Sur les tâches de raisonnement mathématique (MATH benchmark), il se situe au niveau des meilleurs modèles propriétaires de mi-2024.

Mixtral 8x22B, l'architecture Mixture of Experts de Mistral, affiche 77,8 % sur MMLU. Le score brut est inférieur, mais l'architecture MoE lui confère un avantage en latence : seuls 39 milliards de paramètres sont activés par token sur les 141 milliards totaux. En pratique, Mixtral 8x22B offre un rapport vitesse/qualité souvent supérieur à un modèle dense de taille comparable.

Sur le code (HumanEval), Mistral Large 2 atteint un pass@1 de 92 %, un niveau comparable à GPT-4 Turbo au moment de sa sortie. Mixtral 8x22B est légèrement en retrait.

#Llama 3 70B

Llama 3 70B Instruct affiche 82,0 % sur MMLU et un score HumanEval compétitif. Ce qui distingue Llama 3 des autres modèles open-weight, c'est la cohérence des performances sur un large spectre de tâches. Meta a investi massivement dans la qualité des données d'entraînement : 15 000 milliards de tokens, soit 7 fois plus que Llama 2.

L'architecture dense à 70B paramètres est un avantage pour la prédictibilité du comportement en production. Pas de routage d'experts, pas de variance liée à l'activation partielle : chaque requête mobilise exactement les mêmes paramètres. Pour les déploiements réglementés où la reproductibilité est un critère, c'est un point non négligeable.

Meta a également publié Llama 3.1 405B, le plus grand modèle open-weight disponible. Avec 87,3 % sur MMLU, il rivalise avec les modèles propriétaires de première génération. Son déploiement nécessite toutefois une infrastructure GPU conséquente (8x A100 80 Go minimum en bf16).

#Phi-3 Medium 14B

Le positionnement de Phi-3 est radicalement différent. Microsoft Research a conçu un modèle de 14 milliards de paramètres qui atteint 78,0 % sur MMLU — un score remarquable qui le place à 4 points seulement de Llama 3 70B, avec 5 fois moins de paramètres.

Cette efficience provient de la stratégie d'entraînement : Microsoft a privilégié des données de très haute qualité, incluant des manuels scolaires, des exercices de raisonnement synthétiques et des jeux de données filtrés avec soin. Le résultat est un modèle qui raisonne au-dessus de sa catégorie de poids sur la logique et les mathématiques.

Sur HumanEval, Phi-3 Medium est correct mais nettement inférieur aux deux modèles plus grands. Pour la génération de code complexe en production, Phi-3 reste un cran en dessous.

#Support du français et souveraineté des données

Pour les entreprises françaises, le support de la langue française est un critère de sélection souvent décisif. Un modèle qui génère un français approximatif, truffé d'anglicismes ou de tournures maladroites, n'est pas déployable sur des cas d'usage orientés client.

#Mistral : le français dans l'ADN

Mistral AI est une entreprise française. Ses modèles sont entraînés avec une attention particulière au français, incluant des corpus juridiques, administratifs et techniques francophones. En production, Mixtral 8x22B et Mistral Large 2 produisent un français naturel, avec une maîtrise des tournures idiomatiques, du vouvoiement et du registre soutenu.

Sur des prompts métier en français, Mistral Large 2 ressort en tête, devant Llama 3 70B puis Phi-3 Medium. L'écart est particulièrement marqué sur les textes juridiques et les rapports d'analyse, là où le registre de langue et la précision terminologique comptent.

#Llama 3 : fonctionnel mais anglophone d'abord

Llama 3 70B produit du français correct et fluide pour la majorité des cas d'usage. Mais sur les tâches exigeantes — rédaction juridique, synthèse de rapports réglementaires, correspondance formelle — on observe des calques de l'anglais, des formulations légèrement artificielles et une gestion inégale des accords grammaticaux complexes.

Pour un chatbot interne ou un assistant de productivité, c'est suffisant. Pour un document publié au nom de l'entreprise, une relecture humaine reste nécessaire.

#Phi-3 : anglais d'abord, français en retrait

Phi-3 Medium a été principalement entraîné sur des données anglophones. Le français est fonctionnel mais clairement une langue secondaire. Pour des tâches simples (classification, extraction d'entités, résumé court), le résultat est acceptable. Pour la génération de texte long en français, le modèle produit des sorties de qualité inférieure à celles de Mixtral et de Llama 3.

#Souveraineté : l'argument massue de l'open-weight

Au-delà de la langue, la souveraineté des données est le facteur décisif pour de nombreuses organisations françaises. Avec un déploiement on-premise, aucune donnée ne quitte votre infrastructure. Ni vos prompts, ni vos documents, ni les réponses générées ne transitent par un serveur tiers.

Pour les entreprises soumises au RGPD renforcé, aux exigences SecNumCloud ou aux contraintes sectorielles (santé, défense, banque), c'est le seul schéma acceptable. Un déploiement Mixtral 8x22B sur l'infrastructure d'un hébergeur qualifié SecNumCloud (à vérifier pour l'offre GPU visée) permet une souveraineté de bout en bout.

Ce point différencie fondamentalement les modèles open-weight des alternatives propriétaires comme Opus 5, Sonnet 5 ou GPT-5. Quelle que soit la supériorité technique d'un modèle cloud, il ne répond pas aux exigences de souveraineté absolue. Pour un panorama détaillé de cette problématique, consultez notre Baromètre IA ETI France 2026.

#Licences commerciales : ce que vous pouvez (et ne pouvez pas) faire

Le choix d'un modèle open-weight en entreprise passe par une lecture attentive de la licence. « Open-weight » ne signifie pas « libre de droits ». Chaque modèle impose ses propres conditions d'utilisation commerciale.

#Mixtral 8x22B — Apache 2.0

C'est la licence la plus permissive du comparatif. Apache 2.0 autorise l'usage commercial sans restriction, la modification du code, la redistribution et l'intégration dans des produits propriétaires. Aucune obligation de mention, aucun seuil d'utilisateurs, aucune redevance. C'est la raison pour laquelle Mixtral 8x22B est le modèle que nous recommandons systématiquement aux directions juridiques les plus prudentes.

#Mistral Large 2 — Mistral Research License

Mistral Large 2 (123B) est distribué sous la Mistral Research License (MRL). Cette licence autorise la recherche, le développement et l'évaluation sans restriction. Pour un déploiement commercial en production, un accord avec Mistral AI ou l'utilisation via La Plateforme (API Mistral) est nécessaire. Ce n'est pas un frein opérationnel pour la plupart des entreprises, mais c'est une différence importante par rapport à l'Apache 2.0 de Mixtral.

#Llama 3 70B — Meta Llama 3 Community License

La licence Meta autorise l'usage commercial pour toute entité comptant moins de 700 millions d'utilisateurs actifs mensuels. En pratique, cette limite ne concerne que les plateformes géantes (Facebook, TikTok, WeChat). Aucune entreprise B2B française n'est affectée.

Deux obligations à retenir : si vous déployez un produit accessible à des tiers basé sur Llama 3, vous devez afficher la mention « Built with Llama ». Et vous ne pouvez pas utiliser les sorties de Llama 3 pour entraîner un modèle concurrent de Meta. Pour les usages enterprise internes, ces restrictions sont négligeables.

#Phi-3 Medium — MIT

La licence MIT est la plus simple et la plus permissive après le domaine public. Usage commercial, modification, redistribution : tout est autorisé sans condition. Microsoft n'impose aucune obligation de mention ni aucune restriction d'usage.

#Résumé pour votre direction juridique

Si votre département juridique exige zéro ambiguïté sur les droits commerciaux : Mixtral 8x22B (Apache 2.0) ou Phi-3 Medium (MIT). Si la licence Meta est acceptable pour votre cas d'usage : Llama 3 70B reste un excellent choix. Pour une comparaison détaillée avec les modèles propriétaires et leurs conditions d'utilisation API, consultez notre comparatif Mistral vs OpenAI pour entreprise.

#GPU, VRAM et coût d'infrastructure on-premise

Le coût réel d'un déploiement open-weight on-premise est le critère le plus sous-estimé par les décideurs. Les modèles sont « gratuits » en termes de licence, mais l'infrastructure GPU représente un investissement significatif.

#Configuration GPU par modèle

Mixtral 8x22B en précision bf16 nécessite environ 280 Go de VRAM. En production, cela se traduit par 4 GPU A100 80 Go. En quantification 4-bit (GPTQ ou AWQ), le modèle descend à environ 70 Go, soit 1 GPU A100 80 Go ou 2 GPU A100 40 Go. La perte de qualité en quantification 4-bit est mesurée entre 1 et 3 % sur MMLU — acceptable pour la grande majorité des cas d'usage.

Llama 3 70B en bf16 requiert environ 140 Go de VRAM : 2 GPU A100 80 Go. En quantification 4-bit, un seul GPU A100 80 Go suffit (~35 Go). C'est l'une des configurations les plus répandues en production. La perte de qualité est de 1 à 2 % sur MMLU.

Phi-3 Medium 14B en bf16 tient dans 28 Go de VRAM : un seul GPU A100 40 Go suffit largement. En quantification 4-bit (~8 Go), il tourne sur un GPU grand public type RTX 4090 (24 Go). C'est cette accessibilité qui fait de Phi-3 un modèle unique pour les déploiements edge et les postes développeurs.

#Coûts mensuels

Sur les clouds GPU spécialisés (Lambda Labs, RunPod, Vast.ai), la location se facture à l'heure ; le coût mensuel en utilisation continue dépend du fournisseur, du type d'instance (spot ou réservée) et du nombre de GPU. Sur des serveurs dédiés d'un hébergeur européen (par exemple OVHcloud, dont certaines offres sont qualifiées SecNumCloud : à vérifier pour l'offre GPU visée), le tarif est mensuel, avec l'avantage de la localisation des données.

Phi-3 Medium en quantification 4-bit tient sur une machine équipée d'une RTX 4090, bien moins coûteuse. Relevez les grilles publiques à la date de votre projet.

#Comparaison avec les API propriétaires

Le seuil de rentabilité entre API et on-premise dépend du volume de tokens traités. En dessous d'un certain volume, les API (Anthropic, OpenAI, Mistral) sont plus économiques grâce à la mutualisation de l'infrastructure. Au-dessus, le déploiement on-premise devient rentable. Utilisez notre Calculateur ROI agent IA pour estimer votre point d'équilibre.

#Optimisation d'inférence : vLLM, TGI, Ollama

Le choix du serveur d'inférence a un impact direct sur la latence, le débit et le coût par token en production. Trois outils dominent l'écosystème en 2026.

#vLLM : la référence production

vLLM est le serveur d'inférence que nous recommandons pour tout déploiement production multi-utilisateurs. Son avantage principal est PagedAttention, un algorithme de gestion mémoire qui optimise l'allocation VRAM pour le cache KV (key-value) des séquences longues. En pratique, cela permet de servir 2 à 4 fois plus de requêtes simultanées qu'un serveur d'inférence naïf sur la même infrastructure GPU.

vLLM supporte nativement le batching continu (continuous batching), ce qui élimine le goulot d'étranglement des requêtes en file d'attente.

#text-generation-inference (TGI) de Hugging Face

TGI est l'alternative principale à vLLM, avec des optimisations spécifiques par architecture de modèle. TGI supporte Flash Attention 2, le tensor parallelism natif et des optimisations CUDA kernel pour les modèles populaires (Llama, Mistral, Falcon). Les performances sont comparables à vLLM dans la plupart des configurations.

L'avantage de TGI est son intégration native avec l'écosystème Hugging Face (Hub, Inference Endpoints, Spaces). Si votre stack de ML repose déjà sur Hugging Face, TGI simplifie la mise en production.

#Ollama : développement et déploiement simple

Ollama est conçu pour la simplicité. Installation en une commande, interface CLI intuitive, support natif des puces Apple Silicon (M1/M2/M3/M4). C'est l'outil idéal pour les postes développeurs et les déploiements mono-utilisateur.

Sur MacBook Pro M3 Max (96 Go de RAM unifiée), Phi-3 Medium en quantification 4-bit tourne à 15-25 tokens/s via Ollama — suffisant pour une utilisation interactive. Llama 3 8B atteint 40-60 tokens/s dans la même configuration.

Pour la production multi-utilisateurs, Ollama n'est pas recommandé : pas de batching continu, pas de gestion avancée de la VRAM, pas de monitoring intégré. Son rôle est le prototypage rapide et l'inférence locale.

#Quantification : GPTQ, AWQ et GGUF

La quantification réduit la taille du modèle en mémoire en échangeant une légère perte de précision. Les trois formats dominants :

• GPTQ : quantification post-entraînement, large support tooling. Recommandé pour les déploiements vLLM/TGI sur GPU NVIDIA.
• AWQ (Activation-aware Weight Quantization) : meilleur ratio qualité/compression que GPTQ sur les petits modèles. Notre choix pour Phi-3 Medium.
• GGUF : format optimisé pour l'inférence CPU et Apple Silicon. Utilisé par Ollama et LM Studio. Idéal pour les postes développeurs sans GPU dédié.

Pour aller plus loin sur l'orchestration de ces modèles dans des workflows automatisés, consultez notre comparatif n8n vs Make vs Zapier pour automation IA.

#Fine-tuning et spécialisation métier

Un modèle généraliste, même performant, n'atteint pas le niveau de qualité requis pour des tâches métier spécifiques sans fine-tuning. La capacité à spécialiser un modèle sur vos propres données est un avantage structurel des modèles open-weight face aux API propriétaires.

#LoRA et QLoRA : fine-tuning accessible

LoRA (Low-Rank Adaptation) et QLoRA (LoRA sur modèle quantifié) ont démocratisé le fine-tuning. Au lieu de modifier l'ensemble des paramètres du modèle, LoRA n'ajuste qu'une matrice de faible rang ajoutée à chaque couche. Le résultat : un fine-tuning qui nécessite 10 à 100 fois moins de VRAM et de temps de calcul qu'un entraînement complet.

Llama 3 8B avec QLoRA : fine-tuning réalisable sur un seul GPU A100 40 Go en 4 à 8 heures pour un jeu de données de 10 000 exemples. C'est le point d'entrée le plus accessible pour un premier projet de fine-tuning.

Mixtral 8x7B avec LoRA : fine-tuning sur 2x A100 80 Go, 12 à 24 heures pour 10 000 exemples. L'architecture MoE complexifie légèrement le processus (il faut décider quels experts adapter), mais les résultats sont excellents sur les tâches francophones.

Phi-3 Medium avec QLoRA : fine-tuning sur un seul GPU A100 40 Go en 2 à 4 heures. L'efficience de Phi-3 en fait un excellent candidat pour les expérimentations rapides et les itérations fréquentes sur les données d'entraînement.

#Coût total d'un projet de fine-tuning

Le coût GPU brut ne représente qu'une fraction du budget total. Un projet de fine-tuning en entreprise inclut :

1. Préparation des données (la part la plus lourde du temps projet) : nettoyage, annotation, formatage. Prévoir plusieurs jours de travail pour constituer un jeu de données de qualité.
2. Expérimentation et hyperparamètres : 3 à 10 runs d'entraînement pour trouver la configuration optimale (learning rate, nombre d'époques, rang LoRA).
3. Évaluation et validation : tests sur données de validation, évaluation humaine, tests de régression sur les capacités généralistes du modèle.
4. Mise en production : intégration du modèle fine-tuné dans le pipeline d'inférence existant.

Le coût total d'un projet de fine-tuning (ressources GPU, ingénierie data, accompagnement technique) dépend de la taille du modèle et du volume de données ; il se chiffre sur devis après un premier échange.

#Écosystème de fine-tunes communautaires

Llama 3 domine largement sur le nombre de fine-tunes disponibles sur Hugging Face : des milliers de modèles spécialisés (médical, juridique, finance, code) sont téléchargeables et utilisables immédiatement. Plutôt que de fine-tuner from scratch, vous pouvez souvent partir d'un modèle déjà spécialisé dans votre domaine et l'affiner sur vos données propriétaires.

Mistral bénéficie d'une communauté francophone active, avec des fine-tunes spécifiques pour le droit français, la comptabilité et l'administration publique — des ressources rares dans l'écosystème Llama.

Pour stocker et interroger les embeddings produits par ces modèles fine-tunés, consultez notre comparatif Pinecone vs Qdrant vs Weaviate — base vectorielle.

#Quel modèle choisir selon votre cas d'usage

#Déploiement souverain on-premise

Recommandation : Mixtral 8x22B. La licence Apache 2.0, le meilleur support du français et les performances en production en font le premier choix pour les entreprises avec des exigences de souveraineté totale. Secteurs cibles : administration publique, banque, défense, santé.

#Traitement documentaire en français

Recommandation : Mixtral 8x22B ou Mistral 7B pour les tâches plus simples. La maîtrise du français est un facteur différenciant non négociable pour l'extraction de contrats, la synthèse de rapports RH, le traitement de données clients francophones.

#Assistant de code pour développeurs

Recommandation : Llama 3 70B (ou Llama 3.1 405B pour les tâches les plus complexes). L'écosystème de fine-tunes code (CodeLlama, DeepSeek-Coder) et les scores HumanEval élevés donnent à Llama un avantage pratique sur le code. Pour un déploiement intégré de type Agents IA Nehos — déploiement on-premise, Llama 3 70B en quantification 4-bit sur un GPU A100 est la configuration la plus courante.

#Application temps réel ou edge

Recommandation : Phi-3 Medium 14B. Avec une inférence rapide sur GPU standard et un fonctionnement possible sur MacBook Pro M3 Max, Phi-3 est le choix le plus adapté pour les applications nécessitant une latence sub-seconde : chat temps réel, suggestion de code inline, inférence on-device.

#Prototypage rapide et POC

Recommandation : Phi-3 Medium via Ollama. Installation en 5 minutes, pas de GPU cloud nécessaire, itérations rapides. C'est le chemin le plus court entre une idée et un prototype fonctionnel. Une fois le POC validé, vous pouvez basculer sur Mixtral 8x22B ou Llama 3 70B pour la production.

#Fine-tuning sur données propriétaires

Recommandation : Llama 3 8B ou Mistral 7B pour un premier fine-tuning (coût minimal, communauté mature). Phi-3 Medium si vos données d'entraînement sont limitées en volume (efficience data remarquable). Montez en taille de modèle une fois la preuve de valeur établie.

#Notre pratique

Nous déployons des modèles open-weight en production pour deux profils de besoin distincts.

Le premier profil regroupe les entreprises avec des contraintes réglementaires absolues : aucune donnée hors UE, voire hors France. C'est le cas du secteur public et bancaire. Pour ces déploiements, Mixtral 8x22B est notre modèle de production principal, servi avec vLLM sur des serveurs GPU dédiés. Ce coût est souvent inférieur aux API propriétaires pour les volumes de production significatifs.

Le second profil concerne les entreprises en recherche de réduction de coûts d'inférence à scale. À fort volume de tokens, migrer d'une API propriétaire vers un Llama 3 70B quantifié sur des GPU loués peut réduire nettement la facture. Le calcul se fait sur vos volumes réels et sur les grilles tarifaires du moment.

Llama 3 70B est notre choix pour les projets clients internationaux anglophones, notamment les équipes de développement avec des workflows de code review et de documentation technique en anglais.

Phi-3 Medium convient bien aux outils de productivité internes. Un assistant de revue de code peut tourner via Ollama sur un MacBook Pro M3 Max, sans aucun appel cloud : zéro coût GPU récurrent et une intégration VS Code fluide.

Recommandation Nehos : commencez par un POC sur Phi-3 Medium via Ollama pour valider votre cas d'usage. Si la qualité linguistique en français est critique, passez directement à Mixtral 8x22B. Si le volume justifie l'investissement GPU, déployez sur des serveurs dédiés OVH ou Lambda Labs. Pour tous les autres cas, Sonnet 5 via l'API Anthropic reste le choix le plus performant — consultez notre page Agence IA Nehos pour un accompagnement sur mesure.

#Pour aller plus loin

• Agents IA Nehos — déploiement on-premise
• Calculateur ROI agent IA
• Mistral vs OpenAI pour entreprise
• Pinecone vs Qdrant vs Weaviate — base vectorielle
• n8n vs Make vs Zapier pour automation IA
• Baromètre IA ETI France 2026

#Questions fréquentes

Quel GPU minimum pour déployer Llama 3 70B ou Mixtral 8x22B en production ?

Pour Llama 3 70B en bf16 : 2 GPU A100 80 Go ou 4 GPU A100 40 Go. En quantification 4-bit (GPTQ ou AWQ), un seul GPU A100 80 Go suffit avec une perte de performance de 1 à 3 %. Pour Mixtral 8x22B : 4 GPU A100 80 Go en bf16, ou 1 GPU A100 80 Go en quantification 4-bit. Sur les clouds GPU (Lambda Labs, RunPod, Vast.ai), la location d'une instance 2x A100 80 Go se facture à l'heure, le coût mensuel dépendant du fournisseur et du type d'instance (spot ou réservée).

La licence Llama 3 de Meta autorise-t-elle l'usage commercial ?

Oui. La Meta Llama 3 Community License autorise l'usage commercial pour toute entité comptant moins de 700 millions d'utilisateurs actifs mensuels. En pratique, cette restriction ne concerne que les plateformes géantes et n'affecte aucune entreprise B2B française. Si vous déployez un produit SaaS basé sur Llama 3 accessible à des tiers, vous devez afficher la mention « Built with Llama ». Mixtral (Apache 2.0) et Phi-3 (MIT) n'ont aucune restriction de ce type.

Combien coûte un fine-tuning LoRA sur Mixtral 8x7B ou Llama 3 8B ?

Le coût GPU brut d'un fine-tuning LoRA reste modeste : 4 à 8 heures sur 1x A100 40 Go pour Llama 3 8B, 12 à 24 heures sur 2x A100 80 Go pour Mixtral 8x7B. Le coût total d'un projet incluant la préparation des données, l'expérimentation et la mise en production se chiffre sur devis.

Peut-on utiliser vLLM ou Ollama pour servir ces modèles en production ?

vLLM est recommandé pour la production multi-utilisateurs : PagedAttention, batching continu, support de dizaines de requêtes simultanées. Ollama est idéal pour le développement local et les déploiements mono-utilisateur. TGI de Hugging Face constitue une troisième option avec des optimisations spécifiques par architecture de modèle.

Phi-3 Medium peut-il tourner sur un MacBook Pro M3 ?

Oui. Phi-3 Medium 14B en quantification 4-bit (environ 8 Go) tourne sur MacBook Pro M3 Max (96 Go RAM unifiée) via Ollama à 15-25 tokens/s. Sur MacBook Pro M3 Pro (18 Go RAM), Phi-3 Mini (3.8B) est plus adapté à 40-60 tokens/s. Ces configurations conviennent au développement local mais pas aux déploiements production multi-utilisateurs.