LLM souverains & fine-tuning sur datasets internes — la voie crédible en 2026
Mistral Large 2 auto-hébergé, Llama 3.1 fine-tuné LoRA, Phi-3 en edge ultra-confidentiel. Pour banques, mutuelles, énergéticiens régulés, collectivités, défense, santé. SecNumCloud possible chez un hébergeur qualifié.
Nos clients types
#1. Pourquoi les LLM souverains deviennent incontournables en 2026
En 2024, déployer un LLM souverain en production restait un pari. Mistral Large 1 était prometteur mais derrière GPT-4 sur plusieurs benchmarks. Llama 3 n'avait pas encore la version 3.1. Phi-3 sortait à peine. Depuis, la situation a beaucoup changé : le LLM souverain n'est plus un curseur RSE optionnel, c'est devenu une exigence opérationnelle.
Quatre forces convergent.
Un. La pression réglementaire RGPD + AI Act. Le RGPD strict appliqué aux données traitées par LLM rend la majorité des services SaaS américains problématiques pour les secteurs régulés. L'AI Act européen, en vigueur progressive depuis le 2 février 2025, classe en haut risque les systèmes IA déployés en RH, scoring crédit, secteur public et santé.
Documentation obligatoire, supervision humaine, gouvernance des biais : tout cela est plus facile à produire quand votre LLM est sous juridiction française.
Deux. La doctrine « Cloud au centre » et la circulaire DINUM. L'État français impose depuis 2021 la doctrine Cloud au centre pour les administrations centrales : SecNumCloud par défaut, hyperscalers US uniquement avec dérogation justifiée. Cette logique s'étend progressivement aux collectivités et pèse de plus en plus dans les appels d'offres publics IA.
Trois. La menace Schrems III. Le mécanisme de transfert UE → US (Data Privacy Framework) est contesté juridiquement. Une éventuelle invalidation, comme pour Safe Harbor puis Privacy Shield, fragiliserait encore les services LLM hébergés aux États-Unis pour les administrations et les secteurs régulés. Les DSI prudents préfèrent anticiper.
Quatre. La performance technique a rattrapé. Mistral Large 2 (sorti en juillet 2024) affiche 84 % sur MMLU et 92 % sur HumanEval d'après Mistral AI, un niveau proche des meilleurs modèles du moment sur les tâches B2B classiques. Llama 3.1 405B atteint un niveau comparable en open source.
Le débat « LLM souverain = compromis de performance » est largement périmé pour la plupart des cas d'usage entreprise. Reste un gap réel sur le multimodal avancé (vision, vidéo) et le raisonnement très long.
Notre lecture du terrain : les CTO, RSSI et CAIO qui partent encore en 2026 sur OpenAI ou Azure OpenAI sans étudier sérieusement l'alternative souveraine prennent un risque. Le DPO va alerter, le RSSI va alerter, un contrôle de la CNIL ou de l'ACPR peut arriver, et il faudra défaire ce qui a été fait. C'est le cas d'une mutuelle santé qui sortirait d'Azure OpenAI vers Mistral Cloud (voir l'exemple de situation 3 plus bas).
#2. Panorama des LLM souverains France et UE en 2026
Le paysage s'est densifié. Voici la sélection Nehos, ordonnée par fréquence de recommandation en production.
#2.1 Mistral Large 2 — recommandation Nehos par défaut
Pour qui : la majorité des projets B2B et secteur public régulé qui ont besoin d'un LLM polyvalent, performant, en français premier.
Performance : 84 % MMLU et 92 % HumanEval selon Mistral AI, excellent en français (le modèle a été pré-entraîné avec une forte représentation des langues européennes). Pour les cas d'usage classiques (FAQ, ticketing, génération documentaire, agents conversationnels métier), la qualité de réponse est comparable à celle des meilleurs modèles américains.
Déploiement : trois options. (a) Mistral Cloud France via la Plateforme — payload chiffré, hébergement Mistral, conformité RGPD claire. (b) Mistral via OVH AI Endpoints, service managé d'OVHcloud, intéressant pour les administrations qui veulent un fournisseur cloud français unique. (c) Auto-hébergement complet sur GPU H100 / A100 chez un hébergeur français, qualifié SecNumCloud si le projet l'exige, pour les projets avec exigence d'isolation maximale (banque privée, défense, santé HDS).
Budget : un déploiement Mistral Large 2 en production, avec orchestration LangGraph, monitoring, sécurité et intégration SI, se chiffre sur devis (à partir de 11 000 € HT pour un MVP agent IA). Le coût récurrent d'infrastructure dépend du volume.
#2.2 Mistral Small 3 et Codestral — cas spécifiques
Mistral Small 3 (24 milliards de paramètres, version 2025) : excellent rapport performance/coût pour les agents conversationnels métier où la dernière marche de qualité n'est pas critique. Déployable sur un seul GPU H100 80 GB, pour un coût d'infrastructure bien inférieur à celui de Mistral Large 2.
Codestral (modèle dédié génération de code, version 2024+) : recommandé pour les copilotes développeurs internes en environnement souverain. Excellents scores HumanEval, MBPP, RepoBench. C'est l'alternative crédible à GitHub Copilot pour les organisations qui ne veulent pas envoyer leur code propriétaire à Microsoft/OpenAI.
#2.3 Llama 3.1 (8B, 70B, 405B) fine-tuné self-hosted
Pour qui : organisations qui veulent maîtriser intégralement le modèle (poids inclus), faire du fine-tuning massif, déployer on-premise dans des environnements air-gap (défense, énergie nucléaire).
Llama 3.1 70B fine-tuné LoRA sur dataset interne reste l'un de nos benchmarks favoris pour les missions ultra-souveraines. La licence Meta autorise l'usage commercial sous conditions (<700 M MAU). Pas de dépendance Mistral si l'organisation veut s'éloigner totalement du « cloud LLM » et héberger 100 % chez elle.
Exemple de situation : un ministère qui veut une IA souveraine sur ses archives métier (voir l'exemple 2 plus bas) peut s'appuyer sur Llama 3.1 70B fine-tuné, hébergé sur un cluster GPU dédié chez un hébergeur qualifié SecNumCloud.
#2.4 Phi-3 (mini, small, medium) pour usage edge ultra-confidentiel
Pour qui : cas d'usage où le LLM doit tourner localement sur poste utilisateur, terminal mobile, ou serveur on-site sans connexion cloud. Données ultra-sensibles, classifiées défense, secret médical hospitalier.
Phi-3-mini (3,8 milliards de paramètres) tourne sur GPU consumer (RTX 4090) ou même CPU performant. Performance surprenante pour la taille — Microsoft a optimisé le rapport efficacité/qualité. Microsoft, oui — la souveraineté n'est pas dans l'hébergeur, elle est dans le déploiement 100 % local sans appel API.
Exemple d'usage : déploiement edge dans un hôpital pour une assistance documentaire au bloc opératoire (pas de bande passante, pas de cloud, données patient critiques).
#2.5 Aleph Alpha (Luminous) — l'option germanophone
Pour qui : entreprises avec usage majoritaire en allemand, ou souhait stratégique de diversifier au-delà de Mistral. Aleph Alpha (Heidelberg) reste le champion LLM allemand. Performance en allemand techniquement très solide, écosystème entreprise mature.
Notre reco : Aleph Alpha est un excellent choix pour des projets DACH (Deutschland, Autriche, Suisse alémanique). Pour des projets francophones, Mistral reste préférable — meilleur français, écosystème français plus mature, intégrations OVHcloud natives.
#2.6 Lucie, Pleias, Croissant LLM — l'écosystème souverain émergent
Ces projets (Open LLM-France pour Lucie, Pleias avec son corpus libre de droits, Croissant LLM) sont prometteurs mais nous les considérons encore comme pré-production pour le B2B. Nous les surveillons, sans les déployer en production critique aujourd'hui.
→ Vous évaluez vos options ? Utilisez notre estimateur de budget en ligne pour obtenir une fourchette en 2 minutes, ou consultez nos tarifs détaillés.
#3. Fine-tuning sur datasets internes — méthodologie Nehos
Le fine-tuning d'un LLM sur les données propriétaires d'une organisation est ce qui transforme un assistant générique en collaborateur spécialiste. C'est aussi la zone où l'on voit le plus de projets capoter par défaut de méthode. Voici comment nous procédons.
#3.1 Question préalable : avez-vous vraiment besoin de fine-tuner ?
Dans une grande partie des cas que nous auditons, le RAG suffit. Retrieval-augmented generation = on garde un LLM généraliste (Mistral Large 2 par exemple) et on lui injecte au moment de la requête les documents pertinents extraits d'une base vectorielle (Postgres pgvector, Qdrant). C'est moins coûteux, plus rapide à mettre en production, plus facile à mettre à jour (nouveau document = re-indexation, pas re-entraînement).
Le fine-tuning devient pertinent quand :
- vous voulez modifier le style ou le format de sortie (ton corporate, structure JSON spécifique) ;
- vous traitez un vocabulaire métier ultra-spécialisé mal couvert par les modèles publics (jargon actuariel, codes CIM-11, langage juridique fiscal très technique) ;
- vous voulez réduire la latence ou la taille du modèle déployé (distillation d'un grand modèle vers un petit).
Dans tous les autres cas, on commence par un RAG bien fait. C'est notre opinion assumée et elle nous a fait économiser des budgets à plusieurs clients.
#3.2 LoRA vs QLoRA vs full fine-tuning
LoRA (Low-Rank Adaptation) : technique standard 2024+. On gèle les poids du modèle de base et on ajoute des matrices d'adaptation de faible rang qui s'entraînent vite. Coût GPU très inférieur au full fine-tuning, pour une qualité quasi équivalente dans la majorité des cas. C'est notre défaut.
QLoRA (Quantized LoRA) : variante quantifiée 4-bit qui permet de fine-tuner des modèles 70B sur un nombre réduit de GPU H100. Très utile pour Llama 3.1 70B sur infra modeste.
Full fine-tuning : on ré-entraîne tous les poids du modèle. Réservé aux cas où LoRA s'avère insuffisant après évaluation (rare). Coût élevé en GPU. Risque de catastrophic forgetting.
#3.3 Curation du dataset
Quelques centaines à quelques milliers d'exemples annotés selon la complexité. Plus le domaine est étroit, moins on a besoin d'exemples. Plus le style attendu est spécifique, plus la qualité d'annotation prime sur le volume.
Les erreurs qu'on rencontre le plus souvent en audit :
- dataset trop hétérogène (exemples qui se contredisent) ;
- pas de validation set séparé du train set (impossible de mesurer le sur-apprentissage) ;
- absence d'exemples négatifs (le modèle apprend à toujours répondre, jamais à dire « je ne sais pas ») ;
- pas de revue qualité par un expert métier.
Méthode Nehos : un binôme AI Engineer Nehos + expert métier client, pour curer, annoter, vérifier et équilibrer le dataset. C'est la phase qui détermine l'essentiel du succès du fine-tuning.
#3.4 Évaluation rigoureuse
Avant de déployer, trois batteries de tests obligatoires :
- Tests de qualité métier sur un test set tenu à l'écart pendant l'entraînement (typiquement une dizaine de pour cent du dataset).
- Tests d'hallucinations — on confronte le modèle fine-tuné à des questions hors périmètre pour vérifier qu'il sait dire « je ne sais pas » au lieu d'inventer.
- Tests de biais — obligatoire AI Act pour les systèmes haut risque. Couvre genre, âge, origine, ethnie selon les pertinences métier.
#4. Auto-hébergement chez un hébergeur français : architecture et dimensionnement
Quand l'organisation refuse même un cloud LLM managé (Mistral Cloud) et veut héberger intégralement le modèle dans son périmètre, l'hébergement chez un prestataire français qualifié SecNumCloud (OVHcloud par exemple) est la voie que nous recommandons.
#4.1 Architecture type
- GPU : NVIDIA H100 80 GB, ou A100 80 GB pour les budgets contraints.
- Compute : instance bare metal chez un hébergeur français, qualifiée SecNumCloud si le projet l'exige, avec hyperviseur durci.
- Inférence : vLLM ou TGI (Text Generation Inference) pour servir le modèle avec batching dynamique, attention paginée, throughput optimisé.
- Réseau : zone isolée Vrack, accès uniquement depuis l'environnement client via VPN ou peering privé.
- Monitoring : Prometheus + Grafana en self-hosted, logs centralisés sur Wazuh SIEM.
- Sécurité : chiffrement at rest et in transit, segmentation réseau stricte, audit logs immuables (compliance AI Act + ACPR).
#4.2 Trois dimensionnements de référence
Petit (Mistral Small 3, agents internes, peu d'utilisateurs simultanés) : un GPU H100 80 GB. Couvre une organisation avec un usage modéré.
Moyen (Mistral Large 2, agents de production multi-cas, usage soutenu) : plusieurs GPU H100 80 GB. Configuration typique d'une banque mutualiste, d'une ETI industrielle ou d'un ministère.
Grand (cluster multi-tenant, plusieurs modèles cohabitant, nombreux utilisateurs simultanés) : un cluster de GPU H100. Configuration des grands comptes.
Les coûts d'infrastructure dépendent de l'hébergeur et du volume : nous les chiffrons sur devis après l'audit. À comparer avec une consommation équivalente sur OpenAI API ou Azure OpenAI à volume soutenu : nous calculons systématiquement le point de bascule entre API et auto-hébergement. Au-delà d'un certain volume, l'auto-hébergement devient moins cher en plus d'être souverain.
#5. Trois exemples de situations
Ces trois exemples illustrent les cas où un LLM souverain a du sens. Ce sont des situations types, pas des références clients.
#5.1 Exemple de situation : une banque mutualiste et son assistant pour conseillers
Une banque mutualiste régionale veut un assistant documentaire pour ses conseillers (réglementation, conditions produits, scripts d'entretien client). La contrainte ACPR + DORA bloque l'usage d'OpenAI ou d'Anthropic. Parcours possible : POC sur Mistral Cloud, puis migration vers un auto-hébergement chez un hébergeur français si le DPO renforce ses exigences. On mesure pendant le pilote la baisse des appels au support interne réglementaire et la satisfaction des conseillers.
#5.2 Exemple de situation : un ministère et son IA sur archives métier
Un ministère exige une souveraineté maximale (SecNumCloud obligatoire, pas de cloud LLM managé, même français). Modèle de base possible : Llama 3.1 70B fine-tuné LoRA sur des archives métier internes (textes réglementaires, notes de service, jurisprudence administrative), hébergé sur un cluster GPU dédié. Usage visé : assistant rédactionnel pour les agents. Les validations de sécurité allongent le calendrier : elles sont à intégrer dès le cadrage.
#5.3 Exemple de situation : une mutuelle santé qui sort d'Azure OpenAI
Une mutuelle santé a déployé un agent de support adhérents sur Azure OpenAI. Son DPO s'inquiète de la conformité au regard des transferts de données et du traitement de données de santé (HDS) en dehors d'un périmètre souverain. Mission possible : migration vers Mistral Large 2 sur Mistral Cloud France, migration des prompts, ré-évaluation de la qualité, transition à périmètre fonctionnel identique. On mesure la parité de qualité sur un jeu de test et le coût d'inférence avant et après.
— Mistral auto-hébergé vs API US à volume
La question du coût revient à chaque RDV avec un CTO ou un CFO. Voici la matrice que nous utilisons en audit, simplifiée.
À faible volume, les API managées (OpenAI, Anthropic, Mistral Cloud) restent imbattables sur le coût marginal. L'auto-hébergement n'a pas de sens.
À volume moyen, l'arbitrage devient sensible. Mistral Cloud est souvent plus économique qu'OpenAI à qualité équivalente sur le B2B classique. L'auto-hébergement commence à être pertinent à partir d'un certain volume mensuel, sur un modèle comme Mistral Small 3.
À haut volume, l'auto-hébergement avec plusieurs GPU H100 devient compétitif y compris en coût pur, sans même valoriser le bénéfice de souveraineté. Le seuil exact dépend de votre volumétrie : nous le calculons en audit.
Un écueil fréquent : les directions financières comparent uniquement le coût marginal API sans intégrer le coût de conformité AI Act, ACPR ou DORA, le coût d'un éventuel arbitrage sur les transferts de données et le coût de réversibilité. Une fois ces coûts cachés intégrés, l'auto-hébergement gagne plus tôt dans la courbe.
Notre calculateur TCO LLM souverain (lien en hero) permet de simuler les trois scénarios sur votre volumétrie réelle.
Questions & réponses
Questions fréquentes — LLM souverains et fine-tuning
Pour la majorité des projets B2B français : Mistral. Trois raisons. Un, Mistral est français : meilleur français out-of-the-box, vocabulaire métier mieux couvert. Deux, écosystème français mature (intégration OVHcloud AI Endpoints, support entreprise en France). Trois, Mistral Large 2 affiche 84 % sur MMLU et 92 % sur HumanEval d'après Mistral AI, un niveau proche des meilleurs modèles sur les tâches B2B classiques. Llama 3.1 70B est préférable quand l'organisation exige le contrôle complet des poids du modèle (défense, énergie nucléaire, ministère ultra-souverain) ou pour de très gros fine-tunings. Notre choix par défaut : Mistral Large 2, sauf cas d'exception justifiés.
Le budget dépend du modèle (Mistral 7B, Llama 3.1 8B ou 70B), de la taille et de la qualité du dataset, et de l'évaluation attendue. Il se répartit en : curation du dataset (la part qui compte le plus), entraînement GPU, évaluation rigoureuse, déploiement et monitoring. Le chiffrage se fait sur devis, en 48 h après un premier échange. Notre conseil : avant de chiffrer un fine-tuning, on valide qu'un RAG bien fait ne suffit pas. C'est souvent le cas, et cela économise un budget.
RAG (retrieval-augmented generation) = on garde un LLM généraliste et on lui injecte au runtime les documents pertinents extraits d'une base vectorielle. Fine-tuning = on ré-entraîne (partiellement) le modèle sur des exemples spécifiques. Notre arbre de décision : si vous voulez injecter de la connaissance qui évolue souvent (référentiel produit, base de jurisprudence, FAQ), RAG. Si vous voulez modifier le style, le format de sortie ou couvrir un vocabulaire ultra-spécialisé mal compris par les modèles publics, fine-tuning. Si vous voulez les deux, vous combinez RAG + fine-tuning. Dans beaucoup de cas que nous auditons, le RAG seul suffit et économise le budget d'un fine-tuning.
Notre choix par défaut chez un hébergeur comme OVHcloud : H100 SXM 80 GB. C'est la référence performance/efficacité énergétique pour servir Mistral Large 2 ou Llama 3.1 70B en production. A100 80 GB reste valide pour les budgets contraints, avec des performances inférieures en inférence. L40S est intéressant pour des modèles plus petits (Mistral Small 3, Phi-3, Llama 8B) ou des charges de travail mixtes inférence + fine-tuning léger. Pour un cluster multi-modèles haute volumétrie, on part sur 4 à 8 H100 en SXM (NVLink) avec vLLM ou TGI.
Trois raisons majeures. Un, exposition réduite au Cloud Act américain : un LLM auto-hébergé chez un prestataire français qualifié SecNumCloud est moins exposé à une demande d'une autorité extra-européenne. Deux, conformité facilitée vis-à-vis de l'AI Act, de l'ACPR, de DORA et de HDS : moins de gymnastique documentaire pour passer les audits. Trois, contrôle complet de l'évolution du modèle : vous décidez quand mettre à jour, vous ne dépendez pas d'un changement unilatéral chez OpenAI ou Microsoft. Le revers : coût initial plus élevé, exploitation à internaliser ou à déléguer à un partenaire comme nous. C'est un arbitrage, pas une obligation absolue, sauf en secteur régulé strict.
La latence dépend de l'infrastructure, du modèle et de la configuration. Sur un déploiement bien dimensionné en datacenter français, le temps avant le premier token reste de l'ordre de la fraction de seconde, comparable à Mistral Cloud France et souvent meilleur qu'une API hébergée aux États-Unis, grâce à la proximité. Pour les cas d'usage temps réel critiques (voix conversationnelle), on optimise avec du speculative decoding, de la quantification dynamique et du batching agressif. Les mesures sont faites sur votre cas d'usage pendant le POC.
À faible volume, les API managées (OpenAI, Anthropic, Mistral Cloud) restent imbattables sur le coût marginal : l'auto-hébergement n'a pas de sens. À volume moyen, Mistral Cloud est souvent moins cher qu'OpenAI à qualité équivalente sur le B2B classique. L'auto-hébergement devient pertinent à partir d'un certain volume mensuel, qui dépend du modèle (plus tôt pour Mistral Small 3 que pour Mistral Large 2). Le point de bascule exact se calcule sur votre volumétrie réelle : c'est l'objet de notre calculateur TCO LLM souverain et de l'audit.
Oui, en règle générale. L'AI Act européen (vigueur progressive depuis le 2 février 2025) classe les systèmes IA en quatre catégories : interdit, haut risque, risque limité, minimal. Un LLM déployé pour de la FAQ interne tombe en risque limité (obligation de transparence). Un LLM utilisé pour du screening RH, du scoring crédit, de la décision automatisée dans le secteur public ou santé tombe en haut risque (documentation rigoureuse, gestion des biais, supervision humaine, audit annuel, journalisation). Notre audit AI Act classe vos systèmes en 5 jours (à partir de 3 000 € HT) et produit la documentation requise. Nos déploiements sont conçus pour être AI Act-ready.
Honnêtement : non, sauf cas particuliers. Aleph Alpha est un excellent LLM germanophone, mature, avec un bel écosystème entreprise DACH (Allemagne, Autriche, Suisse alémanique). Pour des projets très allemand-centriques ou DACH, c'est une option crédible. Pour une entreprise francophone, Mistral est préférable : meilleur français, meilleur écosystème français, meilleures intégrations OVHcloud, support entreprise local. Si vous êtes une entreprise franco-allemande avec des volumes équivalents dans les deux langues, on peut envisager une architecture multi-modèles — Mistral pour le FR, Aleph Alpha pour le DE.
Trois formats. Un, formation initiale de quelques jours pour les utilisateurs opérationnels du LLM : prompt engineering, détection des hallucinations, ajustement des cas limites métier. Deux, formation administrateur pour la personne qui maintiendra le LLM en interne : monitoring, ajout de cas d'usage, mise à jour des prompts système, gestion des guardrails, lecture des logs. Trois, formation gouvernance pour le sponsor, le DPO et le RSSI : pilotage des indicateurs, conformité AI Act, audit annuel. Ces formations, portées par Ewolis, peuvent être éligibles à un financement OPCO selon votre situation. Pour les organisations qui veulent monter une équipe IA interne, on propose aussi du coaching long terme.
Parlons de votre projet
Un devis chiffré, sans engagement
Décrivez votre besoin en deux minutes : un consultant senior vous répond avec une première estimation et les prochaines étapes.
- Réponse sous 24 h ouvrées
- Sans engagement
- Un consultant senior vous répond