Aller au contenu

Inférence

L’inférence est l’exécution d’un modèle pour produire une réponse, un vecteur ou un autre résultat. SmartAGT sollicite les modèles via des fournisseurs : services SaaS, serveurs d’inférence sur site ou moteur local.

Le modèle décrit ce qu’il peut faire. Le fournisseur propose une offre pour l’exécuter, avec ses conditions et son tarif.

De l’utilisateur au modèlePlatform orchestre ; les fournisseurs exécutent les modèles
UtilisateurQuestion et contexte
PlatformSmartAGT
AgentsInstructions, contexte et outils
CatalogueModèles autorisés
FournisseursOffres et tarifs
SaaSService du fournisseur
On-premiseServeur d’inférence privé
LocalExécution dans SmartAGT
ModèlesCaractéristiques et capacités
ConversationContexte, modalités, outils
EmbeddingDimensions et taille des entrées

Selon le modèle : OCR, génération d’images, reranking…

Un même modèle peut être proposé par plusieurs fournisseurs

Ses caractéristiques restent distinctes des conditions de chaque offre. Le fournisseur local exécute le modèle dans SmartAGT ; le schéma décrit une chaîne logique, indépendamment du réseau.

Modes d’exécution

Les trois fournisseurs du schéma correspondent à trois modes d’exécution.

Mode Où s’exécute le modèle Ressources Dans le PoC
SaaS Chez le fournisseur, qui expose les modèles par son API Portées par le fournisseur : le serveur SmartAGT ne porte pas le calcul du modèle Oui, pour la conversation et l’embedding
On-premise Sur un serveur d’inférence de votre infrastructure, que SmartAGT appelle par son API HTTPS CPU/GPU du serveur d’inférence, à dimensionner séparément de l’hébergement de SmartAGT Possible pour la conversation
Local Dans l’environnement SmartAGT, par le moteur Transformers Poids, cache et CPU/GPU de l’hôte qui porte le traitement, à dimensionner selon le modèle Non, hors du PoC de référence

En SaaS, Platform et les workers transmettent au fournisseur le contenu nécessaire à l’opération : contexte de conversation, passages documentaires ou texte à vectoriser. Son offre définit les modèles disponibles, les quotas, les tarifs et les conditions de traitement des données. Le mode on-premise sert actuellement les modèles de conversation. Le mode local reste distinct d’un serveur on-premise appelé par API.

Embeddings locaux à l'installation

Le package contient une copie signée du référentiel, utilisable avant la première synchronisation. Les poids des modèles ne sont pas inclus : ils sont téléchargés au premier appel et conservés dans le cache local.

Une installation neuve prépare cinq instances CPU : Granite Embedding 97M Multilingual R2, Granite Embedding 311M Multilingual R2, Harrier OSS v1 270M, Voyage 4 nano et CodeRankEmbed, spécialisé dans la recherche de code. Granite 97M devient le défaut initial pour les nouvelles bases documentaires. Les instances utilisent une fenêtre de 512 jetons et des lots de 8 textes.

Une mise à jour enrichit le référentiel sans remplacer les instances BGE/E5, le défaut de la plateforme ni le modèle des bases existantes. Un catalogue installé plus récent est conservé. S'il ne contient pas les nouvelles fiches, il faut synchroniser un catalogue officiel ultérieur.

La mémoire et le disque dépendent des modèles effectivement utilisés. Plusieurs modèles peuvent rester en mémoire après leurs premiers appels. Augmenter leur fenêtre d'entrée augmente aussi leurs besoins, au-delà du profil CPU initial.

Fournisseur et modèle

Notion Ce qu’elle porte
Fournisseur Le service ou le moteur qui exécute les modèles, en SaaS, sur site ou en local.
Offre fournisseur Un modèle proposé par ce fournisseur, avec sa référence, ses conditions d’utilisation et son tarif.
Modèle Son identité et ses caractéristiques : fenêtre de contexte, modalités acceptées, outils pris en charge ou dimensions des vecteurs.
Capacité L’opération réalisable : conversation, embedding, OCR, génération d’images ou reranking.

Choisir un modèle et choisir son fournisseur sont deux décisions distinctes. Le même modèle peut avoir plusieurs offres, avec des tarifs, quotas et conditions de traitement différents.

Capacités des modèles

Capacité Utilisation dans SmartAGT
Conversation Raisonner, rédiger une réponse et appeler des outils si le modèle le permet.
Embedding Transformer questions et passages en vecteurs pour la recherche documentaire.
OCR Extraire le texte de documents ou d’images.
Génération d’images Produire une image à partir d’une demande.
Reranking Réordonner des passages selon leur pertinence pour une question.

Un modèle de conversation ne remplace pas un modèle d’embedding. La compatibilité dépend des capacités du modèle et des fonctions proposées par son fournisseur.

Multi-LLM

Plusieurs modèles et fournisseurs peuvent coexister sur une même plateforme. Un agent choisit son modèle de conversation parmi ceux autorisés ; les traitements documentaires utilisent les modèles adaptés à leurs opérations.

La composition peut associer, par exemple, un modèle de conversation on-premise et un embedding SaaS ou local. Le catalogue et les politiques gouvernent leur utilisation.

Pour le PoC

Retenez une offre distante pour la conversation et une pour l’embedding, éventuellement chez le même fournisseur. Sélectionnez l’embedding comme modèle par défaut avant la première ingestion.

La Prise en main détaille la connexion d'un fournisseur et l’activation des modèles. Les interfaces d’administration sont documentées dans le produit.