Inférence
L’inférence est l’exécution d’un modèle pour produire une réponse, un vecteur ou un autre résultat. SmartAGT sollicite les modèles via des fournisseurs : services SaaS, serveurs d’inférence sur site ou moteur local.
Le modèle décrit ce qu’il peut faire. Le fournisseur propose une offre pour l’exécuter, avec ses conditions et son tarif.
Selon le modèle : OCR, génération d’images, reranking…
Ses caractéristiques restent distinctes des conditions de chaque offre. Le fournisseur local exécute le modèle dans SmartAGT ; le schéma décrit une chaîne logique, indépendamment du réseau.
Modes d’exécution
Les trois fournisseurs du schéma correspondent à trois modes d’exécution.
| Mode | Où s’exécute le modèle | Ressources | Dans le PoC |
|---|---|---|---|
| SaaS | Chez le fournisseur, qui expose les modèles par son API | Portées par le fournisseur : le serveur SmartAGT ne porte pas le calcul du modèle | Oui, pour la conversation et l’embedding |
| On-premise | Sur un serveur d’inférence de votre infrastructure, que SmartAGT appelle par son API HTTPS | CPU/GPU du serveur d’inférence, à dimensionner séparément de l’hébergement de SmartAGT | Possible pour la conversation |
| Local | Dans l’environnement SmartAGT, par le moteur Transformers | Poids, cache et CPU de l’hôte qui porte le traitement, à dimensionner selon le modèle | Non, hors du PoC de référence |
En SaaS, Platform et les workers transmettent au fournisseur le contenu nécessaire à l’opération : contexte de conversation, passages documentaires ou texte à vectoriser. Son offre définit les modèles disponibles, les quotas, les tarifs et les conditions de traitement des données. Le mode on-premise sert actuellement les modèles de conversation. Le mode local reste distinct d’un serveur on-premise appelé par API : il s’exécute sur le CPU de l’hôte, et un modèle qui exige un GPU se sert depuis un serveur d’inférence, en mode on-premise.
Embeddings locaux à l'installation
Le package contient une copie signée du référentiel, utilisable avant la première synchronisation. Les poids des modèles ne sont pas inclus : ils sont téléchargés au premier appel et conservés dans le cache local.
Une installation neuve prépare cinq instances CPU : Granite Embedding 97M Multilingual R2, Granite Embedding 311M Multilingual R2, Harrier OSS v1 270M, Voyage 4 nano et CodeRankEmbed, spécialisé dans la recherche de code. Granite 97M devient le défaut initial pour les nouvelles bases documentaires. Les instances utilisent une fenêtre de 512 jetons et des lots de 8 textes.
Une mise à jour enrichit le référentiel sans remplacer les instances BGE/E5, le défaut de la plateforme ni le modèle des bases existantes. Un catalogue installé plus récent est conservé. S'il ne contient pas les nouvelles fiches, il faut synchroniser un catalogue officiel ultérieur.
La mémoire et le disque dépendent des modèles effectivement utilisés. Plusieurs modèles peuvent rester en mémoire après leurs premiers appels. Augmenter leur fenêtre d'entrée augmente aussi leurs besoins, au-delà du profil CPU initial.
Fournisseur et modèle
| Notion | Ce qu’elle porte |
|---|---|
| Fournisseur | Le service ou le moteur qui exécute les modèles, en SaaS, sur site ou en local. |
| Offre fournisseur | Un modèle proposé par ce fournisseur, avec sa référence, ses conditions d’utilisation et son tarif. |
| Modèle | Son identité et ses caractéristiques : fenêtre de contexte, modalités acceptées, outils pris en charge ou dimensions des vecteurs. |
| Capacité | L’opération réalisable : conversation, embedding, OCR, génération d’images ou reranking. |
Choisir un modèle et choisir son fournisseur sont deux décisions distinctes. Le même modèle peut avoir plusieurs offres, avec des tarifs, quotas et conditions de traitement différents. La facturation au jeton est expliquée dans Abonnement ou API.
Capacités des modèles
| Capacité | Utilisation dans SmartAGT |
|---|---|
| Conversation | Raisonner, rédiger une réponse et appeler des outils si le modèle le permet. |
| Embedding | Transformer questions et passages en vecteurs pour la recherche documentaire. |
| OCR | Extraire le texte de documents ou d’images. |
| Génération d’images | Produire une image à partir d’une demande. |
| Reranking | Réordonner des passages selon leur pertinence pour une question. |
Un modèle de conversation ne remplace pas un modèle d’embedding. La compatibilité dépend des capacités du modèle et des fonctions proposées par son fournisseur.
Multi-LLM
Plusieurs modèles et fournisseurs peuvent coexister sur une même plateforme. Un agent choisit son modèle de conversation parmi ceux autorisés ; les traitements documentaires utilisent les modèles adaptés à leurs opérations.
La composition peut associer, par exemple, un modèle de conversation on-premise et un embedding SaaS ou local. Le catalogue et les politiques gouvernent leur utilisation.
Pour le PoC
Retenez une offre distante pour la conversation et une pour l’embedding, éventuellement chez le même fournisseur. Sélectionnez l’embedding comme modèle par défaut avant la première ingestion.
La Prise en main vous guide vers l’assistant d’installation pour raccorder les fournisseurs et les modèles. Les interfaces d’administration sont documentées dans le produit.