Prise en main d'Inkling 2 Mini : Téléchargement du modèle et exécution d'inférence locale
Les poids d'Inkling 2 Mini sont désormais publics, ce qui signifie que vous pouvez l'exécuter sur votre propre ordinateur, et non plus seulement via une API cloud. Ce tutoriel vous guide à travers tout le processus : de la vérification de l'environnement à la génération de la première réponse avec Ollama, en passant par l'appel via curl depuis un programme. Le tout est basé sur un Mac avec puce Apple, chaque étape vous indique comment vérifier le succès.
Vérification de l'environnement : Confirmez d'abord que votre machine est capable
Avant de télécharger quoi que ce soit, vérifiez trois conditions. Ouvrez « Terminal » et exécutez successivement :
uname -m
sysctl hw.memsize
df -h /
La première commande affiche arm64 si vous avez une puce Apple ; si vous voyez x86_64, vous devrez trouver une autre solution sur un Mac Intel. La deuxième commande affiche la mémoire en octets, 34359738368 correspond à 32 Go, nous recommandons au moins cette capacité. La troisième commande vérifie l'espace disque libre ; le fichier modèle fait environ 20 Go, plus le runtime et le cache système, prévoyez de l'espace supplémentaire pour le cache et l'exécution.
La carte de modèle officielle indique qu'un environnement avec puce Apple nécessite 32 Go ou plus de mémoire unifiée. La longueur réelle du contexte dépend des coûts du runtime et du cache.
Installation d'Ollama : Choisissez la version selon la page du modèle
Nous suivons la voie principale d'Ollama, car il gère le format du modèle, la quantification et le cache, vous n'avez pas à vous soucier des détails sous-jacents. Allez d'abord sur la page de téléchargement d'Ollama pour installer l'application de bureau, puis lancez-la. Vous verrez une petite icône dans la barre de menus. Ensuite, revenez au terminal pour vérifier la version :
ollama --version
Si vous obtenez command not found, vérifiez d'abord que l'application de bureau est bien lancée. Après son démarrage, Ollama exécute un service en arrière-plan ; suivez les instructions de l'application pour installer l'outil en ligne de commande. Une version affichée signifie que l'environnement est prêt.
Il y a un piège concernant la version : la page du modèle Ollama d'Inkling 2 Mini exige une version d'Ollama supérieure à un certain seuil pour prendre en charge son architecture. Si vous utilisez une version plus ancienne, ollama pull signalera une erreur du type unsupported model architecture. Si vous voyez ce message, suivez les instructions de la page du modèle pour installer la version prenant en charge ce modèle.
Télécharger le modèle et vérifier le téléchargement
Maintenant, téléchargeons le modèle, environ 20 Go, selon votre vitesse de connexion :
ollama pull inkling-2-mini
Le processus de téléchargement affiche une barre de progression et la vitesse. Le succès de cette étape se caractérise par l'absence d'erreurs et une dernière ligne affichant success. Ensuite, confirmez qu'il est bien local :
ollama list
La sortie devrait contenir une ligne avec inkling-2-mini, et la colonne SIZE affiche environ 20 Go. Les étiquettes et tailles dépendent du modèle et de la liste locale.
Pendant le téléchargement, vous pouvez observer le répertoire ~/.ollama/models ; la taille des fichiers augmente continuellement. Cependant, aucune intervention manuelle n'est nécessaire, cela sert uniquement à confirmer que les données sont bien écrites sur le disque.
Exécuter la première réponse
C'est le moment de voir le résultat. Exécutez :
ollama run inkling-2-mini "Expliquez en trois phrases ce qu'est le cache KV"
La première exécution charge le modèle ; une fois le chargement terminé, le terminal affiche la réponse générée par le modèle. Voir la réponse indique que le modèle a été chargé avec succès sur votre machine et qu'une inférence a été effectuée.
Si pendant le chargement vous obtenez memory error ou un crash, reportez-vous à la section de dépannage plus bas. Résolvez d'abord l'erreur de chargement avant de tester l'API.
Appel via l'API : Comment l'utiliser dans un programme
Les programmes peuvent appeler le même modèle via l'API HTTP locale d'Ollama. Une fois Ollama démarré, il écoute par défaut sur 127.0.0.1:11434. Testons directement avec curl :
curl http://127.0.0.1:11434/api/chat \
-H "Content-Type: application/json" \
-d '{
"model": "inkling-2-mini",
"messages": [{"role": "user", "content": "Qu'est-ce que l'attention éparse ?"}],
"stream": false
}'
La réponse est en JSON, le contenu de la réponse se trouve dans le champ message.content. Vous pouvez l'extraire avec un pipe :
curl -s http://127.0.0.1:11434/api/chat \
-H "Content-Type: application/json" \
-d '{"model":"inkling-2-mini","messages":[{"role":"user","content":"Qu'est-ce que l'attention éparse ?"}],"stream":false}' \
| python3 -c "import sys, json; print(json.load(sys.stdin)['message']['content'])"
Si vous obtenez connection refused, le service Ollama ne tourne pas ; retournez à l'application de bureau et vérifiez l'icône dans la barre de menus. Si vous obtenez du JSON mais pas de champ message, la requête ou l'inférence a probablement échoué ; vérifiez d'abord le statut HTTP et le champ error du JSON, puis comparez avec ollama list pour confirmer le nom du modèle.
Autre voie : Poids originaux sur Hugging Face
Ollama est adapté pour un démarrage rapide, mais si vous voulez utiliser vLLM ou d'autres frameworks d'inférence, vous avez besoin des poids originaux. Allez sur le dépôt Hugging Face, environ 20,2 Go au total, contenant des safetensors, fichiers de configuration, tokenizers, etc.
Installez d'abord l'outil en ligne de commande officiel :
python3 -m pip install -U huggingface_hub
Puis téléchargez dans le répertoire spécifié :
hf download thinkingmachines/Inkling-2-Mini --local-dir ./Inkling-2-Mini
Notez que cette étape ne télécharge que les fichiers, elle n'inclut pas la capacité d'inférence. Après le téléchargement, vous verrez model.safetensors.index.json et les fichiers de poids principaux, qui sont les paramètres du modèle. Pour vraiment l'exécuter, vous devez charger ces poids avec un framework d'inférence — vLLM, SGLang, etc., chacun ayant sa documentation d'installation et de configuration. Ollama fait en réalité quelque chose de similaire en interne, mais c'est encapsulé.
La répartition de ces deux voies est : Ollama gère les poids et le runtime pour vous, tandis que la voie Hugging Face vous donne un contrôle total, au prix de devoir gérer la compatibilité des frameworks. Le format de précision mixte des poids (NVFP4/MXFP8) impose des exigences sur le framework d'inférence ; consultez la liste de compatibilité sur la carte de modèle officielle lors du choix.
Dépannage des problèmes courants
Interruption du téléchargement du modèle ou échec de vérification
Vérifiez d'abord l'espace disque disponible, df -h / pour voir s'il peut contenir le modèle et le cache. Puis réexécutez ollama pull inkling-2-mini. Si les interruptions persistent, il peut s'agir d'un problème réseau ; essayez de changer de réseau.
ollama --version signale command not found
L'application de bureau n'est pas démarrée, ou le chemin d'installation n'est pas ajouté au PATH. Cliquez sur l'icône Ollama dans la barre de menus pour confirmer que le service tourne, puis ouvrez une nouvelle fenêtre de terminal et réessayez.
L'API renvoie connection refused
Le service Ollama n'écoute pas sur le port 11434. Sur macOS, le scénario le plus courant est que l'application de bureau a été quittée ; redémarrez-la. Méthode de vérification : curl http://127.0.0.1:11434 ; si cela fonctionne, vous verrez Ollama is running.
Mémoire insuffisante lors du chargement du modèle
L'exigence minimale officielle est de 32 Go de mémoire unifiée ; en dessous de cette valeur, ne tentez pas de charger le modèle complet. Si votre machine a 32 Go mais que le chargement échoue encore, ajoutez d'abord "options": {"num_ctx": 2048} à la requête API JSON ci-dessus, vérifiez avec une invite courte, puis augmentez progressivement le contexte en fonction de la mémoire réelle et de la tâche.
ollama run signale une architecture de modèle non prise en charge
La version d'Ollama est trop ancienne. Consultez les instructions d'installation actuelles sur la page du modèle et vérifiez la version locale.
Téléchargement Hugging Face lent
Vérifiez d'abord l'accès à Hugging Face et l'espace disque restant sur la cible. Après le rétablissement du réseau, réexécutez la même commande de téléchargement.
Lectures complémentaires : Pour aller plus loin
La carte de modèle officielle contient des détails d'architecture et des benchmarks valant la peine d'être lus. La documentation API d'Ollama propose plus de paramètres (comme la température, top-p) ; adaptez-les selon les besoins de votre application. Si vous voulez utiliser vLLM pour ce modèle, recherchez dans sa documentation les notes de compatibilité avec Inkling 2.
Les 12 couches intermédiaires du modèle réutilisent le même ensemble de poids, exécutées trois fois. Le volume d'environ 20 Go dépend également de la précision mixte NVFP4 et MXFP8. 1M token est la limite supérieure supportée par le modèle ; le contexte local doit être configuré en fonction de la mémoire disponible.