Inkling 2 Mini im Test: Modell herunterladen und lokale Inferenz ausführen

Die Gewichte von Inkling 2 Mini sind öffentlich, was bedeutet, dass du es auf deinem eigenen Computer ausführen kannst, statt nur über die Cloud-API. Dieses Tutorial führt dich durch den gesamten Prozess: von der Umgebungsprüfung über das Ziehen des Modells mit Ollama und das Erzeugen der ersten Antwort bis hin zur Nutzung über curl in Programmen. Es basiert auf einem Mac mit Apple-Chip und zeigt dir bei jedem Schritt, wie du den Erfolg erkennst.

Umgebungsprüfung: Stelle zuerst sicher, dass dein Rechner geeignet ist

Bevor du etwas herunterlädst, prüfe zuerst drei Bedingungen. Öffne das „Terminal“ und führe nacheinander aus:

uname -m
sysctl hw.memsize
df -h /

Der erste Befehl gibt arm64 aus, was auf einen Apple-Chip hinweist; wenn x86_64 erscheint, musst du auf einem Intel-Mac nach Alternativen suchen. Der zweite Befehl gibt die Speichergröße in Bytes aus; 34359738368 entspricht 32 GB, was wir mindestens empfehlen. Der dritte Befehl zeigt den freien Speicherplatz. Die Modelldatei ist etwa 20 GB groß; zusätzlich zu Laufzeit und Systemcache solltest du weiteren Platz für Cache und Laufzeit einplanen.

Die offizielle Modellkarte listet für Apple-Chip-Umgebungen mindestens 32 GB einheitlichen Speicher. Wie viel Kontext tatsächlich konfiguriert werden kann, hängt auch von Laufzeit- und Cache-Overhead ab.

Ollama installieren: Version gemäß Modellseite wählen

Wir folgen dem Hauptpfad über Ollama, weil es Modellformat, Quantisierung und Cache kapselt, sodass du dich nicht um Details kümmern musst. Gehe zuerst zur Ollama-Downloadseite, installiere die Desktop-App, starte sie, und in der Menüleiste sollte ein kleines Symbol erscheinen. Dann kehre zum Terminal zurück und überprüfe die Version:

ollama --version

Wenn command not found erscheint, stelle zuerst sicher, dass die Desktop-App gestartet ist. Nach dem Start der Ollama-Desktopversion läuft ein Dienst im Hintergrund; folge den Anweisungen der App, um die Befehlszeilenwerkzeuge zu installieren. Wenn die Versionsnummer ausgegeben wird, ist die Umgebung bereit.

Es gibt eine Falle bei der Version: Die Ollama-Modellseite von Inkling 2 Mini erfordert eine bestimmte Ollama-Version oder höher, um die Architektur zu unterstützen. Wenn du eine ältere Version verwendest, meldet ollama pull Fehler wie unsupported model architecture. Bei solchen Hinweisen installiere gemäß den Anweisungen der Modellseite die Version, die das Modell unterstützt.

Modell ziehen und Download verifizieren

Jetzt ziehe das Modell, etwa 20 GB, abhängig von deiner Internetgeschwindigkeit:

ollama pull inkling-2-mini

Während des Downloads werden Fortschrittsbalken und Geschwindigkeit angezeigt. Der Erfolg zeigt sich darin, dass keine Fehlermeldungen erscheinen und die letzte Zeile success ausgibt. Bestätige dann, dass es tatsächlich lokal vorhanden ist:

ollama list

In der Ausgabe sollte eine Zeile inkling-2-mini erscheinen, und die Spalte SIZE zeigt etwa 20 GB. Die genauen Tags und Größen richten sich nach der Modellbibliothek und der lokalen Liste.

Während des Downloads kannst du das Verzeichnis ~/.ollama/models beobachten; die Dateigröße wächst kontinuierlich. Ein manueller Eingriff ist jedoch nicht nötig; dies dient nur zur Bestätigung, dass die Daten tatsächlich auf der Festplatte landen.

Erste Antwort ausführen

Dies ist der Moment, das Ergebnis zu sehen. Führe aus:

ollama run inkling-2-mini "Erkläre in drei Sätzen, was ein KV-Cache ist"

Beim ersten Lauf muss das Modell geladen werden; nach Abschluss zeigt das Terminal die generierte Antwort. Das Erscheinen einer Antwort zeigt, dass das Modell erfolgreich geladen und eine Inferenz durchgeführt wurde.

Wenn beim Laden memory error angezeigt wird oder das Programm abstürzt, siehe den späteren Abschnitt zur Fehlerbehebung. Behebe zuerst Ladefehler, dann teste die API.

Über die API aufrufen: Verwendung in Programmen

Programme können dasselbe Modell über die lokale HTTP-API von Ollama aufrufen. Standardmäßig lauscht Ollama nach dem Start auf 127.0.0.1:11434; wir testen direkt mit curl:

curl http://127.0.0.1:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "inkling-2-mini",
    "messages": [{"role": "user", "content": "Was ist spärliche Aufmerksamkeit?"}],
    "stream": false
  }'

Die Antwort ist JSON, der Antwortinhalt steht im Feld message.content. Du kannst es mit einer Pipe extrahieren:

curl -s http://127.0.0.1:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{"model":"inkling-2-mini","messages":[{"role":"user","content":"Was ist spärliche Aufmerksamkeit?"}],"stream":false}' \
  | python3 -c "import sys, json; print(json.load(sys.stdin)['message']['content'])"

Wenn connection refused zurückgegeben wird, läuft der Ollama-Dienst nicht; prüfe in der Desktop-App, ob das Symbol in der Menüleiste vorhanden ist. Wenn JSON zurückgegeben wird, aber kein message-Feld vorhanden ist, ist die Anfrage oder Inferenz fehlgeschlagen; überprüfe zuerst den HTTP-Status und das error-Feld im JSON und vergleiche dann den Modellnamen mit ollama list.

Alternativer Weg: Hugging Face Originalgewichte

Ollama ist für den schnellen Einstieg geeignet, aber wenn du vLLM oder andere Inferenz-Frameworks verwenden möchtest, benötigst du die Originalgewichte. Gehe zum Hugging-Face-Repository, insgesamt etwa 20,2 GB, einschließlich safetensors, Konfigurationsdateien, Tokenizer usw.

Installiere zuerst das offizielle Befehlszeilenwerkzeug:

python3 -m pip install -U huggingface_hub

Dann lade es in ein bestimmtes Verzeichnis herunter:

hf download thinkingmachines/Inkling-2-Mini --local-dir ./Inkling-2-Mini

Beachte, dass dieser Schritt nur Dateien herunterlädt, keine Inferenzfähigkeit enthält. Nach dem Download siehst du model.safetensors.index.json und die Hauptgewichtedateien; das sind die Modellparameter. Zum tatsächlichen Ausführen benötigst du ein Inferenz-Framework, das diese Gewichte lädt – vLLM, SGLang usw. –, die jeweils eigene Installations- und Konfigurationsdokumente haben. Ollama macht intern ähnliches, nur gekapselt.

Die Arbeitsteilung dieser beiden Wege: Ollama verwaltet Gewichte und Laufzeit, während der Hugging-Face-Weg dir die volle Kontrolle gibt, aber du musst die Framework-Kompatibilität selbst handhaben. Das gemischte Präzisionsformat der Gewichte (NVFP4/MXFP8) stellt Anforderungen an das Inferenz-Framework; achte bei der Auswahl auf die Kompatibilitätsliste der offiziellen Modellkarte.

Fehlerbehebung bei häufigen Problemen

Modell-Download unterbrochen oder Überprüfung fehlgeschlagen
Prüfe zuerst den freien Speicherplatz, df -h /, ob genug Platz für Modell und Cache vorhanden ist. Führe dann erneut ollama pull inkling-2-mini aus. Bei wiederholten Unterbrechungen könnte ein Netzwerkproblem vorliegen; versuche, die Netzwerkumgebung zu wechseln.

ollama --version meldet command not found
Die Desktop-App ist nicht gestartet oder der Installationspfad ist nicht im PATH. Klicke zuerst auf das Ollama-Symbol in der Menüleiste, um sicherzustellen, dass der Dienst läuft, und öffne dann ein neues Terminalfenster, um es erneut zu versuchen.

API gibt connection refused zurück
Der Ollama-Dienst lauscht nicht auf Port 11434. Auf macOS ist der häufigste Fall, dass die Desktop-App beendet wurde; starte sie neu. Überprüfung: curl http://127.0.0.1:11434, wenn erfolgreich, gibt es Ollama is running zurück.

Nicht genug Speicher beim Laden des Modells
Die offizielle Mindestanforderung ist 32 GB einheitlicher Speicher; unter diesem Wert solltest du das vollständige Modell nicht versuchen. Wenn dein Rechner 32 GB hat, aber das Laden trotzdem fehlschlägt, füge zuerst im obigen API-Anfrage-JSON "options": {"num_ctx": 2048} hinzu, teste mit einem kurzen Prompt und erhöhe dann schrittweise den Kontext basierend auf verfügbarem Speicher und Aufgabe.

ollama run meldet nicht unterstützte Modellarchitektur
Die Ollama-Version ist zu alt. Konsultiere die aktuellen Installationshinweise auf der Modellseite und überprüfe die lokale Version.

Langsamer Download von Hugging Face
Stelle zuerst sicher, dass Hugging Face erreichbar ist, und prüfe den freien Speicherplatz auf dem Ziel-Laufwerk. Nach Wiederherstellung des Netzwerks führe denselben Download-Befehl erneut aus.

Weiterführende Lektüre: Weitere Erkundung

Die offizielle Modellkarte enthält Architekturdetails und Benchmarks, die einen Blick wert sind. Die API-Dokumentation von Ollama bietet weitere Parameter (wie Temperatur, top-p), die du an deine Anwendungsanforderungen anpassen kannst. Wenn du vLLM für dieses Modell verwenden möchtest, suche in dessen Dokumentation nach Kompatibilitätshinweisen für Inkling 2.

Das Modell verwendet dieselben Gewichte für die mittleren 12 Schichten, die dreimal ausgeführt werden. Die Dateigröße von etwa 20 GB hängt zudem von der gemischten Präzision NVFP4 und MXFP8 ab. 1M Token ist die maximale unterstützte Länge; der lokale Kontext sollte gemäß verfügbarem Speicher konfiguriert werden.