Inkling 2 Mini ハンズオン:モデルのダウンロードとローカル推論の実行
Inkling 2 Mini の重みが公開されたことで、クラウド API 経由だけでなく、自分のコンピュータ上でも実行できるようになりました。このチュートリアルでは、環境の確認から始めて、Ollama でモデルを取得し最初の回答を生成し、最後に curl を使ってプログラムから呼び出すまでの一連の流れを解説します。すべて Apple シリコン搭載 Mac を基準としており、各ステップで成功したかどうかの判断方法を説明します。
環境確認:まず、マシンが実行可能かを確認する
何かをダウンロードする前に、3 つの条件を確認してください。「ターミナル」を開いて、次のコマンドを順に実行します:
uname -m
sysctl hw.memsize
df -h /
最初のコマンドの出力が arm64 なら Apple シリコンです。x86_64 の場合は、Intel Mac 用の別の方法を検討する必要があります。2 番目のコマンドはメモリのバイト数を出力します。34359738368 は 32 GB に相当し、少なくともこの容量を推奨します。3 番目のコマンドでディスクの空き容量を確認します。モデルファイルは約 20 GB で、ランタイムとシステムキャッシュを加えると、さらにキャッシュと実行領域を確保してください。
公式モデルカードに記載されている Apple シリコン環境では、32 GB 以上のユニファイドメモリが必要です。実際に設定できるコンテキストの長さは、ランタイムとキャッシュのオーバーヘッドによって異なります。
Ollama のインストール:モデルページに従ってバージョンを選択
Ollama をメインの流れとして使用します。モデル形式、量子化、キャッシュがすべてカプセル化されており、内部の詳細を気にする必要がないためです。まず Ollama ダウンロードページ でデスクトップアプリをインストールし、起動して、メニューバーに小さなアイコンが表示されることを確認します。次にターミナルに戻り、バージョンを確認します:
ollama --version
command not found と表示された場合は、デスクトップアプリが起動しているか確認してください。Ollama デスクトップ版を起動すると、バックグラウンドでサービスが実行されます。アプリの指示に従ってコマンドラインツールをインストールしてください。バージョン番号が表示されれば、環境は準備完了です。
バージョンに関する注意点があります:Inkling 2 Mini の Ollama モデルページ では、そのアーキテクチャをサポートするために特定のバージョン以上の Ollama が必要です。古いバージョンを使用している場合、ollama pull で unsupported model architecture のようなエラーが発生します。このような表示が出た場合は、モデルページの説明に従って、そのモデルをサポートする現在のバージョンをインストールしてください。
モデルの取得とダウンロードの検証
次にモデルを取得します。約 20 GB で、通信速度によります:
ollama pull inkling-2-mini
ダウンロード中は、進行状況バーと速度が表示されます。このステップの成功の兆候は、エラーメッセージがなく、最後の行に success と表示されることです。次に、実際にローカルにあることを確認します:
ollama list
出力に inkling-2-mini の行があり、SIZE 列に約 20 GB と表示されるはずです。タグとサイズはモデルライブラリとローカルリストに従ってください。
ダウンロード中は、~/.ollama/models ディレクトリを確認できます。ファイルサイズは増加し続けます。ただし、手動での介入は不要で、データが実際にディスクに保存されていることを確認するためだけです。
最初の回答を実行する
結果を確認する時が来ました。次のコマンドを実行します:
ollama run inkling-2-mini "用三句话解释什么是 KV 缓存"
初回実行ではモデルの読み込みが必要です。読み込みが完了すると、端末にモデルが生成した回答が表示されます。回答が表示されれば、ローカルでモデルが正常に読み込まれ、推論が 1 回実行されたことを意味します。
読み込み中に memory error が表示されたり、クラッシュしたりする場合は、後のトラブルシューティングセクションを参照してください。まず読み込みエラーを解決してから、API をテストしてください。
API 経由の呼び出し:プログラムでの使用方法
プログラムは、Ollama のローカル HTTP API を使用して同じモデルを呼び出すことができます。Ollama は起動後、デフォルトで 127.0.0.1:11434 をリッスンします。curl で直接テストします:
curl http://127.0.0.1:11434/api/chat \
-H "Content-Type: application/json" \
-d '{
"model": "inkling-2-mini",
"messages": [{"role": "user", "content": "什么是稀疏注意力?"}],
"stream": false
}'
応答は JSON で、回答内容は message.content フィールドにあります。パイプを使用して抽出できます:
curl -s http://127.0.0.1:11434/api/chat \
-H "Content-Type: application/json" \
-d '{"model":"inkling-2-mini","messages":[{"role":"user","content":"什么是稀疏注意力?"}],"stream":false}' \
| python3 -c "import sys, json; print(json.load(sys.stdin)['message']['content'])"
connection refused が返された場合は、Ollama サービスが実行されていません。デスクトップアプリに戻り、メニューバーのアイコンを確認してください。JSON が返されたが message フィールドがない場合は、リクエストまたは推論が失敗した可能性があります。まず HTTP ステータスと JSON の error フィールドを確認し、ollama list でモデル名を照合してください。
別の方法:Hugging Face の元の重み
Ollama はクイックスタートには適していますが、vLLM や他の推論フレームワークを使用する場合は、元の重みが必要です。Hugging Face リポジトリ にアクセスしてください。合計約 20.2 GB で、safetensors、設定ファイル、トークナイザーなどが含まれています。
まず公式コマンドラインツールをインストールします:
python3 -m pip install -U huggingface_hub
次に、指定したディレクトリにダウンロードします:
hf download thinkingmachines/Inkling-2-Mini --local-dir ./Inkling-2-Mini
この手順はファイルのダウンロードのみで、推論機能は含まれないことに注意してください。ダウンロードが完了すると、model.safetensors.index.json とメインの重みファイルが表示されます。これらはモデルのパラメータです。実際に実行するには、これらの重みを読み込む推論フレームワークが必要です。vLLM、SGLang などがあり、それぞれにインストールと設定のドキュメントがあります。Ollama も内部的には同様のことを行っていますが、カプセル化されているだけです。
この 2 つの方法の役割分担は次のとおりです:Ollama は重みとランタイムの管理を支援し、Hugging Face ルートは完全に制御をユーザーに委ね、代わりにフレームワークの互換性を自分で処理する必要があります。重みの混合精度形式(NVFP4/MXFP8)は推論フレームワークに要件を課すため、選択時には公式モデルカードの互換性リストを確認してください。
一般的な問題のトラブルシューティング
モデルのダウンロードが中断された、または検証に失敗した
まずディスクの空き容量を確認します。df -h / でモデルとキャッシュを収容できるか確認してください。次に ollama pull inkling-2-mini を再実行します。繰り返し中断される場合は、ネットワークの問題が考えられるので、ネットワーク環境を変更してみてください。
ollama --version が command not found を報告
デスクトップアプリが起動していないか、インストールパスが PATH に追加されていません。まずメニューバーの Ollama アイコンをクリックしてサービスが実行されていることを確認し、新しいターミナルウィンドウで再試行してください。
API が connection refused を返す
Ollama サービスが 11434 ポートをリッスンしていません。macOS で最も一般的なシナリオは、デスクトップアプリが終了していることです。再起動してください。確認方法:curl http://127.0.0.1:11434 が通れば Ollama is running と返されます。
モデル読み込み時のメモリ不足
公式の最小要件は 32 GB のユニファイドメモリで、これを下回る場合は完全なモデルを試さないでください。マシンが 32 GB であっても読み込みが失敗する場合は、まず上記の API リクエスト JSON に "options": {"num_ctx": 2048} を追加し、短いプロンプトで検証してから、実際のメモリとタスクに基づいてコンテキストを段階的に増やしてください。
ollama run がモデルアーキテクチャ非対応を報告
Ollama のバージョンが古すぎます。モデルページの現在のインストール手順を確認し、ローカルのバージョンを照合してください。
Hugging Face のダウンロードが遅い
まず Hugging Face にアクセスできるか確認し、ターゲットディスクの空き容量を確認してください。ネットワークが回復したら、同じダウンロードコマンドを再実行してください。
さらに読む:さらなる探求
公式モデルカードには、アーキテクチャの詳細とベンチマークがあり、一読の価値があります。Ollama の API ドキュメント には、温度や top-p などのパラメータがさらにあり、独自のアプリケーションのニーズに合わせて調整できます。vLLM でこのモデルを実行する場合は、そのドキュメントで Inkling 2 の互換性情報を検索してください。
モデルの中間 12 層は同じ重みセットを再利用し、3 回実行されます。約 20 GB のファイルサイズは、NVFP4 と MXFP8 の混合精度にも依存しています。1M トークンはモデルのサポート上限であり、ローカルコンテキストは利用可能なメモリに応じて設定する必要があります。