Inkling 2 Mini 上手:下载模型并跑通本地推理

Веса Inkling 2 Mini уже опубликованы, что означает, что вы можете запустить модель на своем компьютере, а не только через облачный API. Это руководство проведет вас через весь процесс: от проверки окружения до загрузки модели через Ollama и получения первого ответа, а затем до вызова модели из программы с помощью curl. Все шаги ориентированы на Mac с чипом Apple, и каждый шаг объясняет, как определить успешность выполнения.

Проверка окружения: сначала убедитесь, что ваша машина подходит

Прежде чем что-либо скачивать, проверьте три условия. Откройте «Терминал» (Terminal) и выполните последовательно:

uname -m
sysctl hw.memsize
df -h /

Первая команда выводит arm64 — это означает чип Apple; если выводится x86_64, вам придется искать другое решение на Intel Mac. Вторая команда выводит объем памяти в байтах; 34359738368 соответствует 32 ГБ, и мы рекомендуем как минимум такой объем. Третья команда показывает доступное место на диске: файл модели около 20 ГБ, плюс время выполнения и системный кэш, поэтому дополнительно зарезервируйте место для кэша и работы.

Официальная карточка модели указывает, что для Apple-чипов требуется не менее 32 ГБ унифицированной памяти. Фактическая длина контекста, которую можно настроить, зависит от времени выполнения и накладных расходов на кэш.

Установка Ollama: выберите версию на странице модели

Мы идем по пути Ollama, потому что он инкапсулирует формат модели, квантизацию и кэширование, так что вам не нужно заботиться о низкоуровневых деталях. Сначала перейдите на страницу загрузки Ollama и установите десктопное приложение. После установки запустите его — в строке меню появится маленькая иконка. Затем вернитесь в терминал и проверьте версию:

ollama --version

Если выводится command not found, сначала убедитесь, что десктопное приложение запущено. Когда десктопная версия Ollama запущена, она запускает службу в фоновом режиме; следуйте инструкциям приложения для установки инструментов командной строки. Когда увидите вывод номера версии, окружение готово.

Относительно версии есть подводный камень: страница модели Inkling 2 Mini в Ollama требует версию Ollama не ниже определенной, чтобы поддерживать ее архитектуру. Если у вас старая версия, при ollama pull появится ошибка вроде unsupported model architecture. Если вы столкнулись с таким сообщением, установите версию, поддерживающую эту модель, согласно инструкциям на странице модели.

Загрузка модели и проверка загрузки

Теперь загрузите модель, примерно 20 ГБ, в зависимости от скорости вашего интернета:

ollama pull inkling-2-mini

Во время загрузки отображается индикатор прогресса и скорость. Признак успеха этого шага — отсутствие каких-либо сообщений об ошибках, последняя строка выводит success. Затем подтвердите, что модель локальна:

ollama list

В выводе должна быть строка inkling-2-mini, а в столбце SIZE — примерно 20 ГБ. Тег и размер зависят от библиотеки моделей и локального списка.

Во время загрузки можно наблюдать за каталогом ~/.ollama/models: размер файлов будет постоянно расти. Вмешиваться вручную не нужно — это просто для подтверждения, что данные записаны на диск.

Получение первого ответа

Вот момент, когда вы видите результат. Выполните:

ollama run inkling-2-mini "Объясни тремя предложениями, что такое KV-кэш"

Первый запуск требует загрузки модели. После завершения загрузки терминал отобразит ответ, сгенерированный моделью. Как только вы увидите ответ, это означает, что модель успешно загружена на этой машине и один вывод выполнен.

Если во время загрузки появляется memory error или приложение аварийно завершается, обратитесь к разделу устранения неполадок ниже. Сначала решите проблему загрузки, затем тестируйте API.

Вызов через API: использование в программе

Программа может вызывать ту же модель через локальный HTTP API Ollama. После запуска Ollama по умолчанию слушает 127.0.0.1:11434. Проверим напрямую с помощью curl:

curl http://127.0.0.1:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "inkling-2-mini",
    "messages": [{"role": "user", "content": "Что такое разреженное внимание?"}],
    "stream": false
  }'

Ответ — JSON, содержимое ответа находится в поле message.content. Можно извлечь его через конвейер:

curl -s http://127.0.0.1:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{"model":"inkling-2-mini","messages":[{"role":"user","content":"Что такое разреженное внимание?"}],"stream":false}' \
  | python3 -c "import sys, json; print(json.load(sys.stdin)['message']['content'])"

Если возвращается connection refused, значит служба Ollama не запущена — вернитесь к десктопному приложению и проверьте, есть ли иконка в строке меню. Если возвращается JSON, но в нем нет поля message, возможно, запрос или вывод не удался. Сначала проверьте HTTP-статус и поле error в JSON, затем сверьте имя модели с ollama list.

Другой путь: исходные веса на Hugging Face

Ollama подходит для быстрого старта, но если вы хотите использовать vLLM или другие фреймворки вывода, вам нужны исходные веса. Перейдите на репозиторий Hugging Face — всего около 20,2 ГБ, включая safetensors, файлы конфигурации, токенизатор и другое.

Сначала установите официальный инструмент командной строки:

python3 -m pip install -U huggingface_hub

Затем скачайте в указанный каталог:

hf download thinkingmachines/Inkling-2-Mini --local-dir ./Inkling-2-Mini

Обратите внимание: этот шаг только скачивает файлы, он не включает возможность вывода. После завершения загрузки вы увидите model.safetensors.index.json и основные файлы весов — это параметры модели. Чтобы реально запустить модель, нужны фреймворки вывода, которые могут загрузить эти веса — vLLM, SGLang и т.д., у каждого есть свои инструкции по установке и настройке. Ollama внутри делает нечто похожее, просто все упаковано.

Разделение этих двух путей: Ollama управляет весами и средой выполнения за вас; путь через Hugging Face полностью отдает вам контроль, но вы сами решаете проблемы совместимости фреймворков. Формат смешанной точности весов (NVFP4/MXFP8) предъявляет требования к фреймворкам вывода — обращайте внимание на список совместимости в официальной карточке модели при выборе.

Устранение неполадок

Прерванная загрузка модели или ошибка проверки
Сначала проверьте свободное место на диске: df -h / для проверки, достаточно ли места для модели и кэша. Затем повторно выполните ollama pull inkling-2-mini. Если загрузка постоянно прерывается, вероятно, проблема с сетью — попробуйте сменить сетевое окружение.

ollama --version сообщает command not found
Десктопное приложение не запущено или путь установки не добавлен в PATH. Сначала щелкните иконку Ollama в строке меню, чтобы убедиться, что служба запущена, затем откройте новое окно терминала и попробуйте снова.

API возвращает connection refused
Служба Ollama не прослушивает порт 11434. На macOS самый частый случай — десктопное приложение было закрыто. Перезапустите его. Способ проверки: curl http://127.0.0.1:11434 — если работает, вернется Ollama is running.

Недостаточно памяти при загрузке модели
Официальное минимальное требование — 32 ГБ унифицированной памяти. При меньшем объеме не пытайтесь загрузить полную модель. Если ваша машина имеет 32 ГБ, но загрузка все равно не удается, добавьте в JSON запроса API "options": {"num_ctx": 2048}, проверьте с коротким подсказкой, а затем постепенно увеличивайте контекст в зависимости от доступной памяти и задач.

ollama run сообщает, что архитектура модели не поддерживается
Версия Ollama слишком старая. Ознакомьтесь с текущими инструкциями по установке на странице модели и проверьте локальную версию.

Медленная загрузка с Hugging Face
Сначала убедитесь, что у вас есть доступ к Hugging Face, и проверьте свободное место на целевом диске. После восстановления сети повторно запустите ту же команду загрузки.

Дополнительное чтение: дальнейшее исследование

В официальной карточке модели есть детали архитектуры и результаты тестов — стоит внимательно изучить. В документации API Ollama есть больше параметров (например, температура, top-p) — настраивайте под свои нужды. Если вы хотите запустить модель через vLLM, поищите в его документации информацию о совместимости с Inkling 2.

Средние 12 слоев модели используют один и тот же набор весов, выполняемый три раза. Объем файлов около 20 ГБ также зависит от смешанной точности NVFP4 и MXFP8. 1 млн токенов — это верхний предел поддержки модели; локальный контекст следует настраивать в зависимости от доступной памяти.