Inkling 2 Mini 上手:下载模型并跑通本地推理
Веса Inkling 2 Mini уже опубликованы, что означает, что вы можете запустить модель на своем компьютере, а не только через облачный API. Это руководство проведет вас через весь процесс: от проверки окружения до загрузки модели через Ollama и получения первого ответа, а затем до вызова модели из программы с помощью curl. Все шаги ориентированы на Mac с чипом Apple, и каждый шаг объясняет, как определить успешность выполнения.
Проверка окружения: сначала убедитесь, что ваша машина подходит
Прежде чем что-либо скачивать, проверьте три условия. Откройте «Терминал» (Terminal) и выполните последовательно:
uname -m
sysctl hw.memsize
df -h /
Первая команда выводит arm64 — это означает чип Apple; если выводится x86_64, вам придется искать другое решение на Intel Mac. Вторая команда выводит объем памяти в байтах; 34359738368 соответствует 32 ГБ, и мы рекомендуем как минимум такой объем. Третья команда показывает доступное место на диске: файл модели около 20 ГБ, плюс время выполнения и системный кэш, поэтому дополнительно зарезервируйте место для кэша и работы.
Официальная карточка модели указывает, что для Apple-чипов требуется не менее 32 ГБ унифицированной памяти. Фактическая длина контекста, которую можно настроить, зависит от времени выполнения и накладных расходов на кэш.
Установка Ollama: выберите версию на странице модели
Мы идем по пути Ollama, потому что он инкапсулирует формат модели, квантизацию и кэширование, так что вам не нужно заботиться о низкоуровневых деталях. Сначала перейдите на страницу загрузки Ollama и установите десктопное приложение. После установки запустите его — в строке меню появится маленькая иконка. Затем вернитесь в терминал и проверьте версию:
ollama --version
Если выводится command not found, сначала убедитесь, что десктопное приложение запущено. Когда десктопная версия Ollama запущена, она запускает службу в фоновом режиме; следуйте инструкциям приложения для установки инструментов командной строки. Когда увидите вывод номера версии, окружение готово.
Относительно версии есть подводный камень: страница модели Inkling 2 Mini в Ollama требует версию Ollama не ниже определенной, чтобы поддерживать ее архитектуру. Если у вас старая версия, при ollama pull появится ошибка вроде unsupported model architecture. Если вы столкнулись с таким сообщением, установите версию, поддерживающую эту модель, согласно инструкциям на странице модели.
Загрузка модели и проверка загрузки
Теперь загрузите модель, примерно 20 ГБ, в зависимости от скорости вашего интернета:
ollama pull inkling-2-mini
Во время загрузки отображается индикатор прогресса и скорость. Признак успеха этого шага — отсутствие каких-либо сообщений об ошибках, последняя строка выводит success. Затем подтвердите, что модель локальна:
ollama list
В выводе должна быть строка inkling-2-mini, а в столбце SIZE — примерно 20 ГБ. Тег и размер зависят от библиотеки моделей и локального списка.
Во время загрузки можно наблюдать за каталогом ~/.ollama/models: размер файлов будет постоянно расти. Вмешиваться вручную не нужно — это просто для подтверждения, что данные записаны на диск.
Получение первого ответа
Вот момент, когда вы видите результат. Выполните:
ollama run inkling-2-mini "Объясни тремя предложениями, что такое KV-кэш"
Первый запуск требует загрузки модели. После завершения загрузки терминал отобразит ответ, сгенерированный моделью. Как только вы увидите ответ, это означает, что модель успешно загружена на этой машине и один вывод выполнен.
Если во время загрузки появляется memory error или приложение аварийно завершается, обратитесь к разделу устранения неполадок ниже. Сначала решите проблему загрузки, затем тестируйте API.
Вызов через API: использование в программе
Программа может вызывать ту же модель через локальный HTTP API Ollama. После запуска Ollama по умолчанию слушает 127.0.0.1:11434. Проверим напрямую с помощью curl:
curl http://127.0.0.1:11434/api/chat \
-H "Content-Type: application/json" \
-d '{
"model": "inkling-2-mini",
"messages": [{"role": "user", "content": "Что такое разреженное внимание?"}],
"stream": false
}'
Ответ — JSON, содержимое ответа находится в поле message.content. Можно извлечь его через конвейер:
curl -s http://127.0.0.1:11434/api/chat \
-H "Content-Type: application/json" \
-d '{"model":"inkling-2-mini","messages":[{"role":"user","content":"Что такое разреженное внимание?"}],"stream":false}' \
| python3 -c "import sys, json; print(json.load(sys.stdin)['message']['content'])"
Если возвращается connection refused, значит служба Ollama не запущена — вернитесь к десктопному приложению и проверьте, есть ли иконка в строке меню. Если возвращается JSON, но в нем нет поля message, возможно, запрос или вывод не удался. Сначала проверьте HTTP-статус и поле error в JSON, затем сверьте имя модели с ollama list.
Другой путь: исходные веса на Hugging Face
Ollama подходит для быстрого старта, но если вы хотите использовать vLLM или другие фреймворки вывода, вам нужны исходные веса. Перейдите на репозиторий Hugging Face — всего около 20,2 ГБ, включая safetensors, файлы конфигурации, токенизатор и другое.
Сначала установите официальный инструмент командной строки:
python3 -m pip install -U huggingface_hub
Затем скачайте в указанный каталог:
hf download thinkingmachines/Inkling-2-Mini --local-dir ./Inkling-2-Mini
Обратите внимание: этот шаг только скачивает файлы, он не включает возможность вывода. После завершения загрузки вы увидите model.safetensors.index.json и основные файлы весов — это параметры модели. Чтобы реально запустить модель, нужны фреймворки вывода, которые могут загрузить эти веса — vLLM, SGLang и т.д., у каждого есть свои инструкции по установке и настройке. Ollama внутри делает нечто похожее, просто все упаковано.
Разделение этих двух путей: Ollama управляет весами и средой выполнения за вас; путь через Hugging Face полностью отдает вам контроль, но вы сами решаете проблемы совместимости фреймворков. Формат смешанной точности весов (NVFP4/MXFP8) предъявляет требования к фреймворкам вывода — обращайте внимание на список совместимости в официальной карточке модели при выборе.
Устранение неполадок
Прерванная загрузка модели или ошибка проверки
Сначала проверьте свободное место на диске: df -h / для проверки, достаточно ли места для модели и кэша. Затем повторно выполните ollama pull inkling-2-mini. Если загрузка постоянно прерывается, вероятно, проблема с сетью — попробуйте сменить сетевое окружение.
ollama --version сообщает command not found
Десктопное приложение не запущено или путь установки не добавлен в PATH. Сначала щелкните иконку Ollama в строке меню, чтобы убедиться, что служба запущена, затем откройте новое окно терминала и попробуйте снова.
API возвращает connection refused
Служба Ollama не прослушивает порт 11434. На macOS самый частый случай — десктопное приложение было закрыто. Перезапустите его. Способ проверки: curl http://127.0.0.1:11434 — если работает, вернется Ollama is running.
Недостаточно памяти при загрузке модели
Официальное минимальное требование — 32 ГБ унифицированной памяти. При меньшем объеме не пытайтесь загрузить полную модель. Если ваша машина имеет 32 ГБ, но загрузка все равно не удается, добавьте в JSON запроса API "options": {"num_ctx": 2048}, проверьте с коротким подсказкой, а затем постепенно увеличивайте контекст в зависимости от доступной памяти и задач.
ollama run сообщает, что архитектура модели не поддерживается
Версия Ollama слишком старая. Ознакомьтесь с текущими инструкциями по установке на странице модели и проверьте локальную версию.
Медленная загрузка с Hugging Face
Сначала убедитесь, что у вас есть доступ к Hugging Face, и проверьте свободное место на целевом диске. После восстановления сети повторно запустите ту же команду загрузки.
Дополнительное чтение: дальнейшее исследование
В официальной карточке модели есть детали архитектуры и результаты тестов — стоит внимательно изучить. В документации API Ollama есть больше параметров (например, температура, top-p) — настраивайте под свои нужды. Если вы хотите запустить модель через vLLM, поищите в его документации информацию о совместимости с Inkling 2.
Средние 12 слоев модели используют один и тот же набор весов, выполняемый три раза. Объем файлов около 20 ГБ также зависит от смешанной точности NVFP4 и MXFP8. 1 млн токенов — это верхний предел поддержки модели; локальный контекст следует настраивать в зависимости от доступной памяти.