Inkling 2 Mini 上手:下载模型并跑通本地推理
Inkling 2 Mini 的权重已经公开,这意味着你可以在自己的电脑上跑起来,而不是只能通过云端 API 使用。这篇教程带你走完整个流程:从环境检查开始,到用 Ollama 拉取模型并生成第一条回答,最后用 curl 从程序里调用它。全程以 Apple 芯片 Mac 为基准,每一步都告诉你如何判断是否成功。
环境检查:先确认你的机器能跑
在下载任何东西之前,先确认三个条件。打开「终端」(Terminal),依次执行:
uname -m
sysctl hw.memsize
df -h /
第一条命令输出 arm64 说明是 Apple 芯片;如果是 x86_64,那你需要在 Intel Mac 上另找方案。第二条命令输出的是内存字节数,34359738368 对应 32 GB,我们建议至少这个容量。第三条命令看磁盘余量,模型文件约 20 GB,加上运行时和系统缓存,请额外预留缓存与运行空间。
官方模型卡列出的 Apple 芯片环境需要 32 GB 或以上统一内存。实际能配置多长的上下文,还要看运行时和缓存开销。
安装 Ollama:按模型页选版本
我们走 Ollama 这条主线,因为它把模型格式、量化、缓存都封装好了,你不用关心底层细节。先去 Ollama 下载页 装桌面应用,装完启动它,在菜单栏能看到小图标。然后回到终端验证版本:
ollama --version
如果提示 command not found,先确认桌面应用已经启动。Ollama 桌面版启动后会在后台运行服务,按应用提示安装命令行工具。看到版本号输出就说明环境就绪。
关于版本有个坑:Inkling 2 Mini 的 Ollama 模型页 要求某版本以上的 Ollama 才支持它的架构。如果你用的是旧版,ollama pull 的时候会报 unsupported model architecture 之类的错误。遇到这种提示,按模型页说明安装当前支持该模型的版本。
拉取模型并验证下载
现在拉取模型,大约 20 GB,取决于你的网速:
ollama pull inkling-2-mini
下载过程中会显示进度条和速度。这一步成功的标志没有任何报错信息,最后一行显示 success。接下来确认它确实在本地:
ollama list
输出里应该有一行 inkling-2-mini,SIZE 列显示约 20 GB。标签及大小以模型库和本机列表为准。
下载期间可以观察 ~/.ollama/models 目录,文件大小会持续增长。不过我们不需要手动干预,这只是为了确认数据确实落盘了。
跑第一条回答
这是见证结果的时刻。执行:
ollama run inkling-2-mini "用三句话解释什么是 KV 缓存"
第一次运行需要加载模型,等加载完成后,终端会显示模型生成的回答。看到回答即表明本机已成功加载模型并完成一次推理。
如果加载过程中提示 memory error 或者直接闪退,参考后面的排查部分。先解决加载错误,再测试 API。
通过 API 调用:程序里怎么用
程序可以通过 Ollama 的本地 HTTP API 调用同一个模型。Ollama 启动后默认监听 127.0.0.1:11434,我们直接用 curl 测试:
curl http://127.0.0.1:11434/api/chat \
-H "Content-Type: application/json" \
-d '{
"model": "inkling-2-mini",
"messages": [{"role": "user", "content": "什么是稀疏注意力?"}],
"stream": false
}'
响应是 JSON,回答内容在 message.content 字段。你可以用管道提取出来:
curl -s http://127.0.0.1:11434/api/chat \
-H "Content-Type: application/json" \
-d '{"model":"inkling-2-mini","messages":[{"role":"user","content":"什么是稀疏注意力?"}],"stream":false}' \
| python3 -c "import sys, json; print(json.load(sys.stdin)['message']['content'])"
如果返回 connection refused,说明 Ollama 服务没跑起来,回到桌面应用检查图标是否在菜单栏。如果返回 JSON 但里面没有 message 字段,可能是请求或推理失败,先查看 HTTP 状态和 JSON 的 error 字段,再与 ollama list 核对模型名。
另一条路线:Hugging Face 原始权重
Ollama 适合快速上手,但如果你想用 vLLM 或其他推理框架,需要原始权重。去 Hugging Face 仓库,总共约 20.2 GB,包含 safetensors、配置文件、分词器等。
先装官方命令行工具:
python3 -m pip install -U huggingface_hub
然后下载到指定目录:
hf download thinkingmachines/Inkling-2-Mini --local-dir ./Inkling-2-Mini
注意这步只下载文件,不包含推理能力。下载完成后你会看到 model.safetensors.index.json 和主权重文件,这些是模型参数。要真正跑起来,需要加载这些权重的推理框架——vLLM、SGLang 等,它们各自有安装和配置文档。Ollama 其实也在内部做了类似的事,只是封装好了。
这两条路线的分工是:Ollama 帮你管理权重和运行时,Hugging Face 路线把控制权完全交给你,代价是自己处理框架兼容性。权重的混合精度格式(NVFP4/MXFP8)对推理框架有要求,选型时留意官方模型卡的兼容性列表。
常见问题排查
模型拉取中断或校验失败
先看磁盘余量,df -h / 检查是否容得下模型和缓存。然后重新执行 ollama pull inkling-2-mini。如果反复中断,可能是网络问题,尝试更换网络环境。
ollama --version 报 command not found
桌面应用没启动,或者安装路径没加入 PATH。先点击菜单栏的 Ollama 图标确认服务在跑,再开新终端窗口试一次。
API 返回 connection refused
Ollama 服务没有监听 11434 端口。macOS 上最常见的场景是桌面应用被退出了,重新启动它。检查方法:curl http://127.0.0.1:11434,如果通了会返回 Ollama is running。
加载模型时内存不足
官方最低要求 32 GB 统一内存,低于这个值不要尝试完整模型。如果你的机器是 32 GB,但加载仍然失败,先在上面的 API 请求 JSON 中加入 "options": {"num_ctx": 2048},用短提示验证,再根据实际内存和任务逐步增加上下文。
ollama run 报模型架构不支持
Ollama 版本太旧。查阅模型页的当前安装说明,并核对本机版本。
Hugging Face 下载速度慢
先确认能访问 Hugging Face,并检查目标磁盘剩余空间。网络恢复后重新运行相同的下载命令。
扩展阅读:进一步探索
官方模型卡里有架构细节和基准测试,值得细读。Ollama 的 API 文档 有更多参数(比如温度、top-p),配合你自己的应用需求调整。如果你想用 vLLM 跑这个模型,去它的文档里搜 Inkling 2 的兼容性说明。
模型的中间 12 层复用同一组权重,执行三遍。约 20 GB 的文件体积还依赖 NVFP4 与 MXFP8 混合精度。1M token 是模型支持上限,本地上下文应按可用内存配置。