Inkling 2 Mini Primer uso: descarga el modelo y ejecuta la inferencia local
Los pesos de Inkling 2 Mini ya están disponibles públicamente, lo que significa que puedes ejecutarlo en tu propia computadora en lugar de usar solo la API en la nube. Este tutorial te guía a través de todo el proceso: desde la verificación del entorno, hasta usar Ollama para descargar el modelo y generar tu primera respuesta, y finalmente usar curl para invocarlo desde un programa. Todo está basado en Mac con chip Apple, y cada paso te indica cómo determinar si fue exitoso.
Verificación del entorno: primero confirma que tu máquina pueda ejecutarlo
Antes de descargar nada, confirma tres condiciones. Abre la "Terminal" y ejecuta en orden:
uname -m
sysctl hw.memsize
df -h /
La primera salida arm64 indica chip Apple; si es x86_64, entonces necesitas buscar una alternativa en una Mac Intel. La segunda comando muestra la memoria en bytes, 34359738368 corresponde a 32 GB, recomendamos al menos esa capacidad. La tercera comando revisa el espacio disponible en disco, el archivo del modelo es de aproximadamente 20 GB, más el runtime y la caché del sistema, por favor reserva espacio adicional para caché y ejecución.
La tarjeta del modelo oficial indica que el entorno Apple con chip necesita 32 GB o más de memoria unificada. La longitud de contexto que realmente puedes configurar dependerá de los gastos de ejecución y caché.
Instalar Ollama: elige la versión según la página del modelo
Usamos Ollama como ruta principal porque maneja el formato, cuantización y caché del modelo, no necesitas preocuparte por los detalles subyacentes. Primero visita la página de descarga de Ollama para instalar la aplicación de escritorio, iníciala después de instalar, y verás un pequeño icono en la barra de menú. Luego regresa a la terminal para verificar la versión:
ollama --version
Si aparece command not found, primero asegúrate de que la aplicación de escritorio esté iniciada. Una vez iniciada la versión de escritorio de Ollama, ejecuta el servicio en segundo plano, sigue las instrucciones de la aplicación para instalar las herramientas de línea de comandos. Ver la salida de versión indica que el entorno está listo.
Hay un detalle con la versión: la página del modelo de Ollama requiere cierta versión de Ollama o superior para admitir su arquitectura. Si usas una versión anterior, ollama pull reportará errores como unsupported model architecture. Si ves ese mensaje, sigue las instrucciones de la página del modelo e instala la versión que admite ese modelo.
Descargar el modelo y verificar la descarga
Ahora descarga el modelo, aproximadamente 20 GB, dependiendo de tu velocidad de internet:
ollama pull inkling-2-mini
Durante la descarga se mostrará una barra de progreso y velocidad. La señal de éxito de este paso es que no haya mensajes de error y la última línea muestre success. Luego confirma que está realmente en local:
ollama list
En la salida debería haber una línea inkling-2-mini, con la columna SIZE mostrando aproximadamente 20 GB. Las etiquetas y tamaños dependen del registro del modelo y de la lista local.
Mientras descargas, puedes observar el directorio ~/.ollama/models, el tamaño de los archivos aumentará continuamente. Sin embargo, no necesitas intervenir manualmente, solo es para confirmar que los datos realmente se guardaron en disco.
Ejecutar la primera respuesta
Este es el momento de ver el resultado. Ejecuta:
ollama run inkling-2-mini "Explica en tres oraciones qué es el caché KV"
La primera ejecución necesita cargar el modelo, cuando termine la carga, la terminal mostrará la respuesta generada por el modelo. Ver la respuesta indica que el modelo se cargó correctamente en tu máquina y se realizó una inferencia.
Si durante la carga aparece memory error o la aplicación se cierra directamente, consulta la sección de resolución de problemas más abajo. Primero resuelve el error de carga antes de probar la API.
Llamada mediante API: cómo usarla desde un programa
Los programas pueden invocar el mismo modelo usando la API HTTP local de Ollama. Después de iniciar Ollama, escucha en 127.0.0.1:11434 de forma predeterminada, probamos directamente con curl:
curl http://127.0.0.1:11434/api/chat \
-H "Content-Type: application/json" \
-d '{
"model": "inkling-2-mini",
"messages": [{"role": "user", "content": "¿Qué es la atención dispersa?"}],
"stream": false
}'
La respuesta es JSON, el contenido de la respuesta está en el campo message.content. Puedes extraerlo con un pipeline:
curl -s http://127.0.0.1:11434/api/chat \
-H "Content-Type: application/json" \
-d '{"model":"inkling-2-mini","messages":[{"role":"user","content":"¿Qué es la atención dispersa?"}],"stream":false}' \
| python3 -c "import sys, json; print(json.load(sys.stdin)['message']['content'])"
Si se devuelve connection refused, significa que el servicio de Ollama no está en ejecución, regresa a la aplicación de escritorio y verifica el icono en la barra de menú. Si se devuelve JSON pero no contiene el campo message, puede ser que la solicitud o la inferencia falló, primero revisa el estado HTTP y el campo error del JSON, y luego verifica el nombre del modelo con ollama list.
Otra ruta: pesos originales de Hugging Face
Ollama es excelente para empezar rápido, pero si quieres usar vLLM u otro marco de inferencia, necesitas los pesos originales. Ve al repositorio de Hugging Face, en total aproximadamente 20.2 GB, incluye safetensors, archivos de configuración, tokenizador, etc.
Primero instala la herramienta de línea de comandos oficial:
python3 -m pip install -U huggingface_hub
Luego descárgalos a un directorio específico:
hf download thinkingmachines/Inkling-2-Mini --local-dir ./Inkling-2-Mini
Nota que este paso solo descarga archivos, no incluye capacidad de inferencia. Después de la descarga verás model.safetensors.index.json y los archivos de peso principales, que son los parámetros del modelo. Para realmente ejecutarlo, necesitas un marco de inferencia que cargue esos pesos: vLLM, SGLang, etc., cada uno tiene su propia documentación de instalación y configuración. Ollama en realidad hace algo similar internamente, pero está empaquetado.
La división de estas dos rutas es: Ollama administra los pesos y el runtime por ti; la ruta de Hugging Face te da control total, a costa de manejar la compatibilidad del marco tú mismo. El formato de precisión mixta de los pesos (NVFP4/MXFP8) tiene requisitos para el marco de inferencia, presta atención a la lista de compatibilidad en la tarjeta oficial del modelo.
Resolución de problemas comunes
Descarga del modelo interrumpida o fallo de verificación
Primero revisa el espacio en disco, usa df -h / para verificar si hay espacio suficiente para el modelo y la caché. Luego vuelve a ejecutar ollama pull inkling-2-mini. Si se interrumpe repetidamente, puede ser un problema de red, intenta cambiar de entorno de red.
ollama --version reporta command not found
La aplicación de escritorio no está iniciada, o la ruta de instalación no está en el PATH. Primero haz clic en el icono de Ollama en la barra de menú para confirmar que el servicio está en ejecución, luego abre una nueva ventana de terminal e inténtalo de nuevo.
API devuelve connection refused
El servicio de Ollama no está escuchando en el puerto 11434. En macOS el escenario más común es que la aplicación de escritorio se haya cerrado, reiníciala. Método de verificación: curl http://127.0.0.1:11434, si funciona devolverá Ollama is running.
Memoria insuficiente al cargar el modelo
El requisito mínimo oficial es 32 GB de memoria unificada; por debajo de eso no intentes con el modelo completo. Si tu máquina tiene 32 GB pero la carga aún falla, primero agrega "options": {"num_ctx": 2048} al JSON de la solicitud API anterior, verifica con un prompt corto, y luego aumenta gradualmente el contexto según la memoria real y la tarea.
ollama run reporta arquitectura de modelo no admitida
La versión de Ollama es demasiado antigua. Consulta las instrucciones de instalación actuales en la página del modelo y verifica tu versión local.
Descarga lenta desde Hugging Face
Primero confirma que puedes acceder a Hugging Face y verifica el espacio libre en el disco de destino. Después de que la red se restablezca, vuelve a ejecutar el mismo comando de descarga.
Lectura adicional: exploración adicional
La tarjeta oficial del modelo contiene detalles de arquitectura y pruebas de referencia, vale la pena leerla. La documentación de API de Ollama tiene más parámetros (como temperatura, top-p), ajústalos según las necesidades de tu aplicación. Si quieres usar vLLM con este modelo, busca en su documentación las notas de compatibilidad para Inkling 2.
Las 12 capas intermedias del modelo reutilizan el mismo conjunto de pesos, ejecutado tres veces. El tamaño de archivo de aproximadamente 20 GB también depende de la precisión mixta NVFP4 y MXFP8. 1M token es el límite máximo admitido por el modelo, el contexto local debe configurarse según la memoria disponible.