Primero el uso previsto; después, el tamaño.
El tamaño no basta para predecir cómo rendirá un modelo. La arquitectura, la cuantización, el contexto, el tamaño del prompt y la distribución entre GPU y CPU afectan la velocidad y la memoria. ToshLLM combina el hardware detectado con mediciones para recomendar modelos, pero las cifras siguen siendo estimaciones.
Equilibra memoria y precisión.
La cuantización GGUF reduce el tamaño del modelo y la presión sobre la memoria. Las variantes de menos bits suelen caber con mayor facilidad y cargarse más rápido; las de más bits conservan mejor la precisión. Etiquetas como Q4_K_M, Q6_K y Q8_0 indican formatos de almacenamiento, no cantidades distintas de parámetros.
Compare los resultados solo cuando coincidan el modelo, la cuantificación y la configuración de tiempo de ejecución relevante. Dos archivos con el mismo nombre para mostrar aún pueden tener diferentes hashes de artefactos o metadatos internos.
Ternary Bonsai 2 27B de Prism ML admite PQ2_0 y PTQ1_0, junto con su proyector de visión. Son variantes GGUF distintas: al medirlas, compara el archivo y la configuración exactos.
Es posible que un GGUF no sea la capacidad completa.
El catálogo de modelos puede asociar el GGUF principal con artefactos complementarios opcionales. Un proyector de visión añade entrada de imágenes, mientras que un borrador DFlash compatible puede acelerar la generación especulativa. Mantenga las piezas divididas GGUF y sus archivos complementarios en el directorio del modelo configurado.
mmproj correspondiente permite que un modelo multimodal procese imágenes. Desactiva la visión para liberar VRAM cuando solo necesites texto.Deje espacio para el tiempo de ejecución.
- Capas de GPU: el valor predeterminado de 99 solicita la descarga completa de la GPU cuando el modelo lo permite.
- Expertos en CPU MoE: trasladar expertos a la CPU puede hacer que un modelo MoE grande se ajuste, con una compensación de velocidad de generación.
- Reserva de VRAM: ToshLLM reserva memoria para macOS y asignaciones de tiempo de ejecución en lugar de llenar la GPU hasta el megabyte final.
- Tamaño del contexto: Las ventanas más grandes consumen más memoria caché KV. Reduzca el contexto antes de reducir la calidad del modelo cuando no sea necesaria una ventana de gran tamaño.
- Tipos de caché KV: Los formatos de caché cuantificados reducen el uso de memoria y la aplicación aplica la ruta de atención compatible cuando es necesario.
Reduce el contexto, aumenta la reserva de VRAM o mueve más expertos MoE a la CPU. Así podrás identificar la causa y comparar la siguiente prueba con criterio.
Mantenga el camino rápido en la GPU.
El motor integrado incluye optimizaciones Metal para AMD que la app activa automáticamente cuando el hardware es compatible.
Los formatos KV cuantificados requieren una ruta de Atención Flash compatible. Si un motor externo personalizado carece del kernel AMD ToshLLM, verifique tanto la velocidad como la salida antes de reutilizar la misma configuración de caché.
Utilice cada tarjeta con contexto.
ToshLLM puede asignar un modelo a una GPU o distribuirlo entre varias GPU AMD. La división de tensores y las transferencias directas entre tarjetas dependen del hardware. Las tarjetas Duo contienen varios dispositivos GPU; por eso, el benchmark registra la configuración detectada completa.
Más GPU pueden mejorar el procesamiento rápido, mientras que la sincronización entre dispositivos puede limitar la generación de tokens. Mida tanto la velocidad de respuesta como la de generación antes de decidir si es mejor una división más amplia.
Encaja primero. Luego optimice la velocidad.
- Cargue el modelo con el perfil recomendado y un tamaño de contexto práctico.
- Confirme la generación estable antes de cambiar la selección de GPU o la ubicación de expertos.
- Para los modelos MoE, utilice el buscador óptimo para localizar un valor experto en CPU seguro.
- Solicitud de evaluación comparativa y generación por separado con el servidor detenido.
- Guarde la configuración como perfil solo después de que permanezca estable en el chat real.
Un benchmark puede mostrar una configuración rápida que, sin embargo, queda demasiado cerca del límite de memoria para conversaciones largas. Deja margen para el crecimiento de la caché KV, los proyectores de visión y otras aplicaciones que usen la GPU.
Mida el trabajo aceptado, no solo la insignia.
MTP y DFlash proponen múltiples tokens y conservan solo aquellos confirmados por el modelo principal, por lo que el resultado aceptado no cambia la respuesta que habría producido el modelo principal. Su beneficio depende de la tasa de aceptación, el costo de verificación y la presión de la memoria.
Los diagnósticos en vivo muestran la aceptación y el promedio de tokens aceptados por verificación. Un valor inferior a uno puede costar más de lo que ahorra. Compare la generación de chat real con especulaciones intermitentes en lugar de confiar en llama-bench, que mide la decodificación sin procesar sin la ruta interactiva completa.
Guarde un tiempo de ejecución en buen estado.
Un perfil captura el modelo seleccionado y la configuración de tiempo de ejecución para que se pueda restaurar una configuración estable después de la experimentación. Importar y exportar en Configuración transfiere la configuración reiniciable de la aplicación como un archivo JSON versionado.
La configuración del motor importada entra en vigor después de que se reinicia el servidor. Las credenciales API y MCP permanecen protegidas por separado y no se colocan en el archivo de configuración exportado.
Sirve varios modelos descargados a través de un puerto.
El modo enrutador publica alias estables a través de GET /v1/models y carga el modelo nombrado en cada solicitud. El límite del modelo controla cuántos permanecen residentes, utilizando la descarga utilizada menos recientemente cuando se solicita otro modelo.
Comience con un límite de uno en una sola GPU. Cada modelo enrutado conserva su propia visión, MoE y configuración de decodificación especulativa, pero el cambio aún implica tiempo de carga del modelo.
Thunderbolt cambia la compensación.
Las GPU AMD externas tienen suficiente VRAM para que quepan modelos que de otro modo serían imposibles, pero las transferencias repetidas a través de Thunderbolt pueden reducir el rendimiento. ToshLLM puede forzar buffers Metal privados residentes en VRAM para una eGPU, de modo que los pesos no se transmitan desde la memoria del sistema para cada operación.
Fije explícitamente la eGPU deseada cuando sea posible. Si macOS lo elige automáticamente, use la opción de memoria de GPU externa correspondiente y confirme el dispositivo seleccionado en el registro del servidor.