1010

Guía práctica de ToshLLM

Solución de problemas

Resuelve incidencias de instalación, compatibilidad de CPU, memoria, carga de modelos y conexión con el servidor local.

Primer inicio

macOS dice que no se puede abrir la aplicación.

La versión oficial de ToshLLM está firmada y notarizada. Comprueba que descargaste el DMG correcto desde la página oficial de versiones de GitHub y que moviste la app a Aplicaciones. Si macOS sigue mostrando una advertencia de seguridad, conserva el mensaje exacto y repórtalo en lugar de omitir un aviso inesperado.

Compatibilidad de procesadores

El motor sale con una instrucción ilegal.

El error de instrucción ilegal, o SIGILL, suele indicar que el procesador no admite AVX2. Instala la versión cuyo archivo incluye noavx2. ToshLLM recuerda esta variante para recomendar actualizaciones compatibles.

Presión de la memoria

El modelo falla durante la carga.

  1. Detén cualquier servidor o benchmark que ya utilice VRAM.
  2. Reduzca el tamaño del contexto para reducir el caché KV.
  3. Aumente la reserva de VRAM para que las asignaciones macOS y Metal tengan margen.
  4. Para los modelos MoE, traslade más expertos a la CPU.
  5. Pruebe con una cuantización o modelo más pequeño si el archivo aún no cabe.

Cambie una configuración a la vez y revise los registros después de cada intento. La aplicación traduce fallas comunes del motor en orientación, mientras que el registro completo conserva el mensaje subyacente.

API locales

Un cliente no puede conectarse.

  • Confirme que el estado del servidor sea En ejecución y verifique su puerto configurado. El valor predeterminado es 8080.
  • En la misma Mac, use http://127.0.0.1:8080 en lugar de una URL pública.
  • Si la protección de clave API está habilitada, incluya Authorization: Bearer ….
  • Para otro dispositivo, habilite el descubrimiento de red local, permita el mensaje de red macOS y use la dirección local de Mac.
  • Reinicie el servidor después de cambiar su configuración de escucha o seguridad.
Visión y archivos adjuntos

El modelo ignora una imagen, un archivo de audio o un vídeo.

  • Las imágenes requieren el archivo mmproj correspondiente al modelo y que la opción de visión esté activada.
  • Los controles de audio y video aparecen solo cuando el modelo seleccionado anuncia esas modalidades.
  • La entrada de vídeo y la exportación MP4 requieren ffmpeg y ffprobe.
  • Revise la advertencia del token adjunto. Un archivo que llena el contexto puede hacer que la solicitud falle antes de su generación.
  • Para archivos PDF escaneados, espere hasta que finalice el OCR en el dispositivo antes de enviarlos.
Agentes y MCP

Una herramienta nunca se ejecuta ni se repite en un bucle.

  • Habilite las herramientas del agente local y utilice un modelo con una plantilla de llamada de herramientas compatible.
  • Revisa las solicitudes de permiso pendientes. Una llamada denegada se devuelve al modelo como un error.
  • Pruebe cada servidor MCP desde Configuración de chat y confirme que se descubran las herramientas.
  • Valide los encabezados MCP opcionales como un objeto JSON y verifique la URL y el transporte del servidor.
  • Reduce el máximo de turnos del agente si el modelo insiste en una llamada no válida.

Comience con una herramienta de solo lectura. Si eso funciona pero las escrituras no, el problema restante suele ser el permiso, el aislamiento del tiempo de ejecución o el acceso al sistema de archivos en lugar de la conectividad del modelo.

Estudio de imagen y vídeo.

Una ejecución creativa agota la VRAM.

  1. Detenga el servidor de chat u otra instancia de Studio que utilice la misma GPU.
  2. Reduzca las dimensiones de la imagen o el número de cuadros de video.
  3. Elija un modelo más pequeño o habilite la descarga de CPU.
  4. En una Mac con múltiples GPU, mueva los componentes de soporte a una tarjeta diferente.
  5. Evite ejecutar dos instancias pesadas en una GPU AMD.

Los registros de imágenes y vídeos están separados de los del servidor de modelos. Usa la fase indicada en el estudio para identificar si falló la carga, el muestreo o la decodificación.

Soporte

Comparte datos que ayuden a reproducir el error.

Al informar un problema reproducible, incluye la versión de ToshLLM, el modelo de Mac, la GPU AMD, la versión de macOS, el archivo del modelo, la configuración relevante y el fragmento de registro necesario. No publiques claves API, rutas privadas ni contenido personal del chat.

La vista Registros admite búsqueda, filtros de subsistema, seguimiento automático, copia y exportación de diagnóstico. Borrar solo restablece la vista visible; no elimina el archivo de registro almacenado en el disco.

Abrir un problema de GitHub cuando el problema persiste.

Diagnóstico rápido

Comience con el subsistema que falló.

DescargarVerifique el almacenamiento disponible, la URL Hugging Face y si se completó cada parte dividida GGUF.
Carga del modeloInspeccione la VRAM, el tamaño del contexto, la selección de GPU, la cuantificación y el primer error del motor.
GeneraciónVerifique la plantilla de chat, la configuración de las herramientas, el agotamiento del contexto y si el servidor permanece en buen estado.
IntegraciónVerifique la URL base, la ID del modelo, la clave de portador y el punto final esperado por el cliente.

Usa la vista Registros para revisar el ciclo completo del servidor. Los registros de benchmarks se guardan aparte, de modo que puedas investigar una medición fallida o interrumpida sin mezclarla con la salida del chat.

Para empresas y particulares

ToshLLM, adaptado a tu equipo.

¿Necesitas una implementación a medida, ayuda para elegir modelos o asesoría para varios Mac Intel? Cuéntanos qué estás desarrollando y te responderemos personalmente.

¿Encontraste un error reproducible? Un reporte público en GitHub permite seguir la solución. Reportar un error ↗
hello@toshllm.com

CONTACT / TOSHLLM

Tu mensaje llega directamente a ToshLLM. No incluyas contraseñas, claves de API ni registros privados.