La inferencia de modelos permanece en Mac.
ToshLLM ejecuta la inferencia del modelo localmente y vincula su API a 127.0.0.1 por defecto. Los modelos descargados, las conversaciones guardadas y el historial de pruebas permanecen en la Mac a menos que habilites una función que se comunique con otro servicio.
Las funciones de red tienen propósitos visibles, incluidas descargas de modelos, comprobaciones de actualizaciones, servidores MCP remotos, servicio de red local opcional y uso compartido voluntario de puntos de referencia. La inferencia local no convierte a una herramienta remota o a un servicio de sistema operativo en local.
Los resultados solo se envían cuando lo decides.
Si nunca inicias el proceso de compartir, la app no envía ningún benchmark. La primera vez crea o recupera una identidad de instalación, obtiene un desafío del servidor, ejecuta la prueba y te muestra los datos para revisión. El envío comienza solo después de seleccionar Firmar y enviar benchmark.
La información firmada incluye la identidad y huellas de los archivos del modelo, descripción del hardware, versiones de macOS y de la app, configuración, mediciones individuales y registros depurados de la prueba. Puedes usar un seudónimo.
La clave privada no sale de Keychain.
ToshLLM crea una clave de firma P-256 en el primer uso. Prefiere Secure Enclave cuando está disponible y recurre a una clave de software P-256 almacenada como un elemento Keychain exclusivo del dispositivo. El servidor recibe la clave pública y la huella digital, nunca la clave privada.
Cada carga utiliza un nonce de corta duración y firma un mensaje separado por dominio que contiene el desafío, el nonce y el hash SHA-256 de la carga útil revisada. Esto evita que un envío copiado se edite silenciosamente o se reproduzca como un nuevo resultado.
El siguiente envío creará una identidad nueva que no estará vinculada con la anterior. Los resultados ya publicados conservarán su huella original.
El acceso a la red es su elección.
La detección de redes locales está desactivada de forma predeterminada. Si lo habilita, ToshLLM escucha en cada interfaz de red y anuncia la API con Bonjour. Habilite la protección de clave API y use este modo solo en redes en las que confíe.
Los puntos finales de lista de modelos y de estado permanecen públicos para el descubrimiento de clientes incluso cuando la clave API está habilitada. La clave protege la inferencia y otras operaciones no públicas, no la existencia del servidor o sus ID de modelo.
Los límites de las herramientas dependen de lo que habilites.
Las herramientas de agente integradas pueden leer archivos, editar archivos y ejecutar comandos después del flujo de permisos. Un permiso recordado se aplica a llamadas futuras de esa herramienta hasta que lo revoque. Configure un contenedor o tiempo de ejecución SSH cuando el código del agente no deba ejecutarse en el entorno local de la aplicación.
Un servidor MCP recibe las llamadas, argumentos y recursos necesarios para la operación. Si su URL es remota, esa información sale de la Mac. Los encabezados de autenticación para los servidores MCP se almacenan en macOS Keychain.
La grabación y la transcripción son caminos diferentes.
La grabación crea un archivo WAV local temporal y adjunta sus bytes al modelo local. El dictado utiliza el marco de voz de Apple y solicita reconocimiento en el dispositivo cuando es compatible con el idioma actual.
En ese caso, macOS puede utilizar el servicio de voz de Apple de acuerdo con la configuración de dictado y los términos de privacidad del sistema. Utilice la grabación de audio con un modelo local con capacidad de audio cuando la transcripción deba permanecer dentro de la ruta de inferencia local.
Sepa por qué ocurre una conexión.
Las compilaciones de desarrollo pueden volver a preguntar.
La clave de firma de benchmarks y la clave opcional de la API local se guardan en el llavero de macOS. Si una compilación de desarrollo cambia su firma temporal, macOS puede pedir la contraseña de inicio de sesión antes de permitirle reutilizar una clave existente.
Una firma estable de Developer ID y la notarización de Apple mantienen la identidad de la app durante las actualizaciones normales. La solicitud de contraseña proviene de macOS; esa contraseña no se envía a ToshLLM ni forma parte del benchmark.