Integraciones

Un servidor local. Tus herramientas preferidas.

Inicia un modelo en ToshLLM antes de abrir el cliente. La mayoría de las integraciones necesitan estos tres datos:

Usa el id exacto devuelto por GET /v1/models. El modo enrutador expone un alias estable para cada modelo descargado. Si desactivaste la protección de la API pero un cliente exige un valor, escribe toshllm-local; el servidor local lo ignorará.

curl http://127.0.0.1:8080/v1/models \
  -H "Authorization: Bearer YOUR_TOSHLLM_KEY"

Elige un cliente con conexión directa.

Conecta el agente directamente con ToshLLM.

Claude Code admite oficialmente puertas de enlace compatibles con Anthropic a través de variables de entorno. ToshLLM expone localmente la API de mensajes requerida, los encabezados de autenticación y el punto final de descubrimiento de modelos.

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export ANTHROPIC_AUTH_TOKEN=YOUR_TOSHLLM_KEY
export CLAUDE_CODE_ENABLE_GATEWAY_MODEL_DISCOVERY=1

claude

1. Inicia ToshLLM en modo enrutador o ejecuta el modelo que quieras usar.
2. Copia la clave API desde Settings en ToshLLM. Usa toshllm-local si la protección está desactivada.
3. Exporta las variables en la misma terminal donde ejecutarás Claude Code.
4. Abre /model y elige el modelo local anunciado por ToshLLM.

El descubrimiento de modelos de la pasarela requiere Claude Code 2.1.129 o posterior. En versiones anteriores, configura un modelo de forma explícita.

Construya con la API de mensajes que ya conoce.

Establezca la URL base del cliente Anthropic en la raíz del servidor ToshLLM y utilice cualquier ID de modelo devuelto por GET /v1/models. La API admite mensajes regulares, transmisión, recuento de tokens y herramientas definidas por el cliente.

from anthropic import Anthropic

client = Anthropic(
    base_url="http://127.0.0.1:8080",
    api_key="YOUR_TOSHLLM_KEY",
)

response = client.messages.create(
    model="MODEL_ID",
    max_tokens=512,
    messages=[{"role": "user", "content": "Review this function."}],
)

print(response.content[0].text)

El nombre no tiene que corresponder a un modelo Claude: identifica el GGUF local que ejecutará ToshLLM. Consulta la guía de la API local para solicitudes directas, transmisión y recuento de tokens.

Continue, Cline o Roo Code.

Las tres extensiones admiten proveedores compatibles con OpenAI. Continue es una opción clara para chatear y editar. Cline y Roo Code se adaptan mejor a los flujos de trabajo de agentes que llaman a herramientas y modifican un espacio de trabajo.

name: ToshLLM Local
version: 1.0.0
schema: v1
models:
  - name: ToshLLM
    provider: openai
    model: MODEL_ID
    apiBase: http://127.0.0.1:8080/v1
    apiKey: YOUR_TOSHLLM_KEY
    roles:
      - chat
      - edit
      - apply

Utilice el proveedor nativo llama.cpp.

Zed incluye un proveedor local llama.cpp que apunta a la raíz del servidor, no a la URL base /v1. Agrega el modelo a su configuración JSON.

{
  "language_models": {
    "llama.cpp": {
      "api_url": "http://127.0.0.1:8080",
      "auto_discover": false,
      "available_models": [
        {
          "name": "MODEL_ID",
          "display_name": "ToshLLM Local",
          "max_tokens": 8192,
          "supports_tools": false,
          "supports_images": false
        }
      ]
    }
  }
}

Ajusta max_tokens al contexto configurado en ToshLLM. Declara soporte de herramientas e imágenes solo si el modelo en ejecución realmente lo tiene.

Cree un proveedor personalizado local.

Ejecuta /connect, elige Other, usa toshllm como ID del proveedor y guarda la clave de ToshLLM. Después añade el proveedor a opencode.json.

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "toshllm": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "ToshLLM Local",
      "options": {
        "baseURL": "http://127.0.0.1:8080/v1"
      },
      "models": {
        "MODEL_ID": {
          "name": "ToshLLM Local Model"
        }
      }
    }
  }
}

El paquete de OpenCode compatible con OpenAI usa /v1/chat/completions, una ruta disponible en la API local de ToshLLM.

Apunte la CLI a ToshLLM.

Configura el endpoint compatible con OpenAI e inicia Aider con el prefijo de modelo openai/.

export OPENAI_API_BASE=http://127.0.0.1:8080/v1
export OPENAI_API_KEY=YOUR_TOSHLLM_KEY
aider --model openai/MODEL_ID

Para una configuración persistente, coloque la URL base, la clave y el modelo en ~/.aider.conf.yml en lugar de exportarlos para cada sesión de terminal.

No asuma que localhost sigue siendo privado.

El flujo oficial de claves propias de Cursor admite proveedores de nube específicos y puede enrutar las solicitudes por sus servidores para construir el prompt final. Esa ruta no puede llegar de forma fiable a ToshLLM cuando escucha en 127.0.0.1 y no ofrece la misma conexión local directa que las integraciones anteriores.

Utilice el mismo contrato de conexión.

Un cliente puede conectarse si acepta una URL base compatible con OpenAI para /v1/chat/completions o /v1/responses, o una URL base compatible con Anthropic para /v1/messages. Usa el ID exacto del modelo devuelto por ToshLLM y confirma el protocolo que espera el cliente.

Revise la guía API local completa para acceso a la red, autenticación y modo enrutador.