Chat y proyectos

Mantenga juntos el trabajo relacionado.

ToshLLM almacena conversaciones localmente y te permite agruparlas en proyectos. Un proyecto puede tener su propio mensaje del sistema, por lo que cada conversación dentro de él comienza con el mismo contexto de trabajo sin repetir instrucciones.

Aplica las instrucciones donde correspondan.

Las instrucciones del sistema tienen una prioridad clara. Las de una conversación prevalecen sobre las del proyecto y estas sobre las globales de Configuración de chat. Si dejas un campo vacío, se usa el siguiente nivel disponible.

1. Mensaje de conversación: Se aplica sólo a la conversación abierta.
2. Mensaje del proyecto: se aplica a las conversaciones dentro de ese proyecto a menos que definan las suyas propias.
3. Mensaje global: se convierte en el recurso alternativo para cualquier otra conversación.

Adjunte contexto sin llenar el compositor.

Suelte archivos en el compositor o utilice el control de archivos adjuntos. El texto y el código se envían como bloques con nombre. El texto pegado de gran tamaño se puede convertir automáticamente en un archivo adjunto para que el mensaje siga siendo legible.

• Los archivos adjuntos individuales están limitados a 40 MB.
• Los PDF basados en texto utilizan su capa de texto incrustada.
• Los archivos PDF escaneados se procesan con macOS Vision OCR en Mac, hasta los límites de página y contexto de la aplicación.
• Un modelo de visión puede recibir páginas PDF como imágenes cuando PDF como imágenes está habilitado.
• El compositor estima los tokens adjuntos y advierte antes de que los archivos consuman o excedan el contexto configurado.

Para un documento largo, aumente el contexto sólo hasta donde la memoria lo permita. Un extracto más pequeño suele producir una respuesta más rápida y centrada.

Usa archivos que el modelo pueda procesar.

Para imágenes necesitas un modelo con visión y su proyector mmproj correspondiente. Puedes desactivar la visión para ejecutar solo texto y liberar la VRAM del proyector.

Las opciones de audio y vídeo aparecen solo si el modelo admite esas modalidades. ToshLLM graba el micrófono en WAV y permite adjuntar archivos compatibles. El análisis de vídeo también requiere ffmpeg y ffprobe.

Conserva el contexto sin perder de vista el límite.

El indicador de contexto rastrea la conversación en la ventana del servidor configurado. La compactación automática puede resumir mensajes más antiguos a medida que se acerca el límite y conservar ese resumen continuo para turnos posteriores.

Mientras el modelo responde, se puede poner en cola un nuevo mensaje como mensaje de dirección. Se entrega cuando la generación actual alcanza un límite seguro. Puede cancelar la intervención en cola antes de utilizarla.

El caché de conversaciones respaldado en disco puede acelerar el regreso a un chat anterior. Requiere el kernel AMD Flash Attention y se omite cuando se carga un proyector de visión porque las ranuras multimodales no se pueden restaurar de forma segura.

Empieza con ajustes sencillos.

Los controles al lado del chat cubren opciones comunes como temperatura, duración de la respuesta y razonamiento. La configuración de chat agrega P superior, P mínima, P típica, K superior, semillas, orden de muestra, penalizaciones por repetición, temperatura dinámica, XTC y DRY.

• Cambie una muestra a la vez y mantenga la semilla fija al comparar el comportamiento.
• El muestreo de backend puede mover el trabajo de muestreo admitido a la GPU, pero no todos los muestreadores están disponibles allí.
• El razonamiento puede permanecer en un campo separado o emitirse como visible. <think> texto para clientes que no muestran metadatos de razonamiento.
• El JSON de solicitud personalizado reemplaza los parámetros de solicitud generados correspondientes. El JSON no válido se ignora hasta que se corrija.

Usa Restablecer ajustes avanzados del chat si la combinación de controles hace difícil entender un resultado.

Sepa qué hace cada acción de voz.

Dictado convierte voz en texto de composición a través del marco de voz macOS. ToshLLM solicita reconocimiento en el dispositivo cuando el idioma actual lo admite. grabar audio En su lugar, crea un archivo adjunto WAV local para un modelo con capacidad de audio.

Antes de eliminar el historial, expórtelo desde el menú de la barra lateral. La importación fusiona conversaciones que aún no están presentes, mientras que las identidades y mensajes del proyecto se conservan mediante el formato de archivo ToshLLM.