Aporte comunitario

Registro de rendimiento · MoE

Nemotron 3 Nano Omni 30B-A3B

Q4_K_M en Apple M1 Max con macOS 27.0

RENDIMIENTO / TOKENS POR SEGUNDOApple Silicon
Procesamiento541.73tok/s
#140 en el índice
Generación de tokens48.62tok/s
#123 en el índice

Datos de la prueba

Contexto para interpretar los resultados.

CuantizaciónQ4_K_MVariante enviada
Arquitectura de GPUApple SiliconMotor Metal
Contexto de prueba512tokens de prompt
Familia del modeloMoESigned ToshLLM app · amd-gpu · Metal
Versión de ToshLLMv0.87.7Versión de la app usada para registrar y firmar esta prueba
01

Carga estándar

Procesamiento and generation are reported separately so memory bandwidth and decode behavior stay visible.

02

Configuración incluida

La cuantización, familia de GPU, VRAM y contexto acompañan el resultado; no quedan ocultos tras una puntuación única.

03

Procedencia conservada

Este resultado sigue identificado como aporte comunitario.