Lutflow

Mide el throughput de un servidor vLLM en marcha y modela su costo por token procesado, incluida la capacidad ociosa. Esta ruta de medición local (Tier 0) no necesita cuenta de Lutflow, backend alojado, agente de Kubernetes ni sensor GPU.

Elige tu camino

El resto de esta página es el camino del SDK.

Antes de instalar

Necesitas Python 3.9+ para el CLI (los extras anthropic y all requieren Python 3.10+), un servidor vLLM existente con /metrics accesible y, para cifras en dólares, el precio horario que pagas por su capacidad GPU. Primero verifica los contadores (cambia la URL si tu servidor está en otro lugar):

curl -fsS http://localhost:8000/metrics | grep -E 'vllm:(prompt|generation)_tokens_total'

Si no aparecen contadores, revisa la URL y la configuración de métricas de vLLM antes de continuar. ¿Todavía no tienes un servidor vLLM? vLLM en GKE con una L4 levanta uno a mano.

Instalar

Ejecuta lutflow con uv, o instálalo con uv o pipx. Cada uno lo mantiene en su propio entorno aislado:

# uv: ejecutarlo sin instalar nada de forma permanente
uvx --from 'lutflow>=0.3.2,<0.4' lutflow --version

# uv: instalar el comando de forma permanente
uv tool install 'lutflow>=0.3.2,<0.4'

# pipx: instalar el comando de forma permanente
pipx install 'lutflow>=0.3.2,<0.4'

El rango de versiones hace que la instalación falle en lugar de elegir en silencio una versión anterior. Con uvx, escribe cada comando como uvx --from 'lutflow>=0.3.2,<0.4' lutflow ...; después de uv tool install o pipx install, el comando es simplemente lutflow. Para usar lutflow desde tu propio código Python, instálalo con pip en un entorno virtual, como muestra SDK: Instalar.

Comprobar antes de medir

Desde 0.3.1, lutflow check --endpoint http://localhost:8000 comprueba una exposición sin generar carga. Un PASS no es una medición ni certifica el hardware; SDK: check explica el perfil, las salidas y los límites. Después mide durante una ventana.

Medir

lutflow measure --endpoint http://localhost:8000 \
  --duration 300 --interval 10 \
  --gpu-hourly-rate 0.85 --rate-basis instance \
  --gpus-in-basis 1 --gpu-count 1 \
  --json measurement.json

Reemplaza 0.85 por tu precio horario real. instance indica que el precio cubre toda la máquina; --gpus-in-basis indica cuántas GPUs cubre y --gpu-count cuántas paga este despliegue. Usa per_gpu si el precio corresponde a una sola GPU. Sin un precio verificado, omite esas cuatro opciones y los campos en dólares quedan como unavailable. El comando observa tráfico existente y no genera solicitudes.

Leer el resultado

Las cifras en dólares combinan contadores medidos con la tarifa que declaras. Son estimaciones modeladas, no cargos leídos de una cuenta de facturación. Aquí, "tokens útiles" significa entrada más generación; no significa que las respuestas hayan pasado una evaluación de calidad.

El informe separa economía asignada de toda la ventana y eficiencia activa durante los intervalos productivos. Sin trabajo útil, el costo por token queda indefinido. Potencia, energía, VRAM y utilización GPU quedan no disponibles sin sensor; nunca se muestran como cero. Si el motor se reinicia durante la ventana, el comando termina con código de salida 1 y sin informe, siempre que el motor publique la identidad de su proceso. El JSON queda en tu máquina.

Si el servidor no tiene tráfico, consulta SDK: probe acotado para una medición con carga sintética y confirmación explícita. Antes de apoyarte en TPOT o en la p95, lee las limitaciones conocidas de la versión publicada. El SDK también ofrece controles de presupuesto separados dentro de tu proceso Python.

Licencia

El SDK de Lutflow es source-available bajo Business Source License 1.1 (BSL 1.1), con una concesión adicional de uso que excluye usarlo para un GPU Cost Management Service. Pasa a Apache License 2.0 el 29 de marzo de 2030. Ve Seguridad y Confianza para los términos y el tratamiento de datos.