Ajustes tras validar el harness contra la API real
Un lote de humo de 2 pedidos contra la Batch API confirmó el camino completo —crear, consultar estado, recoger, normalizar— y dejó dos cosas a corregir: - El costo estimado se redondeaba a 2 decimales, así que un trabajo chico informaba US$ 0.0. Pasa a 4 decimales: en una prueba de humo importa saber que gastaste algo, no que gastaste nada. - cache_read_input_tokens quedó en 0. La causa es que el mínimo cacheable de Opus 5 son 512 tokens y el prompt de sistema de la prueba tenía 86: la marca cache_control no hace nada por debajo de ese umbral, y no avisa. Queda documentado en el código y en la config, con cómo detectarlo. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -34,3 +34,9 @@ output_dir: data/distill
|
||||
usd_per_mtok_input: 5.0
|
||||
usd_per_mtok_output: 25.0
|
||||
batch_discount: 0.5
|
||||
|
||||
# NOTA sobre el caché: el prompt de sistema compartido va marcado con
|
||||
# cache_control, pero el mínimo cacheable de Opus 5 son 512 tokens. Un prompt
|
||||
# más corto no se cachea y la marca no hace nada — sin error, en silencio.
|
||||
# Verificalo con `distill usage`: si cache_read_input_tokens queda en 0 sobre
|
||||
# un trabajo grande, alargá el prompt de sistema o asumí el costo completo.
|
||||
|
||||
Reference in New Issue
Block a user