# Verifica que reanudar desde un checkpoint reproduzca la corrida bit a bit. # # Es el criterio de aceptación más importante del entrenamiento: una reanudación # que no es exacta reentrena sobre datos ya vistos y arruina la corrida en # silencio. En GPU no se puede comprobar sin determinismo, porque dos corridas # idénticas ya difieren entre sí por el orden de reducción de los kernels. # # No sirve para entrenar: es lento a propósito. include: hardware: hardware/turing-2060.yaml model: model/char-smoke.yaml train: train/smoke.yaml data: data/smoke.yaml hardware: micro_batch_size: 64 grad_accum_steps: 1 deterministic: true compile: false # el autotune reintroduce variación entre corridas train: run_name: verificar-reanudacion max_steps: 20 checkpoint_every: 10 log_every: 999 eval_every: 999 sample_every: 0 schedule: kind: wsd warmup_steps: 2 decay_steps: 2 min_lr_ratio: 0.0