# Modelo diminuto a nivel de caracteres, solo para el smoke test de la Etapa 0.
#
# No produce nada útil: existe para validar en ~10 minutos que CUDA, el
# entrenador, el checkpointing, la reanudación y el flujo por SSH funcionan
# antes de comprometer días de cómputo.
name: char-smoke
vocab_size: 256   # se ajusta al vocabulario real del texto al cargar los datos
n_layer: 4
n_head: 4
n_kv_head: 2
d_model: 128
seq_len: 256

ffn_mult: 2.6667
ffn_multiple_of: 32

rope_theta: 10000.0
norm_eps: 1.0e-5
tie_embeddings: true
qk_norm: true
z_loss_weight: 1.0e-4
dropout: 0.0
init_std: 0.02