msaldain
90ac2a6582
Base del proyecto ENLACE: un modelo de lenguaje propio entrenado desde cero, en español, para asistencia general y familiar. El plan completo está en docs/PLAN.md. Esta etapa establece el andamiaje y lo verifica de punta a punta: - Configuración por capas (hardware × model × train × data) validada con pydantic. Ningún hiperparámetro vive en el código y una config inválida falla al arrancar, no a las tres horas de entrenamiento. - Perfiles de hardware que aíslan el salto de GPU: la RTX 2060 (Turing) no soporta bfloat16 ni FlashAttention-2, así que entrena en float16 con GradScaler y backend mem_efficient; el perfil de la 5090 ya está escrito. backends.py valida el perfil contra la GPU real antes de empezar. - Transformer decoder-only estilo Llama: RMSNorm, SwiGLU, RoPE, GQA, embeddings atados, QK-norm y z-loss. Los dos últimos son lo que mantiene estable el entrenamiento en float16. - Entrenador con schedule WSD, acumulación de gradiente, precisión mixta, checkpointing atómico y reanudación exacta. - Cargadores de datos con estado serializable: bytes para el smoke test y shards uint16 para el corpus real. 48 tests, entre ellos el crítico: reanudar desde un checkpoint reproduce los pesos de una corrida ininterrumpida, parámetro por parámetro. Verificado en CPU: 300 pasos sobre texto en español, loss 3.07 -> 1.63. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
19 lines
609 B
Bash
19 lines
609 B
Bash
# Copiar a .env (que está en .gitignore) y completar.
|
|
# Las configs se commitean; los secretos, nunca.
|
|
|
|
# --- Servidor de entrenamiento (acceso por SSH) ---
|
|
ENLACE_REMOTE_HOST=usuario@servidor
|
|
ENLACE_REMOTE_DIR=/home/usuario/ENLACE
|
|
|
|
# --- Búsqueda web (elegir uno; SearxNG autoalojado es la opción sin terceros) ---
|
|
ENLACE_SEARXNG_URL=http://localhost:8888
|
|
# ENLACE_BRAVE_API_KEY=
|
|
# ENLACE_TAVILY_API_KEY=
|
|
|
|
# --- Home Assistant ---
|
|
# ENLACE_HA_URL=http://homeassistant.local:8123
|
|
# ENLACE_HA_TOKEN=
|
|
|
|
# --- Destilación de datos sintéticos (solo en la generación del dataset SFT) ---
|
|
# ANTHROPIC_API_KEY=
|