¿Te ahorró horas de GPU? Invítame un café: ko-fi.com/chimindo

¿Necesitas los datos completos (5,000 ejemplos) y el generador? Telemetry & Queue Anomaly Pack: ko-fi.com/chimindo

Dónde colapsa el gradiente de un SSM chico — estudio medido

Laboratorio: Frankenstein-Lab (cuenta Chimindo) · Hardware: GTX 1060 6GB (Pascal sm_61) Modelo base: ib-ssm/mamba2-370M-10BT (382M params) · Método: ajuste parcial (congelar base, entrenar proyecciones de las últimas 6 capas + lm_head, 72.3M params)

Por qué este estudio

Hugging Face está lleno de benchmarks donde todo da 99%. Este documento registra lo contrario: tres corridas controladas donde medimos exactamente dónde y cómo colapsa el gradiente de un modelo de espacio de estados (SSM) chico cuando la data está desbalanceada. Todos los números son reales, con la muestra de validación completa (26 ejemplos, métrica por clase, no accuracy global que esconde el colapso).

La tarea

Clasificación de severidad de telemetría: N (normal), A (atención), C (crítica). Etiquetado por regla determinista (oráculo físico, no opiniones de modelo). 141 ejemplos originales; dataset extendido generado por reglas (90x más ejemplos de la clase rara).

Los tres runs (tabla de resultados)

# Dataset % raras class weights épocas accuracy por clase comportamiento
1 141 originales 20% — 2 0.92 (N 21/21, A 3/3, C 0/2) sin colapso; C no aprendida
2 1598 (regla) 20% — 1 0.77 (N 20/21, A 0/3, C 0/2) colapso a N
3 1000 oversampled 45% 1/3/5 2 0.12 (N 0/21, A 3/3, C 0/2) colapso a C

Los tres hallazgos medidos

  1. El colapso sigue al peso del gradiente. Al quitar el sesgo de la clase mayoritaria (oversampling) y añadir class weights, el colapso se movió de N a C — la clase más penalizada. La loss persigue la moda penalizada, no la frontera física de decisión.

  2. oversampling + class weights juntos rompen la sintaxis. El gradiente efectivo de la clase C se multiplicó ~10x y el modelo empezó a generar {"s": "C"}C — la clase correcta con el token de cierre desestabilizado. Más penalización no enseña la clase; rompe el formato.

  3. La frontera difusa es el límite físico. Con umbrales contiguos (A ≥ 80, C ≥ 95), el modelo ve números casi idénticos con etiquetas distintas. Sin atención global, un SSM chico no traza un corte limpio en esa franja — y agregar parámetros solo memoriza el ruido más rápido.

La jugada honesta: híbrido modelo + regla

El clasificador resultante resuelve la zona gris (N vs A: 0.92, sin colapso) y deriva la clase crítica a una regla determinista de 1 línea (si C>=95 o E>=95 o V<=5 o R<=5 → C) con exactitud total. En ingeniería real, un clasificador binario certificado con derivación a regla dura es más confiable que un modelo forzado a alucinar la clase rara.

Reproducir

  • Muestra incluida: muestra_estres_500.jsonl (500 ejemplos, CC-BY-NC-4.0).
  • Lógica de referencia: logica_hibrida.py (regla dura + interfaz).
  • Método y datos completos disponibles como servicio productizado (entrenamiento/destilación sobre hardware limitado, 6GB VRAM).
  • Restricciones documentadas: Pascal no soporta el fast path Triton (sm_70+); la cuantización es solo para inferencia.

Límites declarados (los que ningún README suele poner)

  • La clase C NO la aprendió ningún modelo en ningún run: es de la regla.
  • La accuracy global esconde el colapso: siempre medir por clase.
  • Más parámetros no arreglaron una señal con frontera ambigua.

Método, infraestructura y datos completos: producto de servicio del laboratorio (entrenamiento a medida sobre tu propia base con licencia limpia). Contacto vía Ko-fi: ko-fi.com/chimindo


Keywords (para quien busque)

synthetic data telemetry · mamba2 class imbalance · SSM gradient collapse · imbalanced classification small model · synthetic anomaly dataset · mamba2 6GB VRAM · honest benchmark small language models · class weights oversampling failure · elemetry severity classification

Support this work

Every asset in this repo was measured, not guessed. If it saved you a week of data cleaning, the certified commercial packs (5,000 rows + deterministic generator + commercial license) are here:

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support