De dónde salió
El candombe de Montevideo tiene reglas muy precisas —el chico casi no cambia, el piano marca el barrio, el repique improvisa— y a la vez un groove que no entra en una grilla. Quería saber si un modelo podía aprender esas dos cosas juntas: la regla y el desfase.
El problema
Los generadores de ritmo cuantizan todo a la grilla. En candombe eso borra lo esencial: el microtiming del chico, la articulación de cada golpe y la forma de la llamada. Un modelo genérico, además, no sabe que hay cosas que no se negocian, como el patrón del chico.
La solución
Un Transformer bidireccional enmascarado sobre una grilla de semicorcheas para los tres tambores. Cada celda guarda intensidad, desfase de microtiming y articulación. Las reglas del toque no se aplican después: entran como celdas fijas y máscaras de clases permitidas durante la decodificación. Una API FastAPI genera, completa un tambor sobre otros fijos o rehace compases, y un frontend web reproduce la llamada y exporta WAV y MIDI.
Qué tiene resuelto
- Representación por celda: intensidad (silencio + 4 niveles), microtiming en 13 bins y articulación por tambor (mano, palo, madera, abierto, masa).
- Decodificación iterativa por confianza, con las reglas del toque como restricciones duras y no como filtro posterior.
- Tres toques madre —Cuareim, Ansina y Gaboto— cargados desde transcripciones publicadas, con la fuente al lado de cada patrón.
- Microtiming tomado de mediciones publicadas (Jure y Rocamora, 2022) y forma de llamada con "subir la llamada".
POST /regenerate: rehace compases o tambores puntuales y deja fijo el resto; la semilla hace reproducible cada resultado.- Evaluación objetiva con
copy_ratepara detectar si el modelo memoriza compases del corpus, más un flujo de pruebas de escucha a ciegas. - Frontend "desfile de llamadas": tamaño de cuerda, paneo por tamborilero, programación con lookahead y exportación WAV/MIDI.
Evidencia
- 31 tests con pytest sobre representación, generación, entrenamiento, análisis de audio, toques y API.
- Importador del dataset de candombe de la UdelaR (Zenodo 6533068: 35 interpretaciones, ~2 h anotadas por un experto).
- Análisis de grabaciones propias por stems o por mezcla, con refinamiento de onsets a nivel de muestra.
- Deploy separado: frontend estático en Netlify y API en Render, con fallback a un motor por reglas si no hay checkpoint.
Lo difícil
- La primera versión no aprendía: el objetivo estaba visible en la entrada. Pasar a un Transformer enmascarado, que solo puntúa celdas ocultas, fue el cambio que lo destrabó.
- El microtiming del candombe no es ruido. Hubo que representarlo como una clase propia por celda en vez de cuantizarlo y "humanizar" al final.
- Separar tambores de una grabación mezclada es una heurística por bandas: los golpes fantasma suaves se pierden. Con stems por tambor el problema desaparece.
Qué aprendí
- Las reglas de dominio funcionan mejor como restricciones de decodificación que como corrección posterior: el modelo genera dentro del espacio válido.
- Medir la tasa de copia evita engañarse: un modelo que suena bien puede estar repitiendo el corpus.
- Citar la fuente de cada patrón hace que el sistema se pueda discutir con músicos, no solo con ingenieros.
Próximos pasos
- Entrenar con el dataset real y grabaciones multipista propias: el checkpoint incluido solo vio el corpus sintético.
- Reemplazar los golpes sintetizados por un banco de muestras grabadas.