Reporte de la sesión nocturna, 2026-11-17¶
Ejecución sin supervisión de docs/plan-nocturno.md. Todo está en origin/main.
Lo más importante¶
- Las correcciones quedan verificadas. 442 matrices pequeñas con referencia independiente y 13 de UCI: los programas corregidos no dan ningún conteo distinto.
- Aparecieron dos errores más en el código original.
fastBR.jar, que se usaba como referencia, cuenta de menos cuando una columna llena está repetida. Y GCreduct, MinReduct, fast-BR y fast-CT_EXT fallan o no terminan en matrices degeneradas. Ambos están corregidos. - El impacto sobre lo publicado es pequeño. En las matrices de los tres paquetes, tal como están los archivos, solo
MinReduct.jarysRGA.jardan conteos distintos, y solo en tres matrices: kr-vs-kp, arrhythmia y spect_train. Ninguna matriz sintética cumple alguna condición de riesgo. - El orden de columnas importa mucho menos de lo que sugería la evidencia preliminar. En las UCI pequeñas el efecto en GCreduct y fast-BR es enorme (hasta 59 000 veces). En las 12 sintéticas de 2000 por 30 no pasa de 1.2 veces en ningún algoritmo.
- MMCS gana en las 20 matrices de la primera comparación, en tiempo, y por mucho en las de densidad baja y media. Es una reimplementación mía a partir del artículo, no el código de Uno.
- Un paso quedó bloqueado: no pude compilar el código SHD de Uno. El clasificador de permisos de la sesión lo denegó.
Los puntos 4 y 5 cambian la prioridad de las ideas. Ver "Decisiones que quedan para Vladimir".
Estado por paso¶
| Paso | Estado |
|---|---|
| 1. Verificación de las correcciones | Completo |
| 2. Auditoría de impacto | Completo, con corridas sin terminar en las matrices grandes |
| 3. Piloto de ordenamiento | Completo |
| 4. Baseline MMCS y RS | A medias: MMCS propio, sin el código de Uno, sin RS |
| 5. Marco mínimo | Completo; notebook sin probar en Colab |
| 6. SRGA rápido | Completo |
| 7. Reporte | Este documento |
1. Verificación de las correcciones¶
La primera corrida no estaba colgada: lanzaba unas 2000 máquinas virtuales de Java en serie y solo imprimía al final. El script nuevo (experiments/shortest/verify_fixed.py) va por grupos, imprime al avanzar y usa los dos núcleos.
La referencia ya no es fastBR.jar. Es un enumerador en Python (experiments/lib/bm.py) que no comparte código con ningún programa bajo prueba, y que comprobé contra fuerza bruta en 300 matrices de hasta 14 columnas sin diferencias.
Grupos: 200 aleatorias, 150 con columnas repetidas (la mitad con una repetida en la última posición), 40 con columnas vacías, 40 con una columna llena y 12 casos límite.
| Programa | Original: conteo distinto | Original: sin respuesta | Corregido: conteo distinto | Corregido: sin respuesta |
|---|---|---|---|---|
| GCreduct | 122 | 32 | 0 | 0 |
| fast-BR | 25 | 19 | 0 | 0 |
| fast-CT_EXT | 0 | 7 | 0 | 0 |
| MinReduct | 176 | 23 | 0 | 0 |
| sRGA | 38 | 0 | 0 | 0 |
Camardf, Srga y Mmcs coinciden en las 442. Camardf y Srga se comparan además por conjunto de reductos.
En las 13 matrices de UCI del paquete de MinReduct los corregidos tampoco fallan. Ahí la referencia en Python solo alcanza para 7; en las otras 6 la referencia de reductos más cortos es Camardf y no hay referencia para el total.
Pruebas de regresión con un comando: scripts/build.sh && python3 tests/run.py. Son 11 matrices pequeñas. Los corregidos pasan las 11; los JAR originales, ninguna (python3 tests/run.py --original).
Límites:
- Los programas corregidos solo imprimen conteos. Su comparación es por conteo, no por conjunto.
- 442 matrices sin fallos no es una demostración.
Errores nuevos¶
Detalle en docs/hallazgos-errores.md, secciones 6 y 7.
- fast-BR, reducto de una sola columna. Cuando una columna sola es reducto se cuenta una vez, sin multiplicar por sus copias. Matriz
1 0 0 1 1/0 1 0 1 1/0 0 1 1 1: hay 3 reductos y el JAR reporta 2. El mismo código está en el paquete CTBRES. - Matrices degeneradas. Si la fila con menos unos tiene todas las columnas distintas, o todas menos una, los generadores de candidatos vacían la pila. GCreduct, MinReduct y fast-BR lanzan una excepción; fast-CT_EXT no termina. Ninguna matriz publicada cae en este caso.
2. Auditoría de impacto sobre lo publicado¶
Scripts en experiments/audit/. Resultados en experiments/audit/results/.
Condiciones de riesgo¶
Cada error solo puede dispararse bajo una condición que se lee de la matriz:
| Clave | Error | Programas | Condición |
|---|---|---|---|
| A | Terminador | GCreduct, MinReduct | Un grupo de columnas repetidas incluye la última columna |
| B | Suma duplicada | MinReduct | Hay columnas repetidas |
| C | Comparación desplazada | sRGA | Hay una columna llena (reducto de longitud 1) |
| D | Una sola columna | fast-BR | Una columna llena está repetida |
| E | Pila vacía | GCreduct, MinReduct, fast-BR, fast-CT_EXT | Matriz degenerada |
Comprobé las condiciones contra las 442 matrices de la verificación: ningún conteo distinto de un original ocurrió fuera de su condición, y ninguna corrida sin respuesta ocurrió fuera de E.
Perfil de las matrices publicadas¶
| Colección | Matrices | Con alguna condición |
|---|---|---|
| GCreduct, UCI | 15 | 6 |
| GCreduct, sintéticas | 500 | 0 |
| MinReduct, UCI | 14 | 5 |
| MinReduct, sintéticas | 663 | 0 |
| CTBRES, UCI | 10 | 4 |
| CTBRES, sintéticas | 500 | 0 |
- Ninguna matriz publicada cumple A ni E. El error del terminador no se dispara con los archivos tal como están. Sí se dispara al permutar columnas, que es como se encontró.
- Ninguna sintética tiene columnas repetidas, llenas ni vacías. Las comparaciones de tiempo sobre sintéticas no usan conteos afectados.
- Las tres colecciones sintéticas comparten archivos: son 663 distintos.
Reejecución de original contra corregido¶
Cada matriz de UCI distinta (30) con todos los programas, 30 segundos por programa. Referencia: Mmcs.
| Matriz | Paquete | Condición | Referencia | Original | Corregido |
|---|---|---|---|---|---|
| kr-vs-kp | GCreduct | B | 4 reductos más cortos | MinReduct: 7 | 4 |
| arrhythmia | MinReduct | B, C, D | 5 reductos más cortos | MinReduct: 9; sRGA: 3236 | 5 y 5 |
| spect_train | CTBRES | B | 2 reductos más cortos | MinReduct: 3 | 2 |
En el resto no hubo ninguna diferencia entre original, corregido y referencia.
Con condición pero sin diferencia: MED, diabetic_data, flags, lung-cancer, sponge, optdigits, soybean y cpu_act.
Límites:
- Donde un programa agotó los 30 segundos no hay veredicto. Ocurre con GCreduct y fast-CT_EXT en las matrices grandes, y con todos los programas de "todos los reductos" en arrhythmia, optdigits, sonar y sat_trn.
- En arrhythmia fast-BR original cumple la condición D y no terminó. Su conteo total ahí queda sin comprobar.
- kr-vs-kp y spect_train no aparecen en las tablas del artículo de MinReduct (kr-vs-kp está comentada en el fuente LaTeX).
Tabla de UCI del artículo de MinReduct contra el paquete¶
experiments/audit/results/article_vs_package.md. Comparo filas, cantidad y longitud de reductos más cortos, y total de reductos.
- Coinciden en todo: Keyword-activity, QSAR-biodeg, Anneal, Dermatology, Lung-cancer y Ozone.
- Soybean: los más cortos coinciden (29 de longitud 11), pero el artículo da 28 filas y 359 reductos y el archivo tiene 33 filas y 570.
- LED24: el archivo tiene 2459 filas, una de ceros. Sin ella son 2458, como en el artículo, y el total es 66 801 contra 66 800. Pero el archivo tiene una columna llena, así que hay un reducto de longitud 1; el artículo da 95 de longitud 11. Inferencia mía, sin comprobar: la matriz del artículo es esta misma sin esa columna.
- Student-mat: el archivo del paquete de MinReduct tiene las 6253 filas del artículo pero 617 921 reductos. El del paquete de GCreduct tiene 6904 filas y 679 121 reductos, que es el total del artículo. Ninguno reproduce "6 reductos más cortos de longitud 18": salen 21 y 2, ambos de longitud 6.
- No corresponden: Arrhythmia (1630 filas contra 52 951), Optdigits (20 454 contra 29 758), Sonar (8572 contra 426), Landsat test (el paquete trae train) y SPECT Heart (no está en el paquete de MinReduct).
No encontré en legacy/ otros archivos candidatos para estos datasets. Identificar los originales requiere tus copias.
Dos hallazgos laterales¶
- Las sintéticas no son matrices básicas estrictas. 525 de las 663 tienen filas que son superconjunto de otra (mediana 19 filas, máximo 601 de 2000). No cambia el conjunto de reductos, pero sí el trabajo de cada algoritmo.
Camardfnuevo responde 1 enBMled24.txtcon la fila de ceros, donde no hay ningún reducto. La entrada no es válida, pero debería rechazarla. Pendiente.
3. Piloto de ordenamiento¶
Scripts en experiments/ordering/. Tablas completas en results/pilot.md, figura en results/pilot.png, datos en results/pilot.csv.
Diseño: 6 matrices de UCI y 12 sintéticas de 2000 por 30, una por banda de densidad entre 0.17 y 0.80. Órdenes de columnas: original, frecuencia ascendente, frecuencia descendente, arreglo de la tesis y aleatorio (5 semillas en UCI, 3 en sintéticas). Órdenes de filas, con columnas sin tocar: por cantidad de unos ascendente, descendente y aleatorio. Algoritmos: GCreduct y fast-BR corregidos, Camardf y Mmcs. Límite de 15 segundos. Total 960 corridas.
El resultado no cambió con el orden en ninguna corrida terminada.
Columnas, matrices de UCI¶
Razón entre el máximo y el mínimo de candidatos entre todos los órdenes de columnas:
| Matriz | GCreduct | fast-BR | MMCS | Camardf |
|---|---|---|---|---|
| MED (26 x 36) | 59 526 | 1 072 | 1.0 | 1.0 |
| biodeg (40 x 41) | 21.5 | 2.9 | 1.3 | 1.2 |
| anneal (62 x 38) | 21.9 | 1.6 | 2.0 | 1.1 |
| soybean (33 x 35) | 109 | 7.0 | 2.1 | 1.2 |
| dermatology (1103 x 34) | sin dato (límite) | 1.4 | 1.6 | 1.1 |
| heart-c (58 x 13) | 3.2 | 1.1 | 1.5 | 1.1 |
En GCreduct la frecuencia descendente mejora al orden original en soybean (4.38 M contra 23.63 M), biodeg (3.42 M contra 7.51 M) y MED. La ascendente es la peor en soybean (477 M), biodeg y anneal, y la mejor en MED (458 candidatos). No hay un orden estático que gane siempre.
Columnas, matrices sintéticas¶
En las corridas que terminaron, la razón no pasa de 1.2 en ningún algoritmo ni densidad. GCreduct agotó el límite entre 0.22 y 0.52; fast-BR, entre 0.17 y 0.47.
Filas¶
Razón máxima observada: 1.38 (MMCS en biodeg). En el piloto, GCreduct en MED dio 1.06.
El dato de la página de asesores (GCreduct en MED va de 441 a 28.8 M permutando solo filas) es correcto: lo reproduje con 30 permutaciones y apareció en 1 de 30. Las 7 condiciones de filas del piloto no lo capturaron.
La causa ya está comprobada en el código: BasicMatrix.ordenInicial() elige la fila con menos unos con una comparación estricta, así que entre filas empatadas decide el orden del archivo. MED tiene 24 filas con un solo uno. Solo salen tres valores (441, 27.26 M y 28.84 M) y dependen de cuál de esas filas queda elegida.
Límites del piloto¶
- Las sintéticas tienen columnas casi equivalentes por construcción (frecuencias muy parejas). Es esperable que el orden no importe ahí; el piloto lo confirma pero no dice nada sobre matrices reales grandes.
- Solo 6 matrices reales, todas pequeñas. El efecto grande vive en ellas.
- Los contadores de candidatos no son la misma cantidad entre programas. Sirven para comparar órdenes dentro de un programa.
- Los órdenes se aplican al archivo. GCreduct y fast-BR vuelven a aplicar su arreglo interno encima.
- Con límite de 15 segundos faltan casi todas las corridas de GCreduct y fast-BR en densidad baja y media.
4. Baseline MMCS y RS¶
Bloqueo. Bajé SHD 3.1 de la página de Uno a third_party/ (fuera de git; scripts/fetch_shd.sh lo repite). Al compilarlo y ejecutarlo, el clasificador de permisos de la sesión denegó el comando. No lo rodeé. El plan lo autorizaba, así que basta con que corras scripts/fetch_shd.sh o lo permitas en la configuración.
La licencia de SHD es de uso académico y pide enlazar la página de Uno al redistribuir.
Sustituto. java/src/mhs/Mmcs.java: MMCS escrito a partir del artículo de Murakami y Uno, sin la reducción de datos de SHD. Coincide con la referencia en las 442 matrices. RS no está.
Primera comparación (experiments/baseline/), límite de 30 segundos, candidatos y milisegundos:
| Matriz | Dens. | Reductos | MMCS | GCreduct | fast-BR | fast-CT_EXT |
|---|---|---|---|---|---|---|
| MED | 0.03 | 3 | 29, 0 | 27.26 M, 524 | 14.03 M, 1929 | 100.86 M, 2042 |
| soybean | 0.20 | 570 | 1.2 K, 3 | 23.63 M, 612 | 1.82 M, 189 | 29.69 M, 720 |
| biodeg | 0.08 | 256 | 601, 4 | 7.51 M, 336 | 3.66 M, 558 | 49.34 M, 1148 |
| anneal | 0.13 | 313 | 1.2 K, 4 | 359.0 K, 85 | 258.9 K, 112 | 2.98 M, 100 |
| heart-c | 0.49 | 97 | 230, 1 | 1.1 K, 3 | 901, 14 | 1.7 K, 4 |
| dermatology | 0.34 | 112.7 K | 245.2 K, 219 | 147.39 M, 17 439 | 22.11 M, 5554 | 203.22 M, 19 192 |
| lung-cancer | 0.46 | 4.18 M | 17.18 M, 1753 | límite | 84.07 M, 12 537 | límite |
| student-mat | 0.44 | 617.9 K | 2.04 M, 2097 | límite | límite | límite |
| sint. 0.17 | 0.17 | 130.1 K | 784.6 K, 804 | 20.70 M, 4733 | límite | límite |
| sint. 0.22 | 0.22 | 267.0 K | 1.50 M, 2178 | 65.68 M, 16 447 | límite | límite |
| sint. 0.27 | 0.27 | 1.10 M | 6.39 M, 3945 | límite | límite | límite |
| sint. 0.32 | 0.32 | 2.02 M | 11.71 M, 5893 | límite | límite | límite |
| sint. 0.37 | 0.37 | 2.57 M | 14.85 M, 7076 | límite | límite | límite |
| sint. 0.42 | 0.42 | 2.46 M | 13.01 M, 5092 | límite | límite | límite |
| sint. 0.47 | 0.47 | 1.90 M | 9.72 M, 3217 | límite | 39.35 M, 20 939 | límite |
| sint. 0.52 | 0.52 | 1.39 M | 6.94 M, 2398 | 72.36 M, 29 571 | 31.91 M, 12 769 | 83.03 M, 28 536 |
| sint. 0.57 | 0.57 | 847.2 K | 4.22 M, 1320 | 27.14 M, 12 831 | 12.22 M, 5385 | 29.63 M, 10 826 |
| sint. 0.62 | 0.62 | 448.0 K | 2.10 M, 705 | 10.50 M, 4287 | 4.89 M, 2024 | 11.09 M, 4314 |
| sint. 0.70 | 0.70 | 162.7 K | 538.4 K, 237 | 1.60 M, 773 | 774.9 K, 577 | 1.64 M, 736 |
| sint. 0.80 | 0.80 | 30.8 K | 107.8 K, 125 | 191.6 K, 172 | 115.1 K, 296 | 193.4 K, 171 |
MMCS es el más rápido en las 20. La ventaja va de 1.4 veces (sintética de 0.80) a más de dos órdenes de magnitud (UCI dispersas). Entre 0.27 y 0.42 es el único que termina. Los conteos coinciden entre los que terminaron.
Límites:
- Los tiempos se midieron con otro trabajo corriendo en el segundo núcleo. Orientativos.
- Una matriz por banda de densidad, una sola corrida.
- Es mi implementación de MMCS, no la de Uno, y está en Java como los demás. Eso elimina la diferencia de lenguaje, pero no es todavía la comparación contra el código oficial.
- En reductos más cortos,
Mmcs -shortestyCamardfevalúan cientos de candidatos donde MinReduct evalúa millones (soybean: 129 y 184 contra 14.3 M). No medí esa comparación de forma sistemática.
5. Marco mínimo¶
experiments/framework/runner.py: una matriz entra, sale un registro JSON por algoritmo con estado, tiempo, candidatos, conteo, longitud y conjunto de reductos. Valida por conjunto entre los programas que listan reductos y por conteo en los demás. Ocho algoritmos en Java y la referencia en Python. Probado en soybean con diez algoritmos: todos coinciden.notebooks/reducts_colab.ipynb: clona el repositorio, compila y corre un ejemplo. El ejemplo corre aquí; el notebook no se probó en Colab. Pide un token porque el repositorio es privado.- Los corregidos (GCreduct, fast-BR, fast-CT_EXT, MinReduct) todavía no listan reductos.
6. SRGA rápido¶
Srga.java comprueba la minimalidad con máscaras de filas, como ADL.Min(). Coincide por conjunto con la referencia en las 442 matrices. La variante anterior queda con -absorb.
Cuatro sintéticas, límite de 20 segundos, milisegundos:
| Densidad | Srga con máscaras | Srga anterior | sRGA.jar |
|---|---|---|---|
| 0.17 | límite | límite | límite |
| 0.42 | 2673 | límite | 9166 |
| 0.57 | 562 | límite | 1793 |
| 0.80 | 667 | 2546 | 1903 |
No repetí la corrida de 12 matrices del plan. Con cuatro, Srga es unas tres veces más rápido que sRGA.jar donde ambos terminan.
Decisiones que quedan para Vladimir¶
- Prioridad de la idea 2 (ordenamiento). La página de asesores dice que el orden cambia el trabajo en órdenes de magnitud. Es cierto para las tres matrices citadas y falso como afirmación general: en las sintéticas no pasa de 1.2 veces. Además, MMCS casi no depende del orden y es mucho más rápido. Mi recomendación: bajar la idea 2 y subir la 3 (comparación cruzada) a primer artículo, con el ordenamiento como una sección. No edité la página porque sus datos son correctos; conviene matizar la frase antes de la reunión.
- Código de Uno. Correr
scripts/fetch_shd.sh, o permitir compilarlo en sesiones autónomas. Sin eso la comparación de la idea 3 no es contra la implementación de referencia. - Matrices del artículo de MinReduct. Cinco datasets no corresponden a los archivos del paquete y dos más difieren en parte. ¿Tienes las matrices originales? Sin ellas no se puede decir si las cifras publicadas de arrhythmia, optdigits, sonar, landsat y SPECT están afectadas.
- Tres conteos distintos en archivos publicados (kr-vs-kp, arrhythmia, spect_train), todos de
MinReduct.jarosRGA.jar. De ellos, solo arrhythmia está en una tabla del artículo, y con otra matriz. Queda a tu criterio si amerita algo más que la nota interna. - Sintéticas con filas redundantes. ¿Se documenta como característica del generador o se regeneran matrices básicas estrictas para el trabajo nuevo?
Pendiente¶
- RS, y la comparación contra SHD una vez compilado.
- Repetir la reejecución de la auditoría con más tiempo en las matrices grandes, sobre todo arrhythmia con fast-BR.
- Que los programas corregidos listen reductos, para validarlos por conjunto.
Camardfdebe rechazar matrices con filas de ceros.- Probar el notebook en Colab.
- Piloto de ordenamiento sobre matrices reales medianas, si la idea 2 sigue viva.
Cambios en el entorno¶
- Instalado con
apt:python3-matplotlib. third_party/yexperiments/audit/cache/quedan fuera de git.legacy/no se modificó.