Validación de Pipelines Bioinformáticos: ICC, Kappa de Cohen y Spearman en la práctica

La brecha de validación

En bioinformática tenemos un problema cultural: equiparamos "el pipeline ejecuta" con "el pipeline funciona." Un script que procesa archivos FASTQ hasta un set de llamadas de variantes sin lanzar un error se considera terminado. Pero, ¿el output coincide con la anotación experta? ¿Coincide consigo mismo cuando se ejecuta en muestras replicadas? ¿Llegarían dos bioinformáticos independientes a las mismas conclusiones biológicas a partir del output?

Estas son preguntas de validación, y la mayoría de pipelines nunca las responden.

¿Por qué no basta la accuracy para validar un pipeline bioinformático?

Puedes reportar accuracy, sensibilidad y especificidad contra una referencia. Es un comienzo — pero solo te dice cómo se compara tu pipeline con un gold standard. No te dice sobre:

• •Reproducibilidad: ¿Las ejecuciones replicadas producen resultados consistentes?
• •Acuerdo con expertos humanos: Cuando un patólogo o genetista revisa el output, ¿están de acuerdo?
• •Sesgo sistemático: ¿Tu pipeline sobre- o infra-llama consistentemente en regiones genómicas específicas?

Aquí es donde entran las métricas de fiabilidad inter-evaluador — herramientas prestadas de la investigación clínica que están infrautilizadas en bioinformática.

Las tres métricas que debes conocer

1. Coeficiente de Correlación Intraclase (ICC)

Qué mide: Acuerdo entre mediciones continuas de múltiples evaluadores o métodos¹.

Cuándo usarlo: Cuando tu pipeline produce scores continuos (p.ej., niveles de expresión génica, valores beta de metilación, frecuencias alélicas de variantes) y quieres saber si diferentes configuraciones del pipeline, versiones o analistas producen resultados comparables.

Los tipos de ICC importan: ICC(2,1) para acuerdo absoluto (¿son los valores reales iguales?), ICC(3,1) para consistencia (¿clasifican igual?)¹. En bioinformática, generalmente quieres ICC(2,1) — te importa que valores beta de metilación de 0.7 y 0.72 estén cerca, no solo que se clasifiquen similarmente.

Interpretación²: ICC > 0.90 es excelente. 0.75-0.90 es bueno. 0.50-0.75 es moderado. Por debajo de 0.50, tu pipeline tiene un problema serio de reproducibilidad.

2. Kappa de Cohen (κ)

Qué mide: Acuerdo entre dos evaluadores categóricos, corregido por azar³.

Cuándo usarlo: Cuando tu pipeline clasifica cosas — variantes patogénicas vs. benignas, tejido tumoral vs. normal, cepas resistentes vs. susceptibles. Kappa te dice si las clasificaciones de tu pipeline concuerdan con la anotación experta más allá de lo que esperarías por azar.

¿Por qué no solo accuracy? Si el 95% de tus variantes son benignas, un pipeline que llama todo benigno obtiene 95% de accuracy pero κ = 0 (porque el acuerdo observado iguala al acuerdo por azar cuando un evaluador asigna todos los casos a una categoría). Kappa penaliza este desequilibrio, dándote una imagen realista de la calidad de clasificación.

Interpretación³: κ > 0.81 es acuerdo casi perfecto. 0.61-0.80 es sustancial. 0.41-0.60 es moderado. Por debajo de 0.40, el acuerdo es pobre a aceptable.

3. Correlación de Rango de Spearman (ρ)

Qué mide: Asociación monótona entre dos variables clasificadas⁴.

Cuándo usarlo: Cuando quieres saber si tu pipeline preserva el orden relativo de resultados — p.ej., ¿el pipeline clasifica genes por expresión diferencial en el mismo orden que un método establecido? Útil cuando los valores absolutos difieren entre métodos pero te importa el ranking.

Limitación: Spearman te dice sobre correlación, no acuerdo. Dos métodos pueden tener ρ = 0.99 pero con un offset sistemático. Por eso lo combinas con métodos de visualización como los gráficos Bland-Altman⁵ para detectar sesgo proporcional.

Un framework práctico de validación

Cuando validamos un pipeline bioinformático, usamos este framework:

• 1.Definir la referencia: Dataset de referencia curado con anotación experta (p.ej., variantes expert-reviewed de ClinVar⁶ para clasificación germinal, consensus calls MC3 de TCGA⁷ para mutaciones somáticas)
• 2.Ejecutar réplicas: Mismo input, mismo pipeline, diferentes ejecuciones → ICC para outputs continuos, Kappa para categóricos
• 3.Comparación cross-método: Tu pipeline vs. método establecido → correlación de Spearman
• 4.Acuerdo multi-evaluador: Output del pipeline revisado por 2-3 expertos de dominio → Kappa de Fleiss⁸
• 5.Reportar todo: No solo las métricas que quedan bien. Incluir intervalos de confianza.

El coste de saltarse la validación

Un pipeline no validado es un pasivo. En investigación, produce resultados irreproducibles. En entornos clínicos, produce decisiones poco fiables. En ambos casos, eventualmente pagas el coste — ya sea por papers retractados, auditorías fallidas o errores clínicos.

La validación lleva tiempo. Pero construir sobre cimientos no validados lleva más.

Referencias

• 1.Shrout PE, Fleiss JL. Intraclass correlations: uses in assessing rater reliability. Psychol Bull. 1979;86(2):420-428.
• 2.Koo TK, Li MY. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. J Chiropr Med. 2016;15(2):155-163.
• 3.Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-174.
• 4.Spearman C. The proof and measurement of association between two things. Am J Psychol. 1904;15(1):72-101.
• 5.Bland JM, Altman DG. Statistical methods for assessing agreement between two methods of clinical measurement. Lancet. 1986;327(8476):307-310.
• 6.Landrum MJ, et al. ClinVar: improvements to accessing data. Nucleic Acids Res. 2020;48(D1):D835-D844.
• 7.Ellrott K, et al. Scalable open science approach for mutation calling of tumor exomes using multiple genomic pipelines. Cell Syst. 2018;6(3):271-281.
• 8.Fleiss JL. Measuring nominal scale agreement among many raters. Psychol Bull. 1971;76(5):378-382.

¿Necesitas ayuda diseñando un protocolo de validación para tu pipeline bioinformático? Nuestro equipo combina rigor estadístico con bioinformática práctica. Hablemos de tu proyecto.