Todos los casosAI Evaluation
Evaluación adversarial de IA — Razonamiento científico en bioinformática
Mercor · Contrato independiente · Benchmarks de LLMs frontier
En resumen
- Cliente
- Mercor · Contrato independiente · Benchmarks de LLMs frontier
- Área
- AI Evaluation
- Alcance
- LLM Red-Teaming, Failure-Mode Analysis, Synthetic Clinical Datasets, NGS Formats
Resultado
Límites de LLMs frontier mapeados en razonamiento de genómica, transcriptómica y epigenómica, con estrategias de mitigación
Qué hice
Evaluación adversarial de LLMs frontier en razonamiento científico en bioinformática (genómica, transcriptómica y epigenómica). Diseño tareas experimentales y datasets clínicos sintéticos, analizo modos de fallo, construyo harnesses multi-agente y entornos de ejecución reproducibles, y valido y documento los resultados para identificar dónde fallan los modelos y cómo superar esos límites.
Tecnologías y temas
LLM Red-TeamingFailure-Mode AnalysisSynthetic Clinical DatasetsNGS FormatsMulti-Agent HarnessPython