Evaluación adversarial de modelos de lenguaje frontier
La evaluación adversarial de IA pone a prueba modelos con tareas difíciles y diseñadas a propósito para encontrar dónde fallan. Como contratista independiente para Mercor, evalúo modelos de lenguaje frontier en razonamiento científico en bioinformática: diseño tareas experimentales y datasets clínicos sintéticos, analizo modos de fallo y construyo harnesses multi-agente y entornos de ejecución reproducibles.
Reservar una llamada¿Para quién es?
- Equipos de IA que necesitan saber dónde fallan sus modelos en dominios científicos
- Empresas que despliegan LLMs en flujos sanitarios
- Grupos que necesitan harnesses de evaluación reproducibles
¿Qué recibes?
- Diseño de tareas de evaluación con criterios de éxito claros
- Datasets clínicos sintéticos para pruebas
- Análisis de modos de fallo y estrategias de mitigación
- Harness reproducible y documentación
¿Cómo trabajamos?
- 1Definir la capacidad a probar
- 2Diseñar tareas y datos adversariales
- 3Ejecutar la evaluación y clasificar los fallos
- 4Informar de los límites y opciones de mitigación
Alcance típico y precio
Cada colaboración empieza con una llamada de descubrimiento de 30 minutos. El precio es personalizado y depende del alcance; los paquetes Discovery, Build y Scale describen las formas habituales de trabajar. Trabajo desde Valencia, en remoto con equipos de toda Europa y EE. UU., en español y en inglés.
Casos relacionados
Preguntas frecuentes
¿Para quién evalúas modelos?
Trabajo como contratista independiente para Mercor. No comparto detalles de los benchmarks más allá de esta descripción pública.
¿En qué dominios?
Razonamiento científico en bioinformática: genómica, transcriptómica y epigenómica.
¿Puede ayudar a mi proyecto de LLM?
Sí. El mismo enfoque (diseño de tareas, datos sintéticos y análisis de modos de fallo) se aplica a funciones con LLM en flujos sanitarios.