Temperatura en LLMs: El único parámetro que lo cambia todo
Respuesta corta
La temperatura de un LLM fija cuán aleatoriamente elige la siguiente palabra. En un pipeline sanitario, un valor equivocado no solo da texto mediocre, da resultados incorrectos de forma impredecible. Elige un valor bajo y documentado por defecto en tareas clínicas, y trata cualquier aumento como una decisión de diseño que se prueba.
Diego Muñoz Casinos
Healthcare AI Engineer
La demo de abajo responde una pregunta que importa en IA sanitaria: ¿en qué punto exacto un modelo "estable" empieza a generar respuestas peligrosamente variables?
¿Qué hace realmente la temperatura de un LLM?
Cuando un modelo genera texto, no elige una palabra al azar: asigna puntuaciones a todas las posibles continuaciones y escoge. La temperatura controla cuánto respeta esas puntuaciones — a T=0 siempre elige la más alta, a T=1 las trata casi como iguales.
P(i) = exp(logit_i / T) / Σ exp(logit_j / T)
T bajo amplifica las diferencias entre puntuaciones. El token superior acapara la mayor parte de la masa de probabilidad y la salida se vuelve casi determinista. T alto comprime esas diferencias. La distribución se aplana y los tokens con puntuaciones bajas ganan probabilidad real. La fórmula tiene cuatro pasos y cada uno hace exactamente una cosa — pulsa el botón i en la demo para recorrerlos.
Temperatura en IA sanitaria
La pestaña médica sustituye "La discusión fue principalmente ___" por "Según las constantes vitales, el paciente parece ___ ." Misma matemática. Tokens distintos: stable, improving, mild, moderate, critical, deteriorating, uncertain.
A T=0.1, "stable" supera el 95% de la masa de probabilidad. Apropiado para una herramienta de triaje donde la consistencia es el objetivo. A T=0.5, "critical" y "deteriorating" tienen probabilidad real — aunque los logits favorezcan claramente "stable". Eso no es un caso extremo. Es el parámetro funcionando exactamente como está diseñado.
Vale la pena señalarlo: T=0 es decodificación greedy, no determinismo real. Para contextos FDA SaMD o MDR europeo, trata todos los outputs de LLM como probabilísticos independientemente de la temperatura configurada.1
Un valor seguro por defecto
Para IA sanitaria en producción:
- •T = 0.0–0.2: extracción, clasificación, puntuación de triaje, codificación de eventos adversos. La misma respuesta siempre.
- •T = 0.3–0.5: herramientas de segunda opinión. Revisión humana obligatoria.
- •T = 0.6+: borradores, resúmenes, brainstorming. No para decisiones clínicas.
No es un dial de creatividad. Es un dial de precisión.
Referencias
- 1.Anthropic API Documentation — Parámetro Temperature. Disponible en: docs.anthropic.com
- 2.OpenAI API Documentation — Parámetro Temperature. Disponible en: platform.openai.com/docs/api-reference
- 3.U.S. FDA — Artificial Intelligence and Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Action Plan (2021).
- 4.Holtzman A, Buys J, Du L, Forbes M, Choi Y. The Curious Case of Neural Text Degeneration. ICLR 2020.
¿Quién valida los resultados de tu LLM clínico?
Diseñamos protocolos de validación para sistemas de IA en salud — con criterios técnicos, clínicos y regulatorios integrados.
Contactar