La temperatura es un parámetro utilizado en modelos de procesamiento del lenguaje natural para aumentar o disminuir la “confianza” que un modelo tiene en su respuesta más probable.
En mi opinión, la forma más intuitiva de entender cómo la temperatura afecta las salidas del modelo es jugar con ella tú mismo. Si estás interesado en los detalles matemáticos, los he incluido más abajo, pero no me ofenderé si solo quieres jugar con el control deslizante 😃.
Temperatura (θ): 25.0
¿Qué está sucediendo?
Supongamos que tenemos un modelo de lenguaje que predice la última palabra en la oración “El ratón se comió el __“. Dadas las palabras anteriores en la oración y su entrenamiento previo, nuestro modelo de lenguaje intentará completar el espacio en blanco con un token final razonable. Supongamos que esas salidas en bruto son las siguientes:
| Token | Logit |
|---|---|
| gato | 3 |
| queso | 70 |
| pizza | 40 |
| galleta | 65 |
| fondue | 55 |
| plátano | 10 |
| baguette | 15 |
| pastel | 12 |
Estas salidas tienen sentido. Un ratón probablemente comería queso, pero los ratones también son conocidos por comer galletas. Un ratón probablemente no comería una baguette a menos que fuera un ratón francés.
Dado que estas son las salidas en bruto del modelo, no sumarán 100. Para normalizar estos valores, típicamente usamos softmax:
[ \sigma(z_i) = \frac{e^{z_i}}{\sum_{j=0}^{N} e^{z_j}} ]
Al modular con temperatura, introducimos una variable de temperatura adicional θ que afecta la distribución softmax. Una temperatura más alta θ “excita” las salidas previamente de baja probabilidad. Una temperatura más baja θ disminuye las salidas más pequeñas en relación con las más grandes. Para lograr esto, reemplazamos cada zi en la fórmula anterior con el cociente zi/θ:
[ \sigma(z_i) = \frac{e^{z_i/θ}}{\sum_{j=0}^{N} e^{z_j/θ}} ]
Las temperaturas más altas hacen que el modelo sea más “creativo”, lo que puede ser útil al generar prosa, por ejemplo. Las temperaturas más bajas hacen que el modelo sea más “seguro”, lo que puede ser útil en aplicaciones como la respuesta a preguntas.