PERPLEXITY

 

¿Qué es perplexity?

Perplexity es una medida usada para evaluar qué tan bien un modelo de lenguaje predice una secuencia de palabras.

¿Cómo funciona perplexity?

§     Entrenamiento del modelo:

El modelo se entrena con texto (libros, sitios web, código, etc.) para aprender patrones del lenguaje.

§     Predicción de palabras:

Dado un texto como: "El gato se sentó en la", el modelo predice la siguiente palabra (por ejemplo: "silla", "mesa", etc.).

§    Cálculo de probabilidad:

El modelo asigna una probabilidad a cada posible palabra.

Ejemplo: "silla" → 0.6, "mesa" → 0.3, etc.

DIAGRAMA

COMO UTILIZAR PERPLEXITY