Para que Internet se transforme, se requería la creación de un ecosistema completamente nuevo: tecnologías de front-end, bases de datos, patrones de diseño de UX y más. En el mundo de la IA, esta transformación depende de mejorar el rendimiento de tokens por segundo, ya que esto se traduce en ganancias no solo en velocidad sino también en eficiencia de costos.

¿Pero qué hay de la precisión de los LLMs? ¿No es ese el principal obstáculo para la adopción empresarial? Aquí es donde el concepto de tamaño de la "ventana de contexto" se vuelve crítico. El tamaño de la "ventana de contexto" se refiere al número máximo de tokens (palabras, subpalabras o caracteres) que un modelo puede procesar a la vez o retener en memoria mientras genera respuestas o analiza texto.

En otras palabras, define la longitud del texto, y por lo tanto el alcance del "conocimiento", que un LLM puede considerar al tomar decisiones o hacer predicciones. Cuanto más larga sea la ventana de contexto, más contexto (y "conocimiento") puede incorporarse en la salida del LLM. Múltiples avances simultáneos están en marcha y se espera que se converjan en los próximos 2 a 3 años para aumentar el tamaño de la ventana de contexto. Estos incluyen:

1. Mejorar el hardware: Mejorar las GPUs y TPUs (computación más rápida) así como la tecnología de memoria (más tokens almacenados en memoria).

2. Optimizar la arquitectura del modelo: Transitar a mecanismos de atención dispersa para enfocar el procesamiento de tokens en las secciones de texto más relevantes.

3. Avances en algoritmos: Desarrollar mejores técnicas de entrenamiento y usar modelos más pequeños para complementar a los más grandes.

4. Mejoras computacionales de software y eficiencia energética.

Todos estos factores están convergiendo para expandir el tamaño de la ventana de contexto. En resumen, cuatro tendencias clave están ocurriendo simultáneamente:

1. El costo de entrenar modelos fundamentales está disminuyendo.

2. El costo de la inferencia en sí está bajando (costos de inferencia por token más bajos).

3. El rendimiento de tokens por segundo está aumentando (potencialmente entre 10 y 20 veces).

4. El tamaño y utilización de la ventana de contexto están mejorando.

En conjunto, estos avances mejoran no solo el costo y la velocidad de los LLMs, sino, lo más importante, su precisión. Una ventana de contexto más grande permite procesar más contexto, lo que permite (con suficiente retroalimentación y optimización) una mayor precisión.

Información obtenida de Sangeet Choudary.