Cada producto o servicio evoluciona desde la concepción de una idea hasta una oferta exclusiva para unos pocos selectos, convirtiéndose eventualmente en un servicio público.

Internet siguió una trayectoria similar, pasando de un entorno inestable y caótico a un ecosistema de banda ancha de alta velocidad estable y resiliente. La IA no es una excepción. Hoy en día, las páginas web se cargan casi instantáneamente, las imágenes aparecen en momentos, y plataformas como Netflix pueden transmitir películas enteras sin problemas.

Pocos recuerdan los orígenes inestables de las primeras conexiones a Internet. La IA está atravesando una fase similar, semejante a la era del internet por banda ancha, pero avanzando a un ritmo mucho más rápido en términos de velocidad y rendimiento. En los próximos dos años, se espera que la adopción de IA empresarial alcance su fase de madurez.

Para entender esto, consideremos algunos aspectos económicos básicos de los LLMs. Un métrico de rendimiento común para un LLM es la velocidad de procesamiento de texto, medida en "tokens por segundo." Un token puede ser una palabra, parte de una palabra, o incluso puntuación; es la unidad básica de datos (texto) que un LLM procesa.

Ahora, imagina una oración como una cadena de tokens que el LLM debe leer, comprender y responder. En la fase evolutiva actual de la IA, las velocidades de procesamiento varían de 50 a 100 tokens por segundo. Esto es suficiente para conversaciones básicas de chatbot o preguntas simples, pero las cosas se ralentizan significativamente a medida que las tareas se vuelven más complejas. Sin embargo, hay signos tempranos de que la era de la IA madura no está lejos.

Hace unos meses, Groq, una startup de chips, anunció velocidades reportadas de hasta 800 tokens por segundo. ¿Qué significa esto para la IA? Con la capacidad de procesar más tokens a velocidades más rápidas, los modelos de lenguaje pueden manejar tareas cada vez más complejas en tiempo real. Ahora pueden analizar grandes cantidades de texto instantáneamente, permitiendo salidas con niveles más altos de sofisticación.

Información fuente de Sangeet Choudary.

4o