Maximizar tokens bien: valor por token en un mundo multimodelo

El cambio de narrativa: del volumen al valor

Al principio de año, la presión en muchas organizaciones era gastar en tokens tanto como fuera posible. El panel describe un giro rápido: la pregunta ya no es cuántos consumes, sino qué resultado obtienes con cada uno.

El ponente Mo, cuya firma invierte en OpenRouter, resume el error de partida. Las empresas medían el volumen de tokens en lugar del valor de cada unidad. Un token es, en el fondo, una unidad de inteligencia con un coste directo, pero también con implicaciones de tiempo de actividad, latencia, dependencia de proveedor y el coste de no usar ese recurso en otra cosa.

Por eso, según el panel, la forma sensata de plantear el asunto es entender cómo esas compensaciones afectan a la tarea concreta y encontrar la mezcla óptima para esa tarea, no una cifra general de consumo.

Cómo se mide el valor: hoja de ruta y tiempos de decisión

Medir el valor es el punto más disputado. Los laboratorios de frontera usan sus propios problemas abiertos, algo que nadie ha visto antes, para comprobar si realmente han avanzado. Los usuarios, en cambio, miden algo más cotidiano: cuánto se acelera su hoja de ruta, es decir, cuántos experimentos pueden ejecutar en un periodo dado.

En empresas, el indicador que se menciona es el tiempo de decisión y ejecución de procesos reales. Un ejemplo citado es la firma de documentos para integrar a un cliente, un proceso que ya se acorta con IA y que podría acortarse todavía más. También se apunta a actividades que antes no tenían sentido económico y ahora sí lo tienen.

El panel reconoce que no es una métrica perfecta. Se compara con la evaluación del capital humano: imperfecta desde siempre, pero útil si refleja qué tan bien ejecutas como organización. Los datos que permiten calcular el coste por persona que usa agentes, revisados cada mes, sirven para decidir asignaciones de presupuesto por departamento.

“Maximizar tokens no tiene mucho sentido; deberíamos maximizar la inteligencia, no el número de tokens.”

Modelos pequeños y la paradoja de Jevons

El panel defiende que el futuro favorecerá modelos mucho más pequeños que ofrecen más capacidad de razonamiento que sus antecesores. El cambio de paradigma tiene consecuencias de coste: se citan resultados en los que modelos diminutos resolvieron una tarea por una décima de céntimo, once veces más barato que un modelo grande, con el mismo nivel de precisión.

La cifra merece cautela, porque la conversación no detalla el benchmark ni la tarea concreta. Aun así, ilustra la idea central: el uso de modelos pequeños para tareas bien definidas cambia la economía de la implementación.

En cuanto al consumo global, la respuesta que se ofrece a la pregunta sobre los centros de datos es la paradoja de Jevons: una IA más eficiente no reduce el uso total, sino que lo aumenta, porque abre nuevos casos de uso.

El enrutamiento: planificar con frontera, ejecutar con modelos pequeños

Uno de los patrones más prácticos del debate es el enrutamiento. Muchas organizaciones usan un modelo de frontera para planificar o acotar el trabajo y después delegan la ejecución de cada subtarea en modelos más pequeños. A veces, estos modelos además tienen menor latencia, así que toda la ejecución termina antes.

El panel cita un documento de su propio equipo, Squeeze Evolve, que plantea formas fundamentadas de enrutar entre varios modelos. La idea es maximizar la utilidad de los tokens sin disparar necesariamente los costes.

Un ejemplo reciente es el de los modelos de clasificación. Cuando se lanzaron modelos más eficientes para esa tarea, muchas cargas que iban a modelos de frontera o a versiones flash de los grandes proveedores empezaron a migrar hacia ellos. Según el panel, el ecosistema de este tipo de modelos apenas está empezando.

Cuándo afinar tu propio modelo

El post-entrenamiento de un modelo con datos propios aparece como la fase más madura de este recorrido. El patrón descrito es habitual: primero se usa inteligencia de frontera mediante API para encontrar el ajuste producto-mercado, después se desglosan los flujos de trabajo en tareas concretas y, cuando hay suficiente tracción, se afina un modelo propio que suele superar al general en ese tipo de trabajo.

La pregunta de cuántos datos hacen falta no tiene una respuesta única. Depende de la tarea. Algunas startups tienen veinte modelos entrenados para flujos específicos, algunos de cuatro mil millones de parámetros, con cantidades muy distintas de datos. En razonamiento, según el panel, basta con mostrar tareas útiles, sin necesidad de volcar enormes volúmenes de conocimiento general. En tareas como la seguridad de endpoints, se usan modelos diminutos que apenas requieren datos.

El consejo que se repite es que la diferenciación real viene de entrenar sobre tus propios datos, algo que un competidor con el mismo proveedor no puede replicar con facilidad.

El riesgo del lock-in y de la integración

El debate sobre dependencia es uno de los más claros. Subcontratar toda la inteligencia a uno o dos proveedores implica pagar su margen además del de la computación. Pero el riesgo mayor, según el panel, es que ese proveedor pueda competir contigo, subir precios o dejar de liderar, mientras tú ya has hecho un compromiso económico importante.

La integración es el nuevo frente. Los grandes laboratorios usan la integración para retener contexto, memoria y todo lo que hace valioso su ecosistema para ti. Cuando el modelo conoce tu organización y tu forma de trabajar, cambiar de proveedor resulta costoso. Por eso el panel recomienda desacoplar inteligencia e integración, y ser dueño de ambas en la medida de lo posible.

El panel también matiza que el ecosistema está en movimiento. La memoria y el aprendizaje continuo podrían acabar fundiendo integración y modelo, lo que hace todavía más importante vigilar quién controla el contexto propio.

Ventajas competitivas que se evaporan y velocidad como foso

El panel coincide en que los datos y la distribución ya no bastan por sí solos. Antes se hablaba de los datos propios como ventaja exclusiva. Ahora se considera que datos, modelo y control deben ir juntos, y que las ventajas de producto tradicionales son más débiles que antes.

La recomendación para fundadores es empezar a construir desde el primer día, porque esperar a tener un foso perfecto limita la velocidad. La velocidad, sin embargo, no es en sí un foso defensivo: el suelo cambia constantemente, y lo que parecía cierto a principios de año puede no serlo seis meses después. Lo que sí ha bajado mucho es el coste de reconfigurar un camino equivocado.

El panel añade un efecto organizativo: hoy es estructuralmente posible construir una empresa significativa con diez personas, porque el coste de coordinación es menor que en organizaciones de cien o mil empleados.

Cuidado con los incentivos de quien vende

Varias intervenciones subrayan que muchas de las afirmaciones proceden de empresas que venden infraestructura o invierten en el sector. Los proveedores tienen incentivos claros para vender uso, y el panel reconoce que los enrutadores también pueden orientar el gasto hacia lo más rentable para el proveedor.

La respuesta que se propone es controlar la infraestructura y la evaluación propias en lugar de fiarse de la narrativa del proveedor. Algunas grandes corporaciones, por ejemplo, prefieren modelos abiertos y sistemas propios para proteger lo que consideran ventaja interna. Las cifras de ahorro citadas tampoco se pueden generalizar sin verificar cada caso.

En definitiva, el marco que deja el debate es sencillo: define el resultado antes de elegir el modelo, mide el valor de cada tarea y mantén la capacidad de cambiar.