« Pescar » tokens : un método para enseñárselo a todos

« Pescar » tokens : un método para enseñárselo a todos
5 min de lecture

En un boletín dedicado a los modelos abiertos, un investigador que participó en la creación de los modelos Olmo en Ai2 compara el ecosistema actual con los grandes softwares libres, como el sistema operativo Linux. Según él, esta comparación no refleja plenamente la dinámica de estos modelos, cuyo futuro económico sigue siendo incierto.

La analogía más frecuente se topa con una distinción. Un modelo de lenguaje abierto en sentido estricto, es decir, entregado con su receta completa de entrenamiento, sus datos y su código, se aproximaría a un sistema operativo libre. Los modelos con pesos abiertos, que solo proporcionan los parámetros aprendidos y el código para hacerlos funcionar, se asemejan más a versiones precisas de un software instalado en un proyecto.

Los pesos de un modelo tienen, por lo general, una vida útil corta, pero siguen utilizándose durante mucho tiempo, como muchos softwares muy empleados. Por eso, según el autor, muchas empresas continúan haciendo funcionar sus flujos de trabajo en Llama 3, mientras que los comportamientos agentivos, donde un modelo encadena acciones de forma autónoma, se desarrollaron varios años después. La receta abierta, ilustrada hoy por Olmo y por sus predecesores, como Pythia de EleutherAI, es un proceso costoso en recursos que cualquier empresa puede retomar, modificar y relanzar para producir un nuevo conjunto de pesos. Las mejoras aportadas por la comunidad sobre los datos o el código de entrenamiento pueden, en el mejor de los casos, alimentar la generación siguiente.

Es en este marco que Nvidia invierte fuertemente en modelos casi abiertos. Para sus modelos Nemotron, la empresa publica todos los datos que puede difundir legalmente, así como el código de entrenamiento. El autor ve en ello la voluntad de un mundo donde muchas personas podrían construir sus propias « máquinas de tokens », para que la inteligencia no sea monopolizada, un mundo que supone una fuerte demanda de inferencia por parte de muchas empresas. Un token es una unidad de texto procesada por un modelo, y la inferencia designa el uso del modelo para producir respuestas.

Una economía exigente

El desarrollo de modelos competitivos sigue siendo extremadamente costoso, pero el acceso a esta carrera se ha mantenido más amplio en la industria de lo que muchos hubieran imaginado, según el autor. Señala que la mayoría de los observadores consideran el entrenamiento demasiado caro y la receta abierta demasiado retrasada para que un nuevo laboratorio centrado en una parte del entrenamiento de los LLM sea viable. Los abandonos de Databricks y de 01.ai le parecen, sin embargo, casos aislados más que el signo de una tendencia general.

Se perfilan dos trayectorias. En la primera, el enfoque funciona: según Wired, Nvidia dedicaría 26 mil millones de dólares a esta empresa, y si esta apuesta tiene éxito, la demanda de sus chips y sus beneficios superarían el coste de construcción de los modelos. El autor estima que el ecosistema abierto dependerá cada vez más de la financiación de Nvidia en los próximos años, y que la remuneración económica de estos modelos deberá, a la larga, ser proporcional a los ingresos generados por las API de Anthropic y OpenAI.

Dos trayectorias posibles

En la segunda, si ninguna de estas vías financieras se materializa, los modelos abiertos seguirían un camino diferente al de los modelos cerrados más avanzados, centrado en la eficiencia, la modificabilidad y la especialización. El autor considera este escenario como el más probable: los modelos abiertos seguirían siendo muy útiles, pero ocuparían sobre todo una « larga cola » frente a los modelos cerrados, que detentan posiciones dominantes en ámbitos como el trabajo de conocimiento, el descubrimiento de fármacos o el desarrollo de software. Esta larga cola podría tomar la forma de agentes especializados, desplegados in situ, sobre datos privados y tareas repetitivas.

El autor subraya también que el entrenamiento se vuelve más complejo y más abstracto. El auge actual de los modelos abiertos se basa en gran parte en el post-entrenamiento, es decir, la adaptación de modelos como DeepSeek V4 Flash, Inkling Small o GLM 5.X a tareas agentivas precisas, a menudo mediante un fine-tuning, o ajuste fino. Tinker, según él la interfaz de ajuste fino más popular hoy en día, ilustra esta práctica. Pero la capacidad de entrenar un modelo base para convertirlo en un razonador agentivo general se vuelve, según él, tan opaca como las prácticas de pre-entrenamiento a gran escala de hace unos años. El vocabulario habitual, basado en pre-entrenamiento, entrenamiento intermedio y post-entrenamiento, podría evolucionar hacia pre-entrenamiento, entrenamiento en razonamiento y post-entrenamiento.

El número de actores que publican modelos base disminuye, y algunos editores experimentan con licencias de reparto de ingresos para el uso de sus modelos en productos o para la inferencia, como las de Kimi-K3 y Qwen3.8-2.4T-A95B. Por último, el autor evoca el caso de Meta, que podría difundir sus pesos bajo licencia abierta: según él, la publicación de Muse Spark 1.2, un modelo de alto rendimiento, frenaría el crecimiento de los ingresos de Anthropic y OpenAI, que se basan en la venta de tokens. Nvidia quiere enseñar a cada uno a pescar tokens, mientras que Meta inunda el mercado de tokens.