Entrega de IA local-first: ventaja de costos por arquitectura

2026-08-30 · Ingeniería ·

La partida que solo sube

Si diriges una organización de ingeniería asistida por IA, ya conoces la forma de esta factura. El gasto en API de frontera sube a medida que tus agentes se vuelven más capaces y tus sesiones se alargan. Los minutos de CI alojados escalan con cada pipeline que agregas. Las herramientas por asiento se multiplican en cada desarrollador y cada agente que pones a trabajar. Ninguno de estos proveedores está haciendo nada irrazonable — cobran por el cómputo que consumes. El problema es estructural: has construido un proceso de entrega cuyo costo marginal sube cada vez que lo usas más, y «usarlo más» es exactamente lo que se ve como el éxito.

La pregunta no es cómo negociar una mejor tarifa. Es si la arquitectura que elegiste es la que impone la factura. La Sección 6 del libro blanco de Koinessa sostiene que no tiene por qué ser así — que local-first es una arquitectura de ingeniería con una estructura de costos medible, no una ideología, y que el ahorro viene de la descomposición y el enrutamiento, no de boicotear a los modelos de frontera.

Lo que establece la sección del libro blanco

La Sección 6 hace tres afirmaciones, todas etiquetadas como En vivo — en funcionamiento hoy, no en la hoja de ruta.

Primero, ejecución local-first. La memoria compartida persistente en el centro del sistema es un archivo DuckDB local detrás de un gateway local. El motor de verificación corre en un clúster k3s local con un registro de imágenes Zot local: más de 69 trabajos de verificación determinísticos se ejecutan sin comprar ni un solo minuto de CI en la nube. Los modelos locales — alojados en Ollama, como un modelo de instrucción/codificación de 27B que corre en la GPU propia del operador — realizan trabajo acotado: compilación de contexto, redacción de borradores, reducción de logs, clasificación de fallos, todo a costo marginal cero de proveedor. Los modelos de frontera en la nube (Claude, Grok, Codex, Kimi, con Devin registrado y deshabilitado) permanecen en el bucle, pero como capacidad arrendada para el trabajo que justifica esa inteligencia — no como la ruta predeterminada para todo.

Segundo, el cómputo local se encarga de la gestión del contexto. Reductores determinísticos e inferencia local ensamblan, comprimen y formatean el contexto antes de que un modelo de frontera lo vea siquiera. La carga de trabajo medida del operador durante 30 días — del 2026-07-11 al 2026-08-09 — muestra por qué esto importa: de 18,284,233,434 tokens totales, 17,088,709,895 de ellos, el 93.46%, fueron lecturas de caché. Historial que se vuelve a cargar, no trabajo nuevo que se esté haciendo. A precio de lista, esa ventana se estima en 13,910.58 USD.

Tercero, recuperación antes que repetición. Los agentes responden «qué archivo, qué líneas, qué firma exacta» a partir de un índice de inteligencia de código — 17,903 símbolos solo para este proyecto en la instantánea del 2026-08-23 — en lugar de quemar tokens de frontera en bucles exploratorios de grep y lectura.

Cada una de estas es una decisión de enrutamiento, y la regla de enrutamiento es el corazón de la sección.

La escalera de escalado: capacidad demostrada, nunca marca

La regla de diseño de la Sección 6 se plantea sin rodeos: no construyas un reemplazo local para un modelo de frontera. Ese proyecto fracasa, y fracasa caro. En cambio, descompón la carga de trabajo hasta que solo una fracción pequeña realmente requiera inteligencia de frontera, y enruta cada fragmento hacia arriba por una escalera de escalado:

  1. Micromodelo — clasificación, extracción, formateo.
  2. Modelo local pequeño — redacción de borradores acotada, reducción de logs, resumen.
  3. Modelo local más grande — el nivel de instrucción/codificación de clase 27B en hardware propio.
  4. Nube económica — inferencia alojada de peso abierto cuando una tarea supera la GPU local.
  5. Frontera — reservada para la clase estrecha de trabajo que demostrablemente falla en todos los niveles anteriores.

El escalamiento ocurre según la capacidad demostrada — un fallo medido en el peldaño actual — nunca según la marca, nunca según la suposición de que el modelo más caro es la opción predeterminada más segura. Esta es la misma disciplina de enrutamiento que describimos para la economía del contexto en la IA y la estrategia de recuperación, aplicada un nivel más abajo: no solo qué contexto llega al modelo, sino cuál modelo tiene permitido ver el trabajo.

Lo que realmente dice la evidencia externa

Esta escalera no es un truco de costos que se inventó el libro blanco. Cuatro fuentes externas la enmarcan.

AgentFloor: un límite medido de la necesidad de modelo

El artículo de 2026 de Karmakar y Chatterjee, «AgentFloor: How Far Up the Tool Use Ladder Can Small Open-Weight Models Go?» (versión HTML), plantea exactamente la pregunta de enrutamiento que codifica la escalera: ¿qué partes de un flujo de trabajo de un agente realmente requieren una gran inteligencia de frontera? AgentFloor es un benchmark determinístico de 30 tareas organizado como una escalera de capacidad de seis niveles — seguimiento de instrucciones, uso de herramientas, coordinación de varios pasos, planificación de largo horizonte — evaluado en 16 modelos de peso abierto, de 0,27B a 32B parámetros, junto con GPT-5, en 16,542 ejecuciones puntuadas.

El resultado es un límite claro. Los modelos de peso abierto pequeños y medianos ya son suficientes para gran parte del trabajo de uso de herramientas estructurado y de corto horizonte que domina los pipelines de agentes reales; en conjunto, el modelo de peso abierto más fuerte igualó a GPT-5 en el benchmark, siendo sustancialmente más barato y más rápido. La ventaja de frontera aparece en la planificación de largo horizonte con coordinación sostenida — e incluso ahí, ninguno de los dos lados alcanza una fiabilidad sólida. El matiz que pone el propio libro blanco importa y se mantiene adjunto: AgentFloor es un benchmark de herramientas sintético y de solo lectura, y sus resultados no demuestran que las ediciones de repositorio o las operaciones de producción sean seguras. Mide dónde está el límite de la capacidad, no si cruzarlo es seguro. Eso es exactamente lo que una escalera de escalado necesita saber.

El nombre E2B de Gemma: qué significa realmente «pequeño» ahora

La documentación de Gemma de Google (resumen del modelo, Gemma 3n) aclara los peldaños más bajos. E2B significa parámetros efectivos, no el recuento de parámetros en bruto: Gemma 4 E2B anuncia pesos base móviles de menos de 2GB, y Gemma 3n E2B reporta una carga de memoria efectiva de alrededor de 1,91B. Los modelos en el peldaño más bajo de la escalera ahora caben en huellas de memoria que hace dos años eran impensables, lo que traslada la pregunta práctica de «¿puedo correr un modelo localmente?» a «¿cuánto de mi carga de trabajo me he molestado en medir contra uno?».

Ollama Cloud: el siguiente peldaño de la misma escalera

La escalera no exige un muro rígido entre lo local y la nube. La documentación de Ollama Cloud indica que la ejecución del modelo se descarga automáticamente al servicio en la nube de Ollama, mientras quienes llaman siguen usando las mismas interfaces de Ollama, con un modo solo local disponible para deshabilitar por completo las funciones de nube. En el planteamiento del libro blanco, este es el siguiente peldaño de la misma escalera: capacidad de nube económica sin reescribir herramientas, situada entre «modelo local más grande» y «frontera».

Las páginas de precios: el contexto largo no tiene descuento

¿Por qué cuesta tanto la parte más alta de la escalera? Porque los proveedores facturan el contexto largo a la misma tarifa por token que el contexto corto. El libro blanco cita las páginas de precios de los proveedores como una configuración con marca de tiempo, consultada el 2026-08-13: los precios de OpenAI y la documentación del modelo GPT-5.6, los precios de la API de Gemini de Google, y los precios de los modelos de Anthropic, que expresan la política en una sola frase: «Una solicitud de 900k tokens se factura a la misma tarifa por token que una solicitud de 9k tokens». Las tarifas de la ventana de contexto de un millón de tokens se publican en la misma página. Cada token de historial de conversación que se cachea y se vuelve a cargar se factura a esa tarifa cada vez que reingresa a la ventana — los descuentos por lectura de caché suavizan el precio unitario, pero con un 93.46% de lecturas de caché, el volumen es el término dominante.

La propia documentación de costos de Claude Code de Anthropic hace concreta la contabilidad con un ejemplo de sesión resuelto, y señala que Claude Code calcula la cifra de costo de su sesión localmente, a partir del recuento de tokens a precio de lista. El libro blanco deriva de ese ejemplo resuelto de la página que el 85.6% del volumen de tokens de una sesión es proporción de contexto y no salida nueva — aritmética propia sobre las cifras publicadas, conservada en el resumen de la investigación; la página en sí no imprime el porcentaje. La conclusión a la que apuntan ambos documentos: el costo del trabajo agéntico está dominado por el movimiento de contexto, así que la palanca es quién ensambla y transporta el contexto.

Cómo lo aplica Koinessa

La aplicación son los tres mecanismos en vivo descritos arriba, integrados en una sola disciplina de enrutamiento.

Trabajo local acotado primero. La compilación de contexto, la redacción de borradores, la reducción de logs y la clasificación de fallos corren en el modelo local de clase 27B a costo marginal cero de proveedor. Un fragmento solo escala cuando el peldaño de abajo ha fallado de forma demostrable. Los modelos de frontera se quedan — para el juicio arquitectónico, la depuración ambigua, la coordinación de largo horizonte en la que AgentFloor muestra que todavía llevan la delantera — pero como capacidad arrendada, medida y deliberada.

El cómputo local transporta el contexto. Los reductores determinísticos ensamblan y comprimen el contexto localmente antes de cualquier llamada a un modelo de frontera. Esa es la respuesta directa al recibo de 30 días: en una carga de trabajo donde el 93.46% de 18,280 millones de tokens es historial que se vuelve a cargar, cada token de contexto ensamblado o reducido localmente es un token que el proveedor de frontera no factura. La cifra de 13,910.58 USD es a precio de lista — una estimación a las tarifas publicadas para esa ventana específica, no una factura ni un benchmark — pero el punto estructural sobrevive a cualquier descuento que negocies: el volumen es el problema, y el volumen es movimiento de contexto.

Recuperación antes que repetición, forzada. La regla permanente es retrieval-first: el índice de símbolos y las herramientas de language server para el código, el SQL del cerebro compartido y la búsqueda híbrida para el conocimiento institucional, grep solo como respaldo declarado — y la regla se hace cumplir mecánicamente mediante un hook previo a la herramienta que rechaza las búsquedas de identificadores por texto y responde a ese rechazo con la consulta exacta del índice que hay que ejecutar en su lugar. El índice lleva un recibo externo: en una prueba de sandbox controlada (recibo de repositorio, 2026-08-23, una pregunta en una sesión de nivel pagado), el Devin CLI respondió una pregunta de ubicación de símbolo a través del índice del cerebro en cuatro segundos — 44,496 tokens de prompt, 42,752 de ellos lecturas de caché, 329 tokens de finalización, once pasos, sin búsqueda de texto, sin lectura de fuente — mientras que la misma pregunta enrutada a través de herramientas de language server costó 171,317 tokens de prompt en dieciséis pasos, aproximadamente cuatro veces el costo en tokens. Una pregunta, un harness, un día: un recibo, no un benchmark, y se presenta como tal en el informe de limitaciones y estado en lugar de como una promesa.

Esto es también lo que mantiene a local-first honesto como afirmación de negocio y no como dogma. El proveedor de frontera sigue en la arquitectura — deliberadamente, en la cima de una escalera, para la fracción de trabajo que lo necesita. Todo lo que está por debajo de esa fracción corre sobre el cómputo controlado por el cliente que el operador ya posee. Ese es el hilo conductor de Qué es realmente un sistema operativo de IA para la entrega de software: no un reemplazo de la inteligencia de frontera, sino la capa que decide cuán poco de ella requiere cada tarea.

La conclusión

Los costos de IA en la nube, de CI alojado y de herramientas siguen subiendo porque la arquitectura predeterminada envía cada fragmento de cada tarea al endpoint más caro y reenvía la conversación completa junto con él. La solución no es un proveedor más barato; es una arquitectura de enrutamiento. Descompón la carga de trabajo, escala según la capacidad demostrada y no según la marca, deja que el cómputo local transporte el contexto y la verificación, y reserva los modelos de frontera para la banda estrecha de trabajo que mediblemente los necesita. Los recibos — una ventana con 93.46% de lecturas de caché, una brecha de 4x en tokens en una sola búsqueda indexada, un benchmark que muestra dónde bastan los modelos pequeños — dicen todos lo mismo: la mayor parte de lo que pagas a precio de frontera no es trabajo de frontera. El argumento completo, con cada matiz y cada cita, está en la sección 6 del libro blanco de Koinessa.