DATOS

Un RAG en producción no se termina de construir. Se termina de validar operando

Jean De Los Santos
RAG en producción: pipeline con puntos de falla

Un RAG en producción no se parece al RAG del piloto. En el piloto respondió bien las preguntas que el equipo eligió; en operación recibe las que nadie anticipó, sobre documentos que cambian cada semana. Ese salto es justo lo que el piloto no mide. En este artículo reviso los siete puntos de falla que documentó un estudio sobre tres sistemas reales, en qué etapa del pipeline ocurre cada uno y qué instrumentación necesita su equipo para detectarlos antes que el usuario.

Lo esencial

  • Un RAG en producción solo se puede validar operando: la evaluación offline necesita pares pregunta-respuesta que casi nunca existen al inicio.
  • De los siete puntos de falla documentados, tres ocurren antes de que el modelo genere una sola palabra.
  • La salida no es un mejor modelo, sino un pipeline configurable con métricas separadas para retrieval y generación.

Por qué un RAG en producción no se valida en el piloto

La referencia técnica más citada sobre este problema es el paper Seven Failure Points When Engineering a Retrieval Augmented Generation System, de Barnett y colegas, presentado en CAIN 2024. Analiza tres sistemas en operación: Cognitive Reviewer, para investigación; AI Tutor, para educación, y un experimento biomédico sobre el dataset BioASQ.

Sus dos conclusiones son incómodas para cualquier plan de proyecto. La validación de un sistema RAG solo es factible durante la operación. Y su robustez evoluciona con el uso: no se diseña completa al inicio.

La razón es mecánica. Evaluar offline exige un set de preguntas con respuestas etiquetadas, y ese set rara vez existe cuando arranca el proyecto. El equipo prueba con las preguntas que se le ocurren, que son las que el sistema ya sabe responder.

Los siete puntos de falla de un RAG en producción

El paper clasifica las fallas por etapa. La tabla sirve como checklist cuando un usuario reporta una respuesta mala.

Etapa Falla Qué la delata
Corpus 1. Contenido ausente Responde con seguridad algo que no está en los documentos
Retrieval 2. Documento fuera del top-K La respuesta existe, pero quedó por debajo del corte
Consolidación 3. Fuera del contexto Se recuperó, pero se descartó al armar el prompt
Generación 4. No extraído Estaba en el contexto y el modelo no lo usó
Generación 5. Formato incorrecto Ignora la instrucción de tabla, lista o estructura
Generación 6. Especificidad incorrecta Demasiado general o demasiado detallada para la pregunta
Generación 7. Incompleta Correcta, pero omite información que tenía disponible

Tres de las siete fallas ocurren antes de que el modelo genere. Cambiar de LLM no corrige ninguna de ellas. Es el primer filtro que aplico cuando me dicen que “el modelo alucina”: antes de tocar el prompt, reviso si la respuesta correcta llegó al contexto.

Si este análisis le resulta útil, recíbalo cada semana: 👉 Suscríbase al newsletter de DacmosGroup

Qué instrumentar en un RAG en producción desde el día uno

1. Un set de evaluación que crece con el uso

Registre las consultas reales con su contexto y respuesta, y etiquete una muestra cada semana. Ese set es el que el paper dice que falta al inicio: no se compra, se acumula operando.

2. Métricas separadas para retrieval y generación

Recall@k y precision@k le dicen si el documento correcto llegó. Groundedness y completitud le dicen qué hizo el modelo con él. Si mide solo la respuesta final, no sabrá en cuál de las siete fallas está.

3. Índice y embeddings versionados

Guarde el modelo de embedding y su versión como metadato de cada vector, y no mezcle versiones en la misma colección. Sin eso, un cambio de modelo degrada el retrieval de un RAG en producción en silencio.

4. Búsqueda híbrida y metadatos como base

Combinar búsqueda léxica (BM25) con vectores densos, más un reranker, es hoy la línea base razonable, no una optimización tardía. El propio paper reporta que agregar metadatos como nombre de archivo y número de chunk al contexto mejoró las respuestas de AI Tutor.

Punto clave

Un RAG en producción sin métricas separadas de retrieval y generación no se puede diagnosticar. Solo se puede culpar al modelo.

Un pipeline que se pueda recalibrar

La otra lección es que la calibración no termina. Tamaño de chunk, modelo de embedding, estrategia de retrieval, consolidación, ventana de contexto y prompt son parámetros que van a cambiar con las consultas reales. En un RAG en producción, un pipeline cableado a mano obliga a reescribir código para cada ajuste.

Un RAG en producción no se aprueba una vez. Se vuelve a validar cada vez que cambian los documentos, las preguntas o el modelo.

Esta semana, Alejandro planteó que la IA agéntica necesita un interruptor de apagado que alguien sepa usar. El equivalente para un RAG en producción es la instrumentación: sin ella, nadie sabe cuándo empezó a fallar ni en qué etapa.

Preguntas frecuentes

¿Cuándo está listo un RAG en producción para salir del piloto?

Cuando tiene registro de consultas reales, métricas separadas de retrieval y generación y un proceso para recalibrar. La precisión del piloto no basta: se midió con preguntas que el equipo ya conocía.

¿Cambiar a un modelo más grande resuelve las respuestas malas?

Solo si la falla es de generación. Si el documento correcto no llegó al contexto, un modelo mejor responde con la misma falta de información.

Operarlo es parte del diseño

El error de fondo es tratar el piloto como la fase de construcción y la producción como la fase de mantenimiento. En un RAG en producción la relación es inversa: el piloto valida la arquitectura y la operación termina de construir el sistema. Presupuestar esa segunda fase separa un RAG que mejora de uno que se abandona.

¿Cuál de los siete puntos de falla le costó más detectar en su último proyecto RAG?

Y si hoy mide calidad, ¿separa retrieval de generación o evalúa solo la respuesta final? Cuénteme en los comentarios.

Si quiere recibir análisis técnicos como este cada semana, suscríbase al newsletter de DacmosGroup. Y si su RAG trabaja con documentos en español, revise por qué el modelo base también cambia el costo y la calidad del retrieval.

Gratis al suscribirte Guía: Ciberseguridad para Latinoamérica Frameworks probados, casos de la región y un plan de 90 días. Además, te avisamos por correo cuando publiquemos análisis nuevos. Quiero la guía

Suscríbete, confirma tu email y recibe la guía + actualizaciones sobre Datos, Nube, Movilidad y Seguridad.

Deja un comentario

DATOS

Más artículos sobre Datos

Explora todos los análisis, guías y tendencias de la categoría Datos en DacmosGroup.

Ver todos →