Las dos memorias: entrenamiento vs recuperación

Un LLM responde tirando de dos memorias: la paramétrica (lo que "sabe" del entrenamiento) y la no-paramétrica (lo que recupera en el momento, vía RAG). GEO serio trabaja las dos en paralelo.

Casi toda la estrategia de GEO se decide según a cuál de las dos memorias del modelo le estás hablando.

Memoria paramétrica (entrenamiento)

Es lo que el modelo "sabe" porque quedó codificado en sus pesos durante el entrenamiento. No es una base de datos consultable: son asociaciones estadísticas aprendidas de enormes corpus. Cuando el modelo responde sin buscar en la web, tira de aquí.

Cómo influyes: estando presente, muchas veces y de forma consistente, en los corpus con los que se entrena (Common Crawl, Wikipedia, libros, foros grandes). Es lento y compuesto; no se "edita", se acumula. Un hallazgo académico útil: los LLM aprenden mal el long-tail knowledge — los hechos que aparecen pocas veces se recuerdan con baja fiabilidad (Kandpal et al., ICML 2023). Traducción a negocio: cuantas más veces aparezca tu entidad, descrita de forma consistente, más probable es que el modelo te nombre de memoria. Esto justifica toda la estrategia de menciones.

Memoria no-paramétrica (recuperación / RAG)

Es la información que el modelo trae en el momento desde una fuente externa: un índice de búsqueda, un crawl en vivo, una base vectorial. RAG (Retrieval-Augmented Generation) obliga al modelo a apoyarse en documentos reales antes de responder, reduce alucinaciones y, sobre todo, le da algo concreto que citar.

La distinción operativa

ParamétricaNo-paramétrica (RAG)
OrigenPesos del modelo (entrenamiento)Recuperación en tiempo real
Cómo influyesVolumen + consistencia de menciones en el tiempoEstructura, frescura, extractabilidad de la página
Velocidad de efectoLenta, compuesta (meses)Rápida (días)

Si optimizas solo la página (no-paramétrica) pero tu entidad no existe en el corpus (paramétrica), apareces cuando hay browsing activo y desapareces cuando no. Y al revés. GEO serio trabaja las dos memorias en paralelo.

Fuentes
  • Kandpal et al., "Large Language Models Struggle to Learn Long-Tail Knowledge", ICML 2023