Crawlers de IA: entrenamiento vs búsqueda
Los bots de IA son independientes y controlables uno a uno. OpenAI separa GPTBot (entrenamiento), OAI-SearchBot (búsqueda) y ChatGPT-User (browsing): puedes bloquear el entrenamiento y seguir apareciendo en ChatGPT Search.
Nada de lo anterior sirve si el crawler de IA no puede leer tu página. Los bots son independientes y controlables uno a uno, y en 2026 cada motor declara varios:
- OpenAI: GPTBot (entrenamiento), OAI-SearchBot (búsqueda), ChatGPT-User (browsing del usuario).
- Anthropic: ClaudeBot, Claude-SearchBot, Claude-User.
- Perplexity: PerplexityBot, Perplexity-User.
- Google: Google-Extended (controla uso para entrenamiento de Gemini sin afectar el ranking), además de NotebookLM y otros.
La decisión estratégica
La regla vieja era permitir bots de búsqueda y bloquear bots de entrenamiento. La visión más nueva para una marca que todavía está ganando terreno en respuestas de IA es permitir los bots de entrenamiento de los motores que quieres que te citen y bloquear solo data brokers y scrapers adversariales. Lo importante es que la separación entrenamiento/búsqueda te deja afinar: por ejemplo, bloquear GPTBot (entrenamiento) pero permitir OAI-SearchBot para seguir apareciendo en ChatGPT Search.
Ojo con los números de crawl: algunos bots de entrenamiento rastrean miles de veces por cada visita que envían. Eso no es malo en sí (alimenta la memoria paramétrica), pero conviene entenderlo.
- OpenAI — documentación de bots (GPTBot / OAI-SearchBot / ChatGPT-User)
- No Hacks — roster de user-agents de IA 2026