robots.txt, Cloudflare y RSL
Cloudflare cambió su default para bloquear bots de IA y agregó Pay-Per-Crawl; fronta una porción enorme de la web. Si lo usas, tu tráfico de bots de IA pudo cortarse solo. RSL es el nuevo estándar de licenciamiento legible por máquina.
El problema de acceso más común es, también, el más invisible: tu firewall o CDN bloqueando bots de IA sin que lo sepas.
Lo que cambió en 2026
- Cloudflare bloquea bots de IA por defecto y lanzó Pay-Per-Crawl (un marketplace donde puedes permitir gratis, cobrar por rastreo o bloquear). Como Cloudflare fronta una porción enorme de la web, esto moldea materialmente qué pueden leer los motores. Si lo usas, verifica tu configuración: tu tráfico de bots de IA pudo cortarse solo.
- RSL (Really Simple Licensing) 1.0 apareció como estándar de licenciamiento legible por máquina, con soporte de pago por rastreo y por inferencia. Es un archivo nuevo, distinto de robots.txt y de llms.txt.
Qué revisar
- Que no estés bloqueando bots de IA sin querer (default del CDN, reglas de firewall).
- Los logs del servidor, buscando user-agents como ChatGPT-User, PerplexityBot, ClaudeBot, para confirmar que efectivamente te visitan.
Fuentes
- Cloudflare — Pay-Per-Crawl y AI Crawl Control (2026)
- rslstandard.org — RSL 1.0