Tu sitio bloquea a la IA y probablemente no lo sabes: robots.txt, GPTBot y los rastreadores que deciden si te citan
Qué son GPTBot, OAI-SearchBot, ClaudeBot y PerplexityBot, qué pasa si los bloqueas en robots.txt y cómo revisar en diez minutos si tu sitio les cierra la puerta.
12 min de lectura
Hay una situación que encontramos con frecuencia al revisar sitios de empresa: la dirección quiere aparecer en ChatGPT, el equipo de marketing escribe contenido pensado para la inteligencia artificial, y el propio servidor de la empresa les dice a los rastreadores de IA que no entren.
Nadie lo decidió. Alguien copió un robots.txt de internet, un complemento de seguridad trae una regla por defecto, o el proveedor de red cambió su configuración. El resultado es el mismo: todo el trabajo de AEO se apoya en una puerta cerrada.
Este artículo explica qué rastreadores existen, qué pasa si bloqueas cada uno, de dónde salen los bloqueos que nadie pidió, y cómo revisarlo en diez minutos.
No hay un «bot de la IA»: hay tres trabajos distintos
El error más común es tratar a todos los rastreadores de IA como uno solo, y bloquearlos o permitirlos en bloque. Las empresas que los operan separan, cada vez más, tres funciones:
Los tres tipos de rastreador de IA
- Entrenamiento Recopila contenido público que puede usarse para entrenar modelos. Bloquearlo dice «no aprendas de mi contenido». No decide si apareces en una respuesta de búsqueda.
- Búsqueda o índice Arma el índice del que el asistente saca fuentes cuando responde con búsqueda. Bloquearlo es lo que de verdad te saca de las respuestas con enlaces.
- Visita a pedido del usuario Entra a una página concreta porque una persona se lo pidió al asistente en ese momento. Como lo inicia un usuario, varias empresas advierten que puede no respetar el robots.txt.
La decisión correcta casi nunca es «todos sí» o «todos no». Es decidir por función.
Quién es quién
Estos son los agentes que más importan hoy, según la documentación de cada empresa:
Rastreadores de IA por empresa y función
OpenAI y Anthropic
- GPTBot — entrenamiento
- OAI-SearchBot — búsqueda en ChatGPT
- ChatGPT-User — visitas a pedido
- ClaudeBot — entrenamiento
- Claude-SearchBot — búsqueda en Claude
- Claude-User — visitas a pedido
Perplexity y Google
- PerplexityBot — índice de búsqueda; no entrena modelos
- Perplexity-User — visitas a pedido
- Google-Extended — uso del contenido en modelos de Google; no es un rastreador aparte
- Googlebot — la búsqueda de Google, incluidas sus funciones con IA
Fuentes: OpenAI · Anthropic · Perplexity · Google vía Search Engine Roundtable. Consultadas en noviembre de 2026; los nombres cambian, revisa la documentación vigente.
Lo que dice cada empresa sobre bloquearlos es lo que debería guiar tu decisión:
OpenAI indica que los sitios que bloquean OAI-SearchBot no se muestran en las respuestas de búsqueda de ChatGPT, y que bloquear GPTBot solo indica que el contenido no debe usarse para entrenar modelos. Cada regla es independiente. Sobre ChatGPT-User advierte que, por ser acciones iniciadas por un usuario, las reglas del robots.txt pueden no aplicar.
Anthropic explica que bloquear ClaudeBot excluye el contenido futuro del entrenamiento, mientras que bloquear Claude-SearchBot o Claude-User puede reducir la visibilidad del sitio en las búsquedas que hacen sus usuarios.
Perplexity recomienda permitir PerplexityBot para aparecer en sus resultados y aclara que no lo usa para entrenar modelos. Perplexity-User, por ser iniciado por el usuario, en general no sigue el robots.txt.
Google declaró que Google-Extended no afecta la inclusión ni el posicionamiento en su Búsqueda. Lo que aparece en Google, incluidas sus respuestas con IA, depende de Googlebot. Bloquear Googlebot para «salir de la IA de Google» te saca de Google entero.
Bloquear todo lo que suene a IA «por si acaso». Si tu sitio existe para que te contraten, cerrarle la puerta a OAI-SearchBot, Claude-SearchBot o PerplexityBot es renunciar a aparecer justo donde los compradores ya investigan proveedores: según Forrester (2026), la búsqueda conversacional con IA ya es la fuente de información mejor calificada por los compradores de empresa.
De dónde salen los bloqueos que nadie pidió
En la práctica, casi nunca hay una decisión detrás. Hay herencia. Estas son las causas que más vemos, de la más visible a la más escondida:
1. Un robots.txt copiado. En 2023 y 2024 circularon muchas plantillas que bloqueaban a GPTBot y compañía como medida de protección. Alguien la pegó en el sitio y nadie la volvió a revisar. También pasa lo contrario: un Disallow: / debajo de User-agent: * que se dejó de la etapa de desarrollo y bloquea a todos.
2. Tu proveedor de red decidió por ti. El 1 de julio de 2025, Cloudflare —que sirve tráfico de cerca del 20 % de la web— empezó a bloquear por defecto el rastreo de IA y a preguntar a cada dominio nuevo si quería permitirlo. Si tu sitio se dio de alta después de esa fecha y alguien aceptó la opción sugerida sin leerla, el bloqueo está en el borde de la red, no en tu robots.txt, y por eso no lo ves.
3. Un cortafuegos o complemento de seguridad. Las reglas «contra bots» de los cortafuegos de aplicación y de los complementos de seguridad de WordPress suelen bloquear todo lo que no parezca un navegador. A los rastreadores de IA les responden con un error o con una página de verificación que no pueden resolver.
4. Contenido que solo existe con JavaScript. No es un bloqueo formal, pero el efecto es parecido. Varios rastreadores de IA no ejecutan JavaScript: si tu página arma el texto en el navegador, para ellos está vacía. El permiso está, pero no hay nada que leer.
«Si estoy en Google, ya estoy en ChatGPT»
Es una de las objeciones que más escuchamos, y tiene una parte de verdad: los cimientos son los mismos. Un sitio rápido, legible y bien estructurado le sirve a los dos. Pero los permisos no se heredan.
Googlebot puede tener la puerta abierta mientras OAI-SearchBot, Claude-SearchBot o PerplexityBot la tienen cerrada, porque son agentes distintos con reglas distintas en el mismo archivo, o porque el cortafuegos trata diferente a cada uno. Es perfectamente posible estar en la primera página de Google y no existir para ChatGPT.
Lo vemos con frecuencia en empresas industriales y proveedoras B2B que hicieron bien el SEO hace años: el posicionamiento en Google se sostiene, pero cuando alguien le pide a un asistente «proveedores de tal cosa en Puebla», la empresa no aparece. Antes de pensar en contenido, la primera pregunta es si el asistente pudo leer el sitio. Muchas veces la respuesta es no, y el arreglo es de cinco minutos.
Cómo revisarlo en diez minutos
No necesitas herramientas de pago. Necesitas un navegador y, para el último paso, acceso al panel de tu hospedaje o tu CDN.
Revisión de acceso para IA
- Abre
tudominio.com/robots.txt. Busca los nombres de la tabla anterior y, sobre todo, lo que hay bajoUser-agent: *. UnDisallow: /ahí bloquea a todos los que no tengan una regla propia. - Decide por función, no en bloque. Para cada agente, anota si quieres permitirlo y por qué. Si no hay una razón para bloquear un rastreador de búsqueda, permítelo.
- Revisa el panel de tu CDN o cortafuegos. En Cloudflare, la sección de bots y de rastreadores de IA. Comprueba que lo que dice el panel coincide con lo que dice tu
robots.txt; si se contradicen, gana el panel. - Revisa los complementos de seguridad si usas WordPress. Busca reglas de «bloqueo de bots» o «agentes sospechosos».
- Prueba tu página sin JavaScript. Desactívalo en el navegador y recarga. Lo que no ves ahí, varios agentes de IA tampoco lo ven.
- Mira tus registros de servidor una vez al mes. Si nunca aparece un agente que permitiste, algo lo está deteniendo antes de llegar. Lo explicamos en cómo medir tu visibilidad en IA.
Los cambios en el robots.txt no son inmediatos: OpenAI y Perplexity indican que pueden tardar alrededor de 24 horas en aplicarse.
Un robots.txt razonable para una empresa B2B
No hay una plantilla universal, pero para una empresa que quiere ser encontrada y recomendada, el punto de partida sensato es permitir explícitamente los rastreadores de búsqueda y decidir aparte lo del entrenamiento. Un ejemplo:
# Búsqueda y respuestas con IA: permitidos
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Entrenamiento: decisión de la empresa (aquí, permitido)
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
# Todo lo demás
User-agent: *
Disallow: /admin/
Sitemap: https://tudominio.com/sitemap-index.xml
Dos notas. Primero, el robots.txt es una petición, no una cerradura: los rastreadores serios la respetan, otros no, y los agentes que actúan a pedido de un usuario pueden no aplicarla. Segundo, este archivo no explica tu contenido; solo da permisos. Explicar quién eres es trabajo de los datos estructurados y, opcionalmente, del llms.txt.
En nuestro sitio permitimos búsqueda, entrenamiento y uso en respuestas, y lo declaramos tanto en el robots.txt como en una cabecera de señales de contenido. Permitir el entrenamiento fue deliberado: vendemos visibilidad en IA, y negarle el entrenamiento a los modelos mientras pedimos que nos citen habría sido incoherente. Un medio que vive de que lo lean podría decidir lo contrario, y estaría bien. Lo que no está bien es no decidir.
¿Y si sí quiero bloquear algo?
Hay razones legítimas. Si tu sitio publica contenido original del que vives —investigación, cursos, textos de pago—, puedes no querer que se use para entrenar modelos. En ese caso, bloquea los agentes de entrenamiento (GPTBot, ClaudeBot, Google-Extended) y deja abiertos los de búsqueda. Así sigues apareciendo como fuente citada, con enlace, sin ceder el contenido para entrenamiento.
Lo que conviene evitar es bloquear a ciegas los agentes de búsqueda o de visita a pedido. Es el equivalente de 2026 a pedirle a Google que no te indexe: técnicamente posible, comercialmente difícil de justificar para una empresa que vende.
Un detalle que se olvida: el robots.txt vale por subdominio. Anthropic lo recuerda en su documentación: la regla hay que ponerla en cada subdominio que quieras controlar. Si tu empresa tiene www, tienda, blog o un subdominio de cada sucursal, cada uno tiene su propio archivo, y es común que uno de ellos arrastre una configuración vieja que contradice a los demás. Revisa todos, no solo el principal.
Y una advertencia en sentido contrario: bloquear el entrenamiento no borra lo que ya se aprendió. Las reglas aplican hacia adelante, sobre el contenido que se rastree a partir de ese momento. Si la decisión es importante para tu negocio, conviene tomarla pronto y por escrito, con alguien responsable de revisarla cada año, porque los agentes y sus nombres cambian.
En resumen
Que la IA te cite empieza por algo muy poco glamuroso: que pueda entrar. Los rastreadores de IA no son uno solo; hay de entrenamiento, de búsqueda y de visita a pedido, y bloquear cada uno tiene efectos distintos. La mayoría de los bloqueos no son decisiones, son herencias: un archivo copiado, una opción por defecto del proveedor de red o un complemento de seguridad.
Revisarlo toma diez minutos y es, con frecuencia, la mejora de visibilidad en IA con mejor relación entre esfuerzo y efecto. Si ya lo resolviste, el siguiente paso es saber si ChatGPT te recomienda y medirlo cada mes.
Si quieres comprobarlo en tu propio dominio, el diagnóstico de la portada revisa en segundos qué ven Google y la inteligencia artificial cuando buscan tu marca.
Preguntas frecuentes
- ¿Qué es GPTBot?
- Es el rastreador de OpenAI que recopila contenido público que puede usarse para entrenar sus modelos. Respeta el robots.txt. Según la documentación de OpenAI, bloquearlo indica que tu contenido no debe usarse para entrenamiento, pero no te saca de las respuestas de búsqueda de ChatGPT: eso lo controla otro rastreador, OAI-SearchBot.
- ¿Si bloqueo GPTBot dejo de aparecer en ChatGPT?
- No necesariamente. OpenAI separa tres agentes: GPTBot (entrenamiento), OAI-SearchBot (búsqueda en ChatGPT) y ChatGPT-User (visitas que pide un usuario). Su documentación indica que los sitios que bloquean OAI-SearchBot no se muestran en las respuestas de búsqueda de ChatGPT. Bloquear solo GPTBot afecta el entrenamiento, no la búsqueda.
- ¿Cómo sé si mi robots.txt bloquea a los rastreadores de IA?
- Abre tudominio.com/robots.txt en el navegador y busca reglas Disallow bajo User-agent: GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot o Google-Extended, y también bajo User-agent: *. Después revisa el panel de tu CDN o cortafuegos (por ejemplo, Cloudflare), porque un bloqueo ahí no aparece en el robots.txt.
- ¿Bloquear Google-Extended afecta mi posicionamiento en Google?
- No. Google declaró en su documentación de rastreadores que Google-Extended no afecta la inclusión ni el posicionamiento de un sitio en la Búsqueda de Google. Controla el uso del contenido para sus modelos de IA generativa; la búsqueda la sigue rastreando Googlebot.
- ¿Conviene bloquear a los rastreadores de IA?
- Depende de qué vende tu sitio. Si vives de que te lean (un medio, una editorial), bloquear el entrenamiento puede tener sentido. Si tu sitio existe para que te encuentren y te contraten, como en la mayoría de las empresas B2B, bloquear los rastreadores de búsqueda de IA es cerrarle la puerta a un canal donde los compradores ya investigan proveedores.