Le pediste a Google que no mostrara ciertas páginas de tu sitio. Escribiste la línea en tu robots.txt, la subiste, y te quedaste tranquilo. El problema es que esa tranquilidad puede ser falsa: el 25 de julio de 2026, John Mueller, de Google, explicó en Reddit (según reportó Search Engine Journal ese mismo día) que existe un error muy común en la estructura de ese archivo que hace que Googlebot ignore por completo la regla que crees tener activa.
No es un tema solo para quien programa tu sitio. Si vendes online, si tienes páginas de precios, catálogos internos o secciones que preferirías que no aparecieran en Google, esto te toca directamente a ti, el que paga el sitio y las campañas.
El error: dos listas de instrucciones en la misma bodega
Mueller revisó el archivo robots.txt de un usuario que quería evitar que Google indexara ciertas URLs. La regla estaba ahí, escrita, pero Google la ignoraba igual. La razón: el archivo tenía una sección separada para “user-agent: Googlebot” y otra para “user-agent: *” (el resto de los buscadores).
Imagina que administras una bodega con dos turnos. Dejas una hoja de instrucciones general, pegada en la pared, con todas las reglas: qué productos no se tocan, qué pasillos quedan cerrados. Pero para el turno de la noche escribiste una hoja aparte, más corta, con solo dos indicaciones. El de turno noche no lee la hoja general. Lee solo la suya. Si ahí faltó una instrucción, la ignora, aunque esté clarísima en la hoja de al lado.
Así funciona robots.txt. Si existe una sección específica para Googlebot, Google usa solo esa sección. No combina las reglas con el grupo genérico. Ignora todo lo demás, a menos que hayas copiado línea por línea la misma regla en ambas secciones.
No cambió nada el 25 de julio, esto siempre funcionó así
Aquí vale la pena bajar la ansiedad: Google no modificó cómo lee robots.txt ese día. Mueller solo puso en palabras públicas, a raíz de un caso concreto, algo que el protocolo define desde hace tiempo. El RFC 9309 (el estándar técnico que regula el Protocolo de Exclusión de Robots, publicado en 2022) ya establece que solo aplica el grupo más específico, y la propia documentación de Google confirma que los grupos no se combinan.
O sea, el bug no es de Google. El bug, si existe, está en cómo armamos el archivo. Y ese matiz importa: tu proveedor de SEO no tiene que esperar un parche ni una actualización. Es un chequeo que se puede hacer hoy mismo, con el archivo que ya tienes publicado.
Bloqueado no es lo mismo que invisible
Acá viene el riesgo que más le importa a un dueño de negocio, no al que escribe el código. Aunque el robots.txt bloquee correctamente una URL, Googlebot no puede rastrear el contenido de esa página, pero puede descubrirla igual a través de un enlace externo o interno, e indexarla sin haber visto una sola línea de lo que hay adentro.
Piensa en una carpeta que dejaste “confidencial” sobre tu escritorio, pero con el nombre bien visible en la portada para cualquiera que pase por la oficina. Nadie abrió la carpeta, pero todos saben que existe y de qué trata, solo por el título. Eso mismo le puede pasar a una página de precios en pruebas, a un catálogo viejo o a una sección de administración: aparece en los resultados de búsqueda con su URL y una descripción genérica, sin que el bloqueo haya cumplido su función real.
El chequeo de cinco minutos que puedes exigir esta semana
No necesitas convertirte en técnico para pedir esto. Si alguien administra tu sitio o tu SEO, pídele que revise tres cosas.
Primero, que cuente cuántas líneas “user-agent” tiene el archivo robots.txt. Segundo, si existe un grupo específico para Googlebot, que lo compare línea por línea contra el grupo genérico, buscando reglas que falten. Tercero, que cruce ese archivo con el informe de cobertura de Search Console, para confirmar si hay páginas indexadas que deberían estar bloqueadas.
Fíjate que esto no es tan distinto, en el fondo, de lo que ya conté sobre las pantallas “no soy un robot”: son decisiones técnicas pequeñas, casi invisibles, que terminan decidiendo si Google te muestra o te esconde (puedes revisar ese caso en este artículo).
Dale una vuelta a tu propio archivo, aunque sea solo para confirmar que está bien armado. No es un proyecto de una semana: son cinco minutos revisando un documento de texto plano.
Por qué esto también es un tema de quién controla tu sitio
Lo que más me llama la atención de este caso es que no requiere plata ni herramientas caras para solucionarlo. Requiere que alguien mire. Y ahí está el punto que más repito con mis clientes: la herramienta no es el problema, es cómo la usas y quién se toma el tiempo de revisarla.
Si tu agencia o tu encargado de sitio nunca te ha mostrado el robots.txt, esa es una señal para preguntar, no para asustarte. La pregunta es simple: ¿quién tiene acceso a este archivo y cuándo fue la última vez que lo revisaron?
En Jalapeños no vendemos SEO técnico como servicio aparte, pero sí lo revisamos cuando armamos o migramos un sitio, porque un robots.txt mal armado puede arruinar meses de trabajo sin que se note en el reporte de tu campaña de Google Ads. Si quieres que le echemos un ojo a la salud técnica de tu sitio antes de invertir más en publicidad, agenda el diagnóstico gratuito en jalapenos.cl/agendar. 🌶️
