Índice de contenidos
robots.txt en WordPress: Trucos, ejemplos y cómo evitar que Google indexe lo que no debe
¿Te imaginas que Google esté perdiendo el tiempo rastreando tu carrito vacío, tus páginas de agradecimiento o secciones internas que no deberían aparecer en los resultados de búsqueda? Pues eso puede estar ocurriendo si no tienes bien configurado tu archivo robots.txt.
Este pequeño archivo, aunque a menudo pasa desapercibido, tiene un impacto directo en cómo los motores de búsqueda acceden e interpretan tu web. Mal configurado, puede llevar a errores de indexación, pérdida de posicionamiento y visibilidad innecesaria de contenidos que no aportan valor.
En este artículo de En-rede te explicamos paso a paso cómo funciona el archivo robots.txt en WordPress, cómo configurarlo correctamente y qué estrategias puedes aplicar para mejorar tu SEO técnico. Cuidar los detalles técnicos también es parte esencial de una estrategia de posicionamiento eficaz.
¿Qué es el archivo robots.txt?
El archivo robots.txt es como el portero de tu sitio web: le dice a los bots de los buscadores (como Googlebot) qué partes pueden visitar y cuáles no. No borra nada, ni oculta al usuario, pero ayuda a los motores de búsqueda a entender mejor tu estructura y evitar contenido innecesario o duplicado.
¿Dónde está el robots.txt en WordPress?
WordPress genera uno dinámico si no existe físicamente, pero te recomendamos tener un archivo real en la raíz de tu instalación (https://tudominio.com/robots.txt) para tener mayor control.
Puedes crearlo con un simple bloc de notas y subirlo por FTP o usar plugins como Yoast SEO o Rank Math para gestionarlo desde el panel.
Ejemplo básico de archivo robots.txt para WordPress
User-agent: * /*aplica a todos los bots*/
Disallow: /wp-admin/ /*Prohíbe el acceso a esas rutas.*/
Allow: /wp-admin/admin-ajax.php /* Hace excepciones */
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Sitemap: https://en-rede.com/sitemap_index.xml /*Indica la ubicación del mapa del sitio (clave para el SEO).*/
Cómo evitar que Google indexe ciertas URLs en WordPress
Aunque robots.txt impide el rastreo, no garantiza que no se indexe. Para bloquear la indexación necesitas usar la etiqueta meta noindex.
Lo ideal: combinar robots.txt con noindex
- Usa robots.txt para bloquear carpetas completas o archivos que no deben ser rastreados.
- Usa noindex (con plugins SEO) para impedir que determinadas páginas aparezcan en Google.
Errores comunes con robots.txt (y cómo evitarlos)
Bloquear CSS o JS: Puede impedir que Google vea bien tu web y afecte al posicionamiento.
Bloquear toda la web por error:
User-agent: *
Disallow: /
- Esto desindexa TODO. Úsalo solo en desarrollo.
- No incluir el sitemap: Pierdes una oportunidad de oro para que Google rastree mejor tu sitio.
Trucos y ejemplos avanzados para WordPress
1. No indexar URLs con parámetros (ej: filtros de tienda)
User-agent: *
Disallow: /*?orderby=
Disallow: /*?filter_
Disallow: /*?add-to-cart=
2. Bloquear páginas específicas
Disallow: /gracias/
Disallow: /carrito/
Disallow: /mi-cuenta/
3. Bloquear autores (si tienes muchos sin contenido relevante)
Disallow: /author/
4. Evitar rastreo de versiones AMP duplicadas
Disallow: /*/amp/
Buenas prácticas para SEO y robots.txt
- Incluye tu sitemap siempre.
- No bloquees recursos necesarios (CSS/JS).
- Combina con etiquetas noindex para una protección completa.
- Revisa con Google Search Console si hay errores de rastreo.
- Actualiza el archivo si cambias la estructura de URLs.
