google spider
Mejorar el posicionamiento orgánico en buscadores de tu sitio es una tarea que suena muy complicada, pero después de mucho investigar y leer, queremos compartirte el siguiente archivo robots.txt que esta basado en el en el proyecto WPHardening, el cuál tiene como finalidad fortalecer WordPress en varios aspectos, como la seguridad.
El archivo robots.txt tiene como finalidad facilitar el camino que los robots / arañas que indexan tu sitio web y también bloquear el acceso a las mismas en aquellos espacios que no deseas que indexen o muestren en los resultados de búsqueda.
El bloqueo funciona principalmente para cuando llegas a publicar información privada y deseas evitar que aparezca en los resultados de búsqueda de Google y otros buscadores.
Si bien no es posible modificar el archivo robots.txt de manera manual. Es necesario que instales un plugin que te permita hacer esta acción.
¿Cómo modificar el robots.txt en WordPress?
El plugin que puedo recomendarte es el de Yoast SEO, aunque existen otros plugin’s como Robots.txt Editor que te permitirán hacer esta acción.
El motivo por el que recomiendo utilizar Yoast SEO es por que también te permite trabajar en otros aspectos del SEO de tu sitio web.
Ahora sí, veamos como editar tu robots.txt en Yoast SEO.
Solo ingresa al menú lateral derecho en la opción de SEO, posteriormente da clic en el menú de herramientas y por último en la opción «Editor de Archivos»
¿Cuál es el mejor archivo robots.txt para WordPress?
Ahora sí, el mejor archivo robots.txt que encontramos puede servirte para indexar tu sitio web o blog con wordpress es el siguiente ejemplo:
Sitemap: [AQUÍ VA LA URL DE TU SITEMAP.XML] User-Agent: * Allow: /wp-content/uploads/ Allow: /feed/$ Disallow: /wp- Disallow: /wp-content/ Disallow: /trackback/ Disallow: /wp-admin/ Disallow: /feed/ Disallow: /search Disallow: /archives/ Disallow: /*? Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: */trackback/ # No indexar copias de seguridad Disallow: /*.sql$ Disallow: /*.tgz$ Disallow: /*.gz$ Disallow: /*.tar$ Disallow: /*.svn$ # Reglas para bots conocidos User-agent: Googlebot User-agent: Googlebot-Image Disallow: /wp-includes/ Allow: /wp-content/uploads/ User-agent: Mediapartners-Google* Disallow: User-agent: ia_archiver Disallow: / User-agent: duggmirror Disallow: / User-agent: noxtrumbot Crawl-delay: 50 User-agent: msnbot Crawl-delay: 30 User-agent: Slurp Crawl-delay: 10 User-agent: MSIECrawler Disallow: / User-agent: WebCopier Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: libwww Disallow: /