Probablemente hayas oído hablar de él. Aunque todavía no entiendes bien qué es y por qué se considera tan importante. yo digo del archivo Robots.txt.
¿Qué tiene de especial este archivo?
¿Para qué sirve?
¿Cómo se crea?
Cuando estas preguntas surjan en tu cabeza, ¡estás en el lugar correcto! Te diré todo lo que necesitas saber sobre este archivo. Y cuando termines de leer el artículo, incluso podrás crear el tuyo propio.
¿Quieres probarlo? Bueno, metámonos en problemas 😉
¿Qué es un archivo robots.txt?
Para comenzar desde el principio, debe comprender qué es un archivo robots.txt y para qué sirve.
¿Has oído hablar de los robots o las arañas de Google? Adicionalmente, El archivo robots.txt es un archivo que le dice a los robots de los motores de búsqueda qué escanear e indexar y qué no.
Como sabes, las arañas (también llamadas «bots») deambulan por sitios web, tratando de encontrar contenido nuevo para incluir en los resultados de búsqueda. Y. Si bien cree que la opción ideal es indexar el contenido más amplio de su sitio, mejor, eso no es cierto..
Hay páginas y elementos de Internet que no nos interesan en el índice de Google, como archivos internos, páginas que son irrelevantes o aquellas que no queremos que el motor de búsqueda muestre en sus resultados de búsqueda (como una página de política de cookies).
Y esto nos lleva a la siguiente pregunta:
¿Para qué sirve el archivo robots.txt?
Básicamente, di un bot qué páginas y archivos queremos pasar y cuáles no.
Puedes usarlo para:
- Evitar la indexación de páginas o directorios específicos (por ejemplo, contenido duplicado, páginas de prueba o área privada).
- Bloquea el acceso a tu sitio con un bot específico.
- Denegar el acceso de los motores de búsqueda a determinados archivos.
- Evite el rastreo por URL que eliminó e informa un error 404.
- Especifique la ubicación de su mapa del sitio para que sea más fácil rastrear e indexar su sitio.
- No permita que su sitio sea indexado hasta que esté completamente terminado.
Entonces, como puede ver, este es un archivo que contiene información que las arañas buscarán antes de escanear la web para averiguarlo. a qué partes se permite el acceso. Es decir, funciona como recomendación (ya que hay robots que hacen lo que quieren) sobre qué páginas deben visitar e indexar.
Recuerde siempre que el archivo robots.txt es público y cualquiera puede verlo escribiendo /robots.txt al final del dominio. Así que no lo use para intentar ocultar información personal de los motores de búsqueda y similares.
Cómo crear un archivo robots.txt para su sitio de WordPress
Ahora que sabe qué es y por qué es necesario, veamos cómo crear un archivo robots.txt en wordpress.
Y aquí tengo 2 buenas noticias: primero: es más fácil de lo que piensas. En segundo lugar, si usa el complemento Yoast SEO, será aún más fácil porque lo hace por usted.
Para hacer esto, simplemente vaya a «Herramientas», «Editor de archivos» y cree o modifique el archivo robots.txt.
¿Qué sucede si no desea utilizar el complemento Yoast SEO?
Te contestaré ahora.
Comandos y comodines
por crear un archivo robots.txt, lo primero a considerar son los comandos que se utilizan para crear restricciones.
Esta parametros basicos utilizado en robots.txt:
- Agente de usuario: Especifique a qué tipo de robots se envían los comandos que ingresa a continuación.
- Prohibir: bloquea el acceso del usuario-agente (bot) al directorio o URL especificado.
- Permítame: le permite acceder a la URL o directorio especificado.
- Mapa del sitio– Dile al bot dónde está el mapa del sitio.
- Retraso de pausa– Se utiliza para indicar el tiempo de retraso entre cada página al escanear el bot. De esta forma, evita un gran consumo de recursos. En este caso, tenga en cuenta que no todos los bots prestan atención a este comando.
Aparte de todo esto, hay 2 personajes adicionales utilizado como comodines:
- Asterisco: significa «todo». Se utiliza principalmenteAgente de usuario: * , para todos los bots; ya sea / * /
- para especificar todos los directorios.Símbolo de dólar ($) : se utiliza para especificar cualquier archivo que termine con una extensión específica. Por ejemplo: /*.gif$
indica todos los archivos que terminan en .gif.
- En cuanto a las restricciones, son las más habituales: Agente de usuario: *
- – Enciende todos los robots Agente de usuario: Googlebot
- – Especifica el robot de Google Agente de usuario: Bingbot
- – Especifica el robot Bing Prohibir: /
- – Rechazar todo el sitio Prohibir: / directorio /
- – Denegar el directorio Prohibir: / loquesea * /
- – Denegar directorios que comiencen con «foo» Prohibir: /pagina-web.htm
- – Descartar la página Prohibir: /*.gif$
- – Deshabilitar la extensión .gif Permitir: / directorio / subdirectorio /
- – Permitir subdirectorio Mapa del sitio: https://www.tuweb.com/sitemap.xml
– marcar el mapa del sitio.
Ejemplo de archivo Robots.txt
Veamos un archivo robots.txt de ejemplo para WordPress.
Agente de usuario: *
Prohibir: / wp-admin /
Prohibir: /wp-login.php/
Mapa del sitio: https://tuweb.com/sitemap_index.xml
- Y ahora te explicaremos esta información:
- Mostramos que todas las funciones de archivo son válidas para todos los bots.
- Negamos el acceso a las partes más privadas de WordPress (segunda y tercera línea).
Mostramos un mapa del sitio.
Descarga el archivo Robots.txt Una vez que hayamos creado el archivo robots.txt,
¿Cómo lo subimos a nuestro sitio para que los rastreadores de Google lo encuentren?
- Siguiendo estos pasos:
- Almacenamos el código como un archivo de texto (en un documento .txt) llamado «robots».
- Lo colocamos en el directorio de más alto nivel del sitio (https://www.tuweb.com/robots.txt).
Confirmamos que todo está correcto a través de Google Search Console.
¿Necesitas ayuda con robots.txt?
Con suerte, en este tutorial podrá crear su propio archivo robots.txt. Sin embargo, recuerda que con Yoast SEO el funcionamiento es lo más sencillo posible. Y si tiene alguna pregunta, sabe que estoy en los comentarios para ayudarlo.
Y si prefieres que alguien lo haga por ti para que te olvides de la tarea, ¡nos ocupamos de las hormigas sherpa tecnológicas en la nube!
Crear e instalar un archivo robots.txt para mí en mi sitio.
No Comments Found