¿Qué es el crawl budget?
A Google, el crawling le cuesta dinero, de dos formas:
- El tiempo que los crawlers están en una web.
- El espacio en servidores que destina a almacenar todo el contenido escrito leído y recopilado.
El primero punto es el que interesa: Google destina un tiempo para el crawling de una web. Es lo que se conoce como crawl budget o presupuesto de crawl.
Es un tope para limitar los recursos dedicados a cada web en forma de electricidad.
Cómo optimizar el crawl budget de una web
Hay varias formas de mejorar el crawl buget:
- Un buen enlazado interno permite no tener páginas aisladas, difíciles de encontrar para Google. Pero sobretodo facilita destacar las páginas más importantes de la web, en las que queremos que el robot pase más tiempo.
- Una buena arquitectura de la información da coherencia, creando una estructura fácil de entender y de seguir.
- Evitar que haya errores 5xx o 4xx. Por ejemplo, el error 404 correspondiente a ‘Página no encontrada’. Estos errores hacen perder el tiempo al crawler.
- Tener un buen robots.txt facilita prohibir el acceso de Googlebot a partes que no nos interesan: así no gastamos presupuesto de crawling.
- Maximizar la velocidad de carga de la página web a través de técnicas de WPO.
Estas son buenas prácticas a seguir siempre pues optimizan una web.
Sin embargo, ¿realmente debes preocuparte por el crawling hasta este nivel?
Probablemente no, a no ser que tu sitio web cuente con miles de URLs.
No obstante, estas técnicas tienen otros beneficios para el posicionamiento de tu web en general, más allá del crawl budget.
Más información sobre crawl budget
Estos enlaces te permiten leer más acerca del crawl budget:
