Què és el crawl budget?
A Google, el crawling li costa diners, de dues formes:
- El temps que els crawlers estan en una web.
- L’espai en servidors que destina a emmagatzemar tot el contingut escrit llegit i recopilat.
El primer punt és el que interessa: Google destina un temps per al crawling d’una web. És el que es coneix com crawl budget o pressupost de crawl.
És un tope per limitar els recursos dedicats a cada web en forma d’electricitat.
Com optimitzar el crawl budget d’una web
Hi ha vàries formes de millorar el crawl buget:
- Un bon enllaçat intern permet no tenir pàgines aïllades, difícils de trobar per a Google. Però sobretot facilita destacar les pàgines més importants de la web, en les que volem que el robot passi més temps.
- Una bona arquitectura de la informació dona coherència, creant una estructura fàcil d’entendre i de seguir.
- Evitar que hi hagi errors 5xx o 4xx. Per exemple, l’error 404 corresponent a ‘Pàgina no trobada’. Aquests errors fan perdre el temps al crawler.
- Tenir un bon robots.txt facilita prohibir l’accés de Googlebot a parts que no ens interessen: així no gastem pressupost de crawling.
- Maximitzar la velocitat de càrrega de la pàgina web a través de tècniques de WPO.
Aquestes són bones pràctiques a seguir sempre doncs optimitzen una web.
No obstant, realment has de preocupar-te pel crawling fins aquest nivell?
Probablement no, tret que el teu lloc web compti amb milers d’URLs.
No obstant això, aquestes tècniques tenen altres beneficis per al posicionament de la teva web en general, més enllà del crawl budget.
Más informació sobre crawl budget
Aquests enllaços et permeten llegir més sobre el crawl budget:
- What crawl budget means for Googlebot (en anglès).
- Com millorar-lo a nivell servidor (en castellà).
