Significat de crawler: també coneguts com bots o aranyes, els crawlers són les peces de programari que Google utilitza per a rastrejar tots els llocs web d’Internet.
Traducció de crawler al català: rastrejador.
Què són els crawlers?
Dit ràpidament, són els robots o aranyes que fan servir Google i altres motors de cerca per dur a terme el crawling de les pàgines web.
Generalment hi ha dos tipus de crawlers:
- Els de cercadors: Google, Bing, Yandex, Baidu, etc.
- Els d’eines SEO com Screaming Frog, Ahrefs, Semrush, etc.
El que a la fi fa Google és llegir tot el que hi ha a Internet i mostrar els resultats més rellevants per a l’usuari quan aquest busca qualsevol cosa.
Per això fa ús d’uns programes que tenen diversos noms: robots, crawlers, rastrejadors o bots. Encara que el que més usat és el d’aranyes per la imatge metafòrica de teixir Internet en base a descobrir webs seguint els enllaços entre elles.
Els principals crawlers que fa servir Google són els següents:
- Googlebot: crawler per analizar una web des del punt de vista d’un usuari amb ordenador d’escriptori o desktop.
- Smartphone Googlebot: aqueste bot fa el crawling com si es tracta d’un dispositiu mòbil.
Però té més crawlers: un per a imatges, un altre per notícies, diversos relacionats amb els anuncis, etc.
Des de 2019, Google està potenciant el Googlebot Smartphone seguint la tendència que cada vegada més visitem la xarxa des dels nostres telèfons mòbils.
Com descobreixen els crawlers un lloc web?
La forma més habitual i al mateix temps la més natural és a través d’un enllaç.
Imaginem que una web coneguda, rastrejada o crawleada per Google crea un enllaç en alguna de les seves pàgines cap a una altra web. Quan Google visita de nou aquesta web descobrirà aquest enllaç, el seguirà i analitzarà la web destí.
Aquesta és la raó per la qual és tan important que un nou web aconsegueixi enllaços des d’altres webs: el crawling d’una web comença a l’ésser descoberta.
No obstant això, existeix una segona via per atraure als crawlers: utilizant Search Console. Des d’allà podem dar d’alta la nostra web, sol·licitar que Google la visiti i fins i tot enviar un sitemap.
Com saber quin crawler fa servir Google per rastrejar una web?
La resposta es troba en l’eina Search Console, antigament coneguda com a Google Webmaster Tools: https://search.google.com/search-console/about?hl=ca.
Concretament: a la secció ‘Cobertura’. Allà es pot veure quin rastrejador va usar Google, si el de per a ordinadors (Googlebot) o el de per a mòbils.
Més informació sobre crawlers
- Llistat amb els crawlers emprats per Google (en castellà).
