Significado de crawler: también conocidos como bots o arañas, los crawlers son las piezas de software que Google utiliza para rastrear todos los sitios web de Internet.
Traducción de crawler al español: rastreador.
¿Qué son los crawlers?
Dicho rápidamente, son los robots o arañas que usan Google y otros motores de búsqueda para llevar a cabo el crawling de las páginas web.
Generalmente hay dos tipos de crawlers:
- Los de buscadores: Google, Bing, Yandex, Baidu, etc.
- Los de herramientas SEO como Screaming Frog, Ahrefs, Semrush, etc.
Lo que al final hace Google es leer todo lo que hay en Internet y mostrar los resultados más relevantes para el usuario cuando este busca cualquier cosa.
Para esto hace uso de unos programas que tienen varios nombres: robots, crawlers, rastreadores o bots. Aunque el que más usado es el de arañas por la imagen metafórica de tejer Internet en base a descubrir webs siguiendo los enlaces entre ellas.
Los principales crawlers que usa Google son los siguientes:
- Googlebot: crawler para analizar una web desde el punto de vista de un usuario con ordenador de escritorio o desktop.
- Smartphone Googlebot: este bot hace el crawling como si se trata de un dispositivo móvil.
Pero tiene más crawlers: uno para imágenes, otro para notícias, varios relacionados con los anuncios, etc.
Desde 2019, Google está potenciando el Googlebot Smartphone siguiendo la tendencia de que cada vez más visitamos la red desde nuestros teléfonos móviles.
¿Cómo descubren los crawlers un sitio web?
La forma más habitual y al mismo tiempo la más natural es a través de un enlace.
Imaginemos que una web conocida, rastreada o crawleada por Google crea un enlace en alguna de sus páginas hacia otra web. Cuando Google visita de nuevo esta web descubrirá ese enlace, lo seguirá y analizará la web destino.
Esta es la razón por la que es tan importante que una nueva web consiga enlaces desde otras webs: el crawling de una web empieza al ser descubierta.
No obstante, existe una segunda vía para atraer a los crawlers: utilizando Search Console. Desde allí podemos dar de alta nuestra web, solicitar que Google la visite y hasta enviar un sitemap.
¿Cómo saber qué crawler usa Google para rastrear una web?
La respuesta se encuentra en la herramienta Search Console, antiguamente conocida como Google Webmaster Tools: https://search.google.com/search-console/about?hl=es.
Concretamente: en la sección ‘Cobertura’. Allí puede verse qué rastreador usó Google, si el de para ordenadores (Googlebot) o el de para móviles.
