En anglais, Googlebot signifie : robot d’exploration et d’indexation de Google. Un bot est un programme informatique qui parcourt les pages web afin d’indexer les pages internet.

Le Googlebot à deux missions principales :

  • Explorer le web : visiter les pages et suivre les liens contenus dans ces pages.
  • Indexer les pages : stocker le contenu de ces pages dans les bases de données de Google.

Fréquence du crawl

Au début, les index étaient mis à jour tous les mois. Depuis quelques années, le crawl est devenu continue grace à des robots qui crawlent le web continuellement. Ainsi, votre référencement naturel évolue, bouge chaque jour, voire continuellement.

Les pages dont les contenus sont mis à jour fréquemment ou régulièrement (ajout de texte, modification du contenu, mis à jour de certains éléments, ajout de nouvelles pages, …) sont visitées plus souvent que les pages dites « statiques ».

Certaines pages comme les pages d’actualité sont crawlées et indexées plusieurs fois par jour par les robots.

L’analyse du crawl : savoir quand Googlebot est venu sur votre site

Il est possible de savoir quand le site a été crawlé. Dans l’outil Webmaster Tools (GWT)  de Google, le webmaster peut visualiser l’historique des passages du robot google. Les fichiers « log » des serveurs sont des journaux qui répertorient et conservent un historique de chaque visite des robots.

Certains outils statistiques permettent aussi de comptabiliser les passages du robot e d’analyser son crawl.