A quoi servent ces bots exactement?

Ils collectent des données. Cela va du nombre d'utilisateurs, de visites, à la simple indexation des sites pour les moteurs de recherche.

C'est bien ça. Ils permettent de référencer toutes les pages, ce qui permet de nous retrouver facilement dès qu'une recherche sur mot clef correspondant à ces pages est tapé sur les moteurs de recherche.