Crawl budget
Volume de pages qu'un crawler est prêt à explorer sur un site dans une période donnée.
Définition
Le crawl budget est la quantité de requêtes ou de pages qu’un crawler (moteur de recherche ou crawler IA) alloue à un site. Un sitemap à jour et un robots.txt clair aident à orienter le crawl vers les pages importantes.
Voir aussi
Lié : robots.txt, Sitemap.