Търсачките-роботи, които обхождат съдържанието на сайтовете играят важна роля за оптимизацията им , защото това определя незабавната достъпност на потребителите до новата информация.
Поради факта, че SEO (search engine optimization) е директно свързан с някои маркетингови стратегии, нивото на обхождащия процес на роботите ще има директно влияние върху вашите маркетингови кампании на всички нива.
Процесът на обхождане и индексиране зависи от много фактори. По определени дефинирани критерии роботите ще решат приоритета на обхождане за целия сайт или части от него.
Главните фактори, които влияят на роботите са: броят на еднопосочните линкове, броят на вътрешните линкове, наличността на карта на сайта, и естествено качеството на информацията.
Що се отнася до индексиращите действия на Google, можете да определите честотата на обхождане за определен сайт или части от него, използвайки Google Webmaster Tools. Имате възможност да видите активността на Googlebot през последните три месеца на графика, която изобразява броя на страниците на ден, размера на информацията, изтеглена на ден, и респективно времето, за което е станало това.
Честотата на обхождане е също свързана индиректно със закона за цикъла на обхождане на роботите, който представлява времето, измеренио между две последователни обхождания:
най-голямата честота ще съответства на най-малката стойност на обхождащия цикъл.
Безплатният SEO meter ви позволява да съпоставите обхождащите действия на Googlebot с настоящата SEO стратегия. Използвайки тези доклади, ще можете да направите вашия сайт един от любимите за Google роботите (и теоретично за всички други) чрез промяната и адаптирането на съдържанието на страниците ви за най-добрата SEO стратегия.