Как Google индексирует сайты?

Сначала давайте разберемся, о чем мы будет говорить. "Бот" - это часть программного обеспечения поискового сервера, который создан для того, чтобы пройти каждую страницу Вашего сайта, проиндексировать ее, и разместить это в базе данных. У Google есть три известные бота: Adsensebot, Freshbot и DeepCrawl.

Adsensebot, как Вы могли предположить, используется для людей, которые имеют объявления от Adsense на своих сайтах. Как только появляется новая страница, JavaScript в пределах кода Adsense посылает сообщение Adsensebot, и он прибудет в течение 15 минут, чтобы проиндексировать страницу так, чтобы она могла выдавать самые актуальные и тематические объявления.
Но, в этой статье мы будет говорить только о DeepCrawl и Freshbot.

Freshbot ходит по самым популярным страницам на Вашем сайте. Не имеет значения, будь то одна страница или тысячи. Сайты подобно Amazon.com и CNN.com имеют страницы, которые обходятся ботом каждые десять минут, после того, как Google узнал, что эти страницы имеют определенное количество частых изменений. Типичный сайт должен ожидать посещение Freshbot каждые 1 - 14 дней, в зависимости от того, насколько популярны страницы.

Что случается с Вашим сайтом при посещении Freshbot? Все, даже очень глубокие, ссылки размещаются в базу данных так, чтобы, DeepCrawl смог проиндексировать весь сайт.Один раз в месяц, DeepCrawl посещает Ваш сайт и пробегается через все ссылки, найденные Freshbot. Это причина, по которой может требоваться до месяца для полной индексации сайта.

Так будьте терпеливы, постоянно обновляйте содержание Вашего сайта и работайте над получением ценных внешних ссылок - Google вознаградит Вас за это.