Почему страницы не индексируются Google: три типа проблем

В статье рассказываем о проблемах, связанных со статусом «Не проиндексировано» в Google Search Console.

Содержание

1. Технические требования для индексации
2. Дублированный контент
3. Низкое качество страницы
4. Что в итоге

Несмотря на отправку URL-адресов через XML-карты сайта и соблюдение рекомендаций, некоторые страницы все равно попадают в категорию «Не проиндексировано» в GSC.

Обычно страницы могут не быть проиндексированы по трем причинам:

1. Страница не выполняет технические требования для индексации Google.

2. На странице есть дублированный контент: алгоритм канонизации Google может выбрать не тот канонический URL из группы дубликатов.

3. Google считает, что у страницы низкое качество.

1. Технические требования для индексации

К этой категории относятся ошибки, когда Google не может проиндексировать страницу, потому что не выполнены технические требования:

• Ошибка сервера (5xx);

• Ошибка переадресации;

• URL заблокирован robots.txt;

• URL помечен как noindex;

• Soft 404;

• Заблокировано из-за неавторизованного запроса (401);

• Не найдено (404);

• Заблокировано, доступ запрещен (403);

• URL заблокирован из-за другой ошибки 4xx;

• Страница с переадресацией.

Нужно уточнить, что ошибка переадресации сама по себе — не препятствие для индексации, если редирект настроен корректно. Обычно проблемы возникают при циклических редиректах или слишком длинных цепочках перенаправлений, которые затрудняют сканирование.

Требования Google, которые нужно выполнить, чтобы страница проиндексировалась:

• Робот Google может зайти на страницу.

• Google получает код ответа HTTP 200.

• Страница содержит индексируемый контент.

Если сгруппировать ошибки в Google Search Console, которые относятся к техническим требованиям, получится такой список:

• Робот Google не может зайти на страницу:

  • URL заблокирован robots.txt;

  • Заблокировано из-за неавторизованного запроса (401);

  • Заблокировано, доступ запрещен (403);

  • URL заблокирован из-за другой ошибки 4xx.

• Google не получает код ответа HTTP 200:

  • Ошибка сервера (5xx);

  • Ошибка переадресации;

  • Не найдено (404);

  • Страница с переадресацией (3xx).

• Страница не содержит индексируемый контент:

  • URL помечен noindex;

  • Soft 404.

Технические ошибки пользователь обычно может исправить самостоятельно.

Робот Google не может зайти на страницу

Если важная страница возвращает ошибку, убедитесь, что поисковый робот может её просканировать. Важная страница может быть заблокирована, если:

• В файле robots.txt есть правило, которое блокирует сканирование страницы.

• Страница скрыта за формой входа (логином).

• CDN (сеть доставки контента) частично или полностью блокирует поискового робота.

Вы можете проверить, заблокирована ли важная страница, с помощью инструмента Анализ сайта в разделе «Аудит сайта».

Google не получает код ответа HTTP 200

Если важная страница не возвращает код ответа HTTP 200, то поисковый робот не проиндексирует её.

Есть несколько причин, почему важная страница может возвращать код состояния, который отличается от HTTP 200. Это может быть связано с тем, что страница была перенаправлена (3xx), возвращает ошибку 4xx или 5xx. JavaScript-сайт также может возвращать неверные коды состояния для важных страниц.

Иногда поисковый робот еще не успевает просканировать страницу, или отчетам требуется время, чтобы отобразить изменения, внесенные на ваш сайт. Поэтому если вы знаете, что страница была недавно изменена, не стоит паниковать. Можно проверить страницу с помощью инструмента проверки URL в Google Search Console.

Страница не содержит индексируемый контент

Если на важной странице есть тег noindex (в мета-теге robots или HTTP-заголовке X-Robots-Tag), Google не будет отображать и индексировать эту страницу.

Отдельно стоит отметить ошибку Soft 404. Если она возникает на важной странице, это означает, что Google подумал: контент на этой странице должен возвращать ошибку 404. Обычно это случается, когда Google обнаруживает похожий, небольшой по объему контент на нескольких страницах: это заставляет его думать, что эти страницы должны возвращать ошибку 404.

2. Дублированный контент

Эти ошибки связаны с процессом канонизации Google:

• Альтернативная страница с правильным тегом canonical. Страница указала, что другая страница является каноническим URL, который должен отображаться в результатах поиска.

• Дубликат без выбранного пользователем canonical. Google обнаружил, что эта страница является дубликатом, а так как на обнаруженной странице нет тега canonical, Google сам выбрал канонический URL.

• Google выбрал не тот canonical, что пользователь. Хотя пользователь указал другую страницу как канонический URL, Google выбрал другую страницу для отображения в результатах поиска.

Почему Google может выбрать не тот canonical, что пользователь

Когда Google находит дубликаты страниц на сайте, он:

1. Группирует страницы в кластер.

2. Анализирует канонические сигналы страниц в кластере.

3. Выбирает канонический URL из кластера для отображения в результатах поиска.

Этот процесс называется канонизацией. Google постоянно оценивает канонические сигналы, чтобы определить, какой URL должен быть каноническим для кластера и наиболее релевантным для пользователей. Он смотрит на:

• 3xx редиректы;

• Включение страницы в Sitemap;

• Сигналы тега canonical;

• Структуру внутренних ссылок;

• Предпочтения структуры URL.

Если страница раньше была канонической, но новые сигналы заставляют Google выбрать другой URL в кластере, то исходная страница удаляется из результатов поиска. Это может произойти, даже если вы используете тег canonical. Поэтому важно убедиться в том, что канонические сигналы на вашем сайте согласованы для URL-адресов, которые вы хотите видеть в результатах поиска.

3. Низкое качество страницы

Эти ошибки основаны на сигналах страниц, которые Google собирает со временем:

• Просканировано — в настоящее время не проиндексировано. Страница была обнаружена, просканирована, но не проиндексирована, или ранее индексируемая страница сейчас удаляется из результатов поиска Google.

• Обнаружено — в настоящее время не проиндексировано. Новая страница была обнаружена, но еще не просканирована, или Google сейчас удаляет ранее проиндексированную страницу из индекса. Нужно отметить, что этот статус может также указывать на проблемы с краулинговым бюджетом, особенно на крупных сайтах. Если сайт имеет ограниченный краулинговый бюджет, Google может отложить индексацию некоторых страниц.

• URL-адрес неизвестен Google. Поисковик никогда не видел эту страницу или уже удалил ранее проиндексированную страницу из индекса.

Чтобы не затронуть те страницы, которые не важны для индексации, нужно разделить важные страницы на две категории:

1. Индексируемые. Важные страницы, которые могут быть проиндексированы Google, но сейчас не индексируются.

2. Неиндексируемые. Важные страницы, которые не должны быть проиндексированы (например, с ошибками 301, 404 и т.д.).

Что в итоге

Важно регулярно проверять статус индексации. Это поможет определить, к какой категории относятся неиндексированные страницы, и принять нужные меры.

Проверить статус индексации в Google или Яндекс вы можете с помощью онлайн-инструмента. Введите список URL в поле, выберите поисковую систему и запустите проверку: инструмент оценит состояние страниц и отметит галочкой проиндексированные.

Обнаружение проблемы — первый шаг к решению!Технические затруднения и проблемы с дублированным контентом, как правило, вполне решаемы. Их можно исправить с помощью стандартных методов оптимизации.Проблемы с качеством страницы требуют более глубокого анализа. Часто они сигнализируют о более серьезных проблемах с тем, насколько контент соответствует ожиданиям пользователей и поисковых систем.

Источник - https://pr-cy.ru/news/p/10614-pochemu-stranicy-ne-indeksiryutsya-google

Статьи по теме

Отзывы на Яндекс Картах: как пройти модерацию

Разберемся, как работает модерация отзывов Яндекс, какие правила нужно соблюдать, чтобы Яндекс принял отзыв на ваш бизнес, и что ...

2025-01-19

Google подвел итоги 2023 года в поиске

По традиции в начале декабря Google подвел итоги уходящего года, выделив самые популярные события и темы, которые волновали пользователей...

2023-12-28

Вывод сайта из-под фильтров

Вывод сайта из-под фильтров Фильтр – это один из алгоритмов поисковых систем, который определяет, насколько хорош тот или иной сайт. У к�...

2023-02-01

Ключевые слова − база для полёта в ТОП-выдачи

Одна из основных задач, которые ставятся перед SEO-оптимизаторами, занимающимися продвижением сайтов, − подбор правильных ключевых запр�...

2021-04-02

Факторы ранжирования-2021

В мае прошлого года специалисты Google опубликовали анонс метрик, которые будут работать при ранжировании. Теперь представители компании �...

2021-01-22

Алгоритм YATI: новая разработка Яндекса

Алгоритм YATI: новая разработка Яндекса Одним из продуктов, который был представлен на конференции YaC 2020, стал новый алгоритм YATI. Расшифр�...

2021-01-12

Bing: обновление для веб-мастеров

Совсем недавно вышло обновление руководства для веб-мастеров, подготовленное специалистами Bing. Эта поисковая система достаточно попул�...

2020-09-17

Яндекс.Поиск: особенности и плюсы такого инструмента на сайте

Такой процесс, как поиск информации в интернете, уже давно известен пользователям. Аналогичный инструмент можно использовать и в рамках...

2020-03-26

Чистка поисковой выдачи: как удалить ненужную информацию?

Наверное, каждый из пользователей находил в поисковой выдаче ссылки на страницы, которых на самом деле не существует. Их наличие на сайт�...

2019-03-20

ИКС: Яндекс оценивает качество сайтов по-новому

Недавно Яндекс ввёл новый показатель качества интернет-ресурсов, который получил название ИКС. Расшифровывается эта аббревиатура как и...

2018-09-12

Четыре рекламных объявления в спецразмещении

Портал Яндекс стал внедрять четвертую позицию спецразмещений контекстной рекламы в поисковике. При этом он сообщил о показе четырех сп�...

2017-12-27

Новый алгоритм поиска Яндекса Королев

Королёв: новый алгоритм-герой Яндекса Яндекс неустанно производит на свет всё новые и новые алгоритмы, чтобы сделать поисковую выдачу н...

2017-09-12

Ссылочное ранжирование: что о нём нужно знать?

  Популярность сайта во многом зависит от его позиции в поисковой выдаче. Существует много факторов, которые влияют на этот показатель...

2016-11-08

Проседание поискового трафика: в чём причина?

Проседание поискового трафика: в чём причина?   Владельцы сайтов нередко сталкиваются с такой проблемой, как проседание трафика. Это ч...

2016-05-17

Особенности работы поисковых роботов

Особенности работы поисковых роботов   Людям, которые занимаются продвижением интернет-ресурсов, крайне важно понимать принцип рабо�...

2016-03-23