Чистка поисковой выдачи: как удалить ненужную информацию?

Наверное, каждый из пользователей находил в поисковой выдаче ссылки на страницы, которых на самом деле не существует. Их наличие на сайте негативно сказывается на продвижении интернет-ресурса и его позиции в естественном поиске. По каким же причинам такие страницы появляются и что с ними делать?

В каких случаях получаются несуществующие страницы?

Они могут образовываться в нескольких случаях.

Страница была удалена с веб-сайта

Чтобы раскрутка онлайн-площадки была эффективной, необходимо обеспечить актуальность контента на ней. Этого можно добиться путём добавления новой информации и удаления сведений, которые уже не представляют интереса для вашей целевой аудитории.

Контент − это и сами страницы, и статьи, и различные вложенные файлы. Например, вы проводили акцию, она была успешной, но товары уже распроданы. В этом случае стоит удалить страницу или хотя бы настроить демонстрацию пользователям данных об аналогичных товарных позициях.

Так вы сможете задержать гостя на сайте и повысить вероятность совершения целевого действия. Если будет принято решение об удалении страницы, то данные всё равно останутся в индексе поисковых систем. Ссылка может сохраняться в результатах выдачи достаточно долго.

Изменение URL страницы

Появление ссылок в выдаче на страницы, которые реально не существуют, также может быть спровоцировано изменением URL. Это происходит в случае замены доменного имени интернет-ресурса или при смене раздела, в котором находился материал. Чтобы избежать последствий наличия таких битых ссылок, нужно провести настройку 301 редиректа. Так можно обеспечить перенаправление пользователя на нужную страницу и сохранить позицию в поисковой выдаче.

Ссылки со сторонних ресурсов на несуществующую страницу

Ваши действия в этом случае должны быть практически такими же, как и в описанном выше. Представим, что кто-то поделился ссылкой, которая ведёт на страницу с вашим товаром, но данная продукция закончилась или URL был изменён. Что в итоге? Потенциальные клиенты попадают на несуществующую страницу, а это ухудшает их лояльность.

Как поступить в такой ситуации? Вам нужно отслеживать внешние линки с помощью вебмастера, а также осуществлять настройку редиректов на актуальные действующие страницы.

Индексация страниц с личными или конфиденциальными данными

Если страницы с личными или конфиденциальными данными компании или конкретного пользователя были проиндексированы, необходимо безотлагательно убрать их из поисковой выдачи.

Как удалить страницу из поисковой выдачи Яндекс?

В вебмастере Яндекса предложен специальный инструмент, который используется для удаления страниц из поиска. Он называется «Удалить url». До того, как применить его на практике, нужно выполнить ряд действий:

• закрыть от индексации страницы или их группы в файле robots.txt, также можно использовать метатег;
• выполнить настройку ответа сервера со страниц, которые не существуют (404 − не найдена, 403 − доступ запрещён, 410 − удалён).

После проведения указанных манипуляций необходимо выполнить переход в соответствующий раздел вебмастера и ввести адреса тех страниц, которые нужно удалить. Осуществить эти действия можно только при использовании аккаунта, имеющего подтверждённые права доступа на интернет-ресурс.

В течение одного дня можно поставить в очередь на удаление до 500 страниц. Кроме того, предусмотрена возможность удаления отдельных групп страниц (каталог, блог и т. д.) путём выбора пункта «По префиксу».

Важно: полный путь вводить нет необходимости. В течение дня можно использовать 20 префиксов. После того как запрос на удаление выполнен, изменение статуса можно отслеживать на странице Инструменты → Удаление страниц из поиска.

Когда поисковый робот обходит ваш интернет-ресурс, он в первую очередь обращается к robots.txt (если он существует), а только потом к страницам. Процесс обхода больших сайтов может занять много времени, поэтому нужно правильно настроить указанный файл, это ускорит индексацию.

Как удалить страницы из выдачи Google?

В этой поисковой системе инструмент для удаления страниц называется «Удалить url адреса».

Пусть вас не удивляет, что на кнопке написано «Временно скрыть». Сервис позволяет выполнить блокировку страниц сроком на 90 дней, после чего они могут опять войти в состав поисковой выдачи.

После нажатия на кнопку откроется окно, в котором нужно указать адрес удаляемой страницы. Особенности процесса такие:

• url страницы должен обязательно соотноситься с вашим ресурсом в search console;
• в пунктах 1 и 2 необходимо обязательно указывать полный адрес (в том числе расширение);
• из url необходимо удалить ссылки-анкоры;
• из поисковой выдачи уходят все варианты страниц (протоколы http и https, url с наличием префикса www и без него).

Например, вы работаете с веб-сайтом site.ru. В этом случае адреса http://site.ru, http://www.site.ru, https://site.ru, https://www.site.ru одинаковые. Неравнозначными они будут при наличии поддоменов (site.ru/catalog и m.site.ru/catalog − разные). Также значение имеет регистр: site.ru/Catalog и site.ru/catalog − это не одно и то же.

В том случае, когда у страницы есть дубли, необходимо подготовить дополнительные запросы по всем существующим адресам.

В результате вы увидите окно с тремя вариантами удаления страниц.

Доступные решения следующие:

• удалить url из кэша и временно исключить его из поиска − сама страница и её копия в кэше убирается из выдачи на 90 дней;

• удалить только из кэша − страница будет присутствовать в выдаче, удаляется только её копия, когда будет проведено следующее сканирование, доступна будет новая кэшированная версия;
• очистить кэш и временно скрыть все url, которые начинаются с... − из выдачи будут удалены страницы и копии, начинающиеся с указанного вами префикса.

Полное удаление из поисковой выдачи Google

Если ваша задача − полное и безвозвратное исключение страницы из поиска, нужно выполнить следующие шаги:

1. удалить наполнение и проверить, есть ли ответ сервиса 404 или 410;
2. поставить запрет на индексацию с помощью метатега (картинки и документы удаляются с сервиса);
3. заблокировать доступ к контенту путём создания пароля.

Обратите внимание, что использование указанного выше метатега является обязательным, ведь для Google запрет в файле robots.txt − не более чем рекомендация.

Как работать с ресурсами, которые вам не принадлежат?

В этом случае стоит связаться с владельцем сайта и попросить его удалить конфиденциальные или личные данные. Если ответа не будет или он окажется отрицательным, есть возможность воспользоваться специально созданным сервисом поисковика (Google) или обратиться в службу техподдержки (Яндекс). Вот пример ответа:

Если вы хотите доверить процесс удаления неактуального контента профессионалам, обратитесь к специалистам нашей веб-студии.