Линкбилдинг 404-ых страниц - как вернуть потерянные ссылки

Если у вас крупный сайт с большим количеством страниц, то поисковое продвижение такого проекта зачастую сводится к выявлению и устранению множества технических проблем.

Одной из распространенных ошибок является наличие битых ссылок на страницы с кодом ответа «404 not found». Более того, на страницы с 404 ошибкой могут вести ссылки с других сайтов, при этом их вес будет потерян. В этой статье вы узнаете как вернуть потерянный вес внешней ссылочной массы.

«Я вам точно могу сказать, что на более или менее крупном сайте все время что-то ломается»
— Михаил Сливинский (Wikimart.ru), SEO Conference 2014.

Суть метода

Ссылки с других сайтов не передают вес, если ведут на битые страницы на вашем сайте. Задача состоит в том, чтобы настроить перенаправление (301 редирект) с несуществующих страниц, имеющих входящие ссылки, на другие подходящие страницы на сайте. Таким образом, вес входящих внешних ссылок начнет передаваться сайту.

Этот метод подойдет скорее проектам с возрастом и большим количеством страниц. Алгоритм работы следующий:

1. Поиск и составление списка страниц с 404 ошибкой.
2. Проверка полученных url-адресов на наличие входящих внешних ссылок.
3. Установка 301 редиректа с битых страниц на подходящие рабочие страницы.

Как найти страницы с 404 ошибкой и другие неработающие страницы

На этом этапе нужно выявить на сайте несуществующие страницы, страницы с ошибками и составить как можно более подробный список url-адресов. Для этого есть несколько инструментов, которые далее будут рассмотрены подробно.

Панели Яндекс.Вебмастер и Google Webmaster Tools

Если ваш сайт еще не добавлен в панели для вебмастеров Яндекс и Google, то обязательно добавьте его сейчас. Так вы сможете своевременно выявлять битые ссылки и другие ошибки индексации.

Чтобы получить список страниц с 404 ошибкой в панели Яндекс.Вебмастер, перейдите на http://webmaster.yandex.ru/sites/ в раздел «Индексирование сайта» → «Исключенные страницы».

(кликните на изображение для увеличения)

Перейдя по ссылке «HTTP-статус: Ресурс не найден (404)» вы получите список найденных страниц с 404 ошибкой. Данный список можно экспортировать в удобном для вас формате.

(кликните на изображение для увеличения)

Для получения списка несуществующих страниц из панели Google Webmaster Tools (https://www.google.com/webmasters/tools/) перейдите в по ссылке «Ошибки сканирования».

(кликните на изображение для увеличения)

На странице будет список url-адресов с ошибками. Экспортировать список можно, нажав кнопку «Загрузка» и выбрав удобный формат выгрузки.

(кликните на изображение для увеличения)

Программы «краулеры»

Тут можно выделить известные программы для поиска битых ссылок и дубликатов:

— Xenu Link Sleuth
— Screaming Frog Seo Spider
— Netpeak Spider

Все они позволяют найти на сайте и выгрузить список страниц с 404 ошибкой. Я для этих целей пользуюсь Screaming Frog Seo Spider, так как у него есть версия под Mac, в отличие от остальных. На примере Screaming Frog список 404 страниц выгружается так:

(кликните на изображение для увеличения)

Журнал ошибок сервера

Если есть такая возможность, то стоит просмотреть журнал ошибок сервера. Обычно это файл «error_log». В зависимости от используемого ПО на сервере, журнал ошибок может отличаться. Но суть все равно одна — просмотреть журнал ошибок сервера и выгрузить из него список url-адресов с 404 ошибкой.

Полученные списки ссылок нужно объединить в один список и удалить дубликаты. Для этого есть множество способов, но я использую текстовый редактор Sublime Text 2 (на Windows рекомендую Notepad++ с плагином TextFX).

(кликните на изображение для увеличения)

Проверка списка битых страниц на наличие входящих ссылок

Для проверки итогового списка url-адресов на наличие входящих ссылок с других сайтов используется сервис Ahrefs.com, а именно раздел «Batch Analysis» – https://ahrefs.com/labs/batch-analysis/.

(кликните на изображение для увеличения)

К сожалению, у данной функции есть ограничение в 200 url за 1 запрос на платных тарифах и в 2 url за 1 запрос на бесплатном. Поэтому нужно вбить свой список в несколько порций по 200 адресов. После каждой проверки нужно сделать экспорт в файл.

(кликните на изображение для увеличения)

Полученные выгрузки по 200 url нужно объединить в 1 таблицу. Для этого нужно открыть 1 файл и копировать в конец содержимое других файлов. Лишние столбцы можно удалить. Нас интересует только столбец «Total», он означает общее количество внешних ссылок на страницу.

(кликните на изображение для увеличения)

Полученный список нужно отсортировать и удалить строки, в которых «Total» равен нулю. В итоге у вас получится список битых страниц, которые имеют входящие ссылки с других сайтов.

Подбор страниц для редиректа

Полученный список нужно снова загрузить в Batch Analysis на Ahrefs, чтобы можно было посмотреть с каких сайтов и с какими анкорами стоят ссылки на каждую страницу нашего списка. Для этого используем иконку рядом с url-адресом.

(кликните на изображение для увеличения)

Далее нужно посмотреть с каких страниц и с какими анкорами ссылались внешние сайты. Для удобства создайте таблицу с двумя колонками, в которой будет список битых адресов и список «живых» адресов, на которые будет идти редирект. Если у страницы на вашем сайте просто изменился url, то вписывайте новый url страницы. В иных случаях, подберите самую релевантную на ваш взгляд страницу, основываясь на тексте страницы-донора и анкоре.

(кликните на изображение для увеличения)

Настройка 301 редиректа на новые страницы

В конце осталось добавить в файл «.htaccess» необходимые команды для редиректа. Для перенаправления с одной страницы на другую используется следующая команда:

Redirect 301 /bityj-adres.html http://site.ru/novyi-klassnyi-adres.html

Для каждого адреса итоговой таблицы нужно написать такую команду и добавить в файл «.htaccess». На этом этапе я рекомендую воспользоваться услугами программиста, чтобы все работало правильно.

В итоге мы бесплатно получим ссылочный вес, просто за счет того, что не будем его терять.

Автор: Nikita Sawinyh, руководитель SEO студии sawinyh.ru, специалист по продвижению крупных проектов.

Nikita в соцсетях:  Facebook  |  Twitter

• Комментарии