К постам Опубликовано: 2016-12-23

Лiнкбiлдiнг 404-их сторінок - як повернути втрачені посилання

Якщо у вас великий сайт з великою кількістю сторінок, то пошукове просування такого проекту найчастіше зводиться до виявлення і усунення безлічі технічних проблем.

Однією з поширених помилок є наявність битих посилань на сторінки з кодом відповіді «404 not found». Більш того, на сторінки з 404 помилкою можуть вести посилання з інших сайтів, при цьому їх вага буде втрачено. У цій статті ви дізнаєтеся як повернути втрачену вагу зовнішньої посилальної маси.

«Я вам точно можу сказати, що на більш або менш великому сайті весь час щось ламається»
— Михайло Сливинський (Wikimart.ru), SEO Conference 2014.

Суть методу

Посилання з інших сайтів не передають вагу, якщо ведуть на биті сторінок на вашому сайті. Завдання полягає в тому, щоб налаштувати перенаправлення (301 редирект) з неіснуючих сторінок, що мають вхідні посилання, на інші відповідні сторінки на сайті. Таким чином, вага входять зовнішніх посилань почне передаватися сайту.

Цей метод підійде скоріше проектів з віком і великою кількістю сторінок. Алгоритм роботи наступний:

1. Пошук і складання списку сторінок з 404 помилкою.
2. Перевірка отриманих url-адрес на наявність вхідних зовнішніх посилань.
3. Установка 301 редіректу з битих сторінок на відповідні робочі сторінки.

Як знайти сторінки з 404 помилкою та інші непрацюючі сторінки

На цьому етапі потрібно виявити на сайті неіснуючі сторінки, сторінки з помилками і скласти як можна більш докладний список url-адрес. Для цього є кілька інструментів, які далі будуть розглянуті докладно.

Панелі Яндекс.Вебмайстер і Google Webmaster Tools

Якщо ваш сайт ще не додано до панелі для вебмайстрів Яндекс і Google, то обов'язково додайте його зараз. Так ви зможете своєчасно виявляти биті посилання і інші помилки індексації.

Щоб отримати список сторінок з 404 помилкою в панелі Яндекс.Вебмастер, перейдіть до http://webmaster.yandex.ru/sites/ в розділ «Індексування сайту» → «Виключені сторінки».

(натисніть на зображення для збільшення)
404 помилки в панелі для вебмайстрів Яндекса

Перейшовши за посиланням «HTTP статус: Ресурс не знайдено (404)» ви отримаєте список знайдених сторінок з 404 помилкою. Даний список можна експортувати у зручному для вас форматі.

(натисніть на зображення для збільшення)
Експорт сторінок з помилками Яндекс Вебмастера

Для отримання списку неіснуючих сторінок з панелі Google Webmaster Tools (https://www.google.com/webmasters/tools/) перейдіть по посиланню «Помилки сканування».

(натисніть на зображення для збільшення)
Помилки сканування в панелі вебмайстрів Google

На сторінці буде список url-адрес з помилками. Експортувати список можна натиснувши кнопку «Завантаження» і обравши зручний формат вивантаження.

(натисніть на зображення для збільшення)
Експорт сторінок з помилками в Google Webmaster Tools

Програми «краулери»

Тут можна виділити відомі програми для пошуку битих посилань і дублікатів:

— Xenu Link Sleuth
— Screaming Frog Seo Spider
— Netpeak Spider

Всі вони дозволяють знайти на сайті і вивантажити список сторінок з 404 помилкою. Я для цих цілей використовую Screaming Frog Seo Spider, так як у нього є версія під Mac, на відміну від інших. На прикладі Screaming Frog список 404 сторінок вивантажується так:

(натисніть на зображення для збільшення)
Пошук битих посилань в Screaming Frog SEO Spider

Журнал помилок сервера

Якщо є така можливість, то варто переглянути журнал помилок сервера. Зазвичай, це файл «error_log». Залежно від використовуваного ПЗ на сервері, журнал помилок може відрізнятися. Але суть все одно одна — переглянути журнал помилок сервера і вивантажити з нього список url-адрес з 404 помилкою.

Отримані списки посилань потрібно об'єднати в один список і видалити дублікати. Для цього є безліч способів, але я використовую текстовий редактор Sublime Text 2 (на Windows рекомендую Notepad++ з плагіном TextFX).

(натисніть на зображення для збільшення)
Видалення дублікатів за допомогою Sublime Text

Перевірка списку битих сторінок на наявність вхідних посилань

Для перевірки підсумкового списку url-адрес на наявність вхідних посилань з інших сайтів використовується сервіс Ahrefs.com, а саме розділ «Batch Analysis» – https://ahrefs.com/labs/batch-analysis/.

(натисніть на зображення для збільшення)
Масовий аналіз посилань в Ahrefs

На жаль, у цій функції є обмеження в 200 url за 1 запит на платних тарифах і в 2 url за 1 запит на безкоштовному. Тому треба вбити свій список в кілька порцій по 200 адрес. Після кожної перевірки потрібно зробити експорт у файл.

(натисніть на зображення для збільшення)
Аналіз сторінок в Ahrefs

Отримані вивантаження по 200 url потрібно об'єднати в таблицю 1. Для цього потрібно відкрити 1 файл і скопіювати в кінець вміст інших файлів. Зайві стовпці можна видалити. Нас цікавить тільки стовпець «Total», він означає загальну кількість зовнішніх посилань на сторінку.

(натисніть на зображення для збільшення)
Список URL-адрес з сервісу Ahrefs

Отриманий список потрібно відсортувати і видалити рядки, в яких «Total» дорівнює нулю. В результаті у вас вийде список битих сторінок, які мають вхідні посилання з інших сайтів.

Підбір сторінок для редіректу

Отриманий список потрібно знову завантажити Batch Analysis на Ahrefs, щоб можна було подивитися з яких сайтів і з якими анкорами стоять посилання на кожну сторінку нашого списку. Для цього використовуємо іконку поруч з url-адресою.

(натисніть на зображення для збільшення)
Деталі аналізу конкретної адреси

Далі потрібно подивитися з яких сторінок і з якими анкорами посилалися зовнішні сайти. Для зручності створіть таблицю з двома колонками, в якій буде список битих адрес і список «живих» адрес, на які буде йти редирект. Якщо сторінка на вашому сайті просто змінився url, то вписуйте новий url сторінки. В інших випадках, підберіть найбільш релевантну на ваш погляд сторінку, грунтуючись на тексті сторінки-донора і анкорі.

(натисніть на зображення для збільшення)
Список посилань для редіректу

Налаштування 301 редіректу на нові сторінки

В кінці залишилося додати в файл «.htaccess» необхідні команди для редіректу. Для перенаправлення з однієї сторінки на іншу використовується наступна команда:

Redirect 301 /bityj-adres.html http://site.ru/novyi-klassnyi-adres.html

Для кожної адреси підсумковій таблиці потрібно написати таку команду додати файл «.htaccess». На цьому етапі я рекомендую скористатися послугами програміста, щоб все працювало правильно