К постам Опубликовано: 2016-12-23

Як знайти дублі сторінок на сайті

Одна з основних причин, по якій сайт може втрачати позиції і трафік — зростаюча кількість дублів сторінок на сайті. Вони можуть виникати в результаті особливостей роботи CMS (двигуна), бажання отримати максимум трафіку з пошуку за рахунок шаблонного збільшення кількості сторінок на сайті, а також через свідомого чи несвідомого розміщення посилань третіми особами на ваші дублі з інших ресурсів.

Проблема дублів дуже тісно перегукується з проблемою пошуку канонічного адреси сторінки пошукових аналізатором. У ряді випадків робот може визначити канонічний адресу, наприклад, якщо в динамічному URL був змінений порядок параметрів:

?&cat=10&product=25

По суті, це та ж сторінка, що і

?product=25&cat=10

Але в більшості випадків, особливо при використанні ЧПУ, канонічну сторінку визначити складно, тому, повні і часткові дублі потрапляють в індекс.

Що цікаво, для Яндекса дублі не так страшні, і навіть на сторінки результатів пошуку по сайту (які є частковими дублями один одного) він може приносити хороший трафік, але ось Google до дублям відноситься більш критично (із-за боротьби з MFA і шаблонними сайтами).

Основні методи пошуку дублів на сайті

Нижче описані основні методи, за допомогою яких можна швидко знайти дублі сторінок свого сайту. Використовуйте їх періодично.

1. Гугл-вебмастер

Зайдіть в панель Google для вебмастерів. Знайдіть розділ меню «Оптимізація» – «Оптимізація HTML». На цій сторінці можна побачити кількість повторюваних мета-описів і заголовків TITLE.

Як знайти дублі сторінок в панелі Google для вебмайстрів

Таким способом можна знайти повні копії сторінок, але на жаль, не визначити часткові дублі, які мають унікальні, однак, шаблонні заголовки.

2. Програма Xenu

Xenu Link Sleuth — одна з найпопулярніших програм оптимізаторів, яка допомагає проводити технічний аудит сайту і, в тому числі, знаходити повторювані заголовки (якщо, наприклад, у вас немає доступу до Google-Вебмайстру).

Просто перевірте сайт, відсортувати результати за назвою та шукайте візуальні збігу заголовків. При всій зручності, даний спосіб має той недолік — немає можливості знайти часткові дублі сторінок.

3. Пошукова видача

Результати пошуку можуть відобразити не тільки сам сайт, а також якесь відношення пошукової системи до нього. Для пошуку дублів в Google можна скористатися спеціальним запитом.

site:mysite.ru -site:mysite.ru/&

Де складовими є:

site:mysite.ru — показує сторінки сайту mysite.ru, що знаходяться в індексі Google (загальний індекс).

site:mysite.ru/& — показує сторінки сайту mysite.ru, що беруть участь у пошуку (основний індекс).

Таким чином, можна визначити малоінформативні сторінки і часткові дублі, які не беруть участь в пошуку і можуть заважати сторінок основного індексу ранжируватися вище. При пошуку обов'язково клікніть по посиланню «повторити пошук, включивши втрачені результати», якщо результатів було мало, щоб бачити більш об'єктивну картину (див. приклад site:drezex.com.ua -site:drezex.com.ua/&).

Малоінформативні сторінки у видачі Google

Тепер, коли ви знайшли всі дублі сторінок, можете сміливо видаляти, відкоригувавши движок сайту або додавши тег rel=canonical заголовки сторінок.