К постам Опубликовано: 2016-12-23

Навіщо моніторити зміни на сайті і як автоматизувати цей процес

Якщо розглянути причини, за якими сайти різко починають втрачати трафік, то їх можна розділити на 3 основні групи: алгоритмічні, внутрішні і зовнішні. До перших відноситься зміна алгоритмів пошукових систем, на які ми не можемо вплинути. На всі інші причини ми усвідомлено або неусвідомлено впливаємо. І якщо з усвідомленим впливом усе більш-менш зрозуміло, тут все залежить від ступеню обізнаності та розсудливості оптимізатора, то серйозною проблемою є незнання, що там відбувається з сайтом.

Один з прикладів: мій занедбаний сайт зламали і розмістили шкідливий код, що пізніше підтвердили права на домен в панелях для вебмайстрів і загнали в індекс купу спамний сторінок. Дізнався я про це тільки з попередження панелі, коли Google надіслав повідомлення "ви надали доступ до сайту...". Ясна річ, що трафік з пошуку на сайт пропав через зниження довіри. Якщо б я міг швидко відстежити зміни в коді сторінок, то зреагував б оперативніше. В моєму випадку сайт був занедбаний, але у багатьох живих сайтів відбуваються аналогічні ситуації зі зломом і бізнес може терпіти великої шкоди.

Є багато інших прикладів, коли над сайтом працює команда і одна людина з команди не завжди знає, що робить другий. І ще цікавіше, коли всі зміни в коді затираються після оновлення CMS. Так було з моїми знайомими, які більше року не могли випустити нову версію сайту, так як закриті таски переоткрывались після чергових оновлень і виправлень (робили одне, інше ламалося і навпаки). І тут добре, коли в тестовому режимі можна все це дізнатися, але що робити, коли ви вже викотили проект в паблік і через тиждень автоматом в цілях безпеки оновили CMS або якийсь плагін?

Моніторинг змін на сайті

Відповідь очевидна — необхідно моніторити зміни на сайті. Особливо це актуально для великих проектів, і особливо там, де над проектами працює кілька людей. Хоча, я рекомендую всім це робити. Хоча б зрідка, щоб застрахувати себе від різних нещасних випадків. За допомогою моніторингу ви зможете вчасно відреагувати на непотрібні (або злетіли) зміни на сайті, плюс зможете краще розуміти причини змін позицій сайту або його окремих сторінок.

Що саме моніторити?

В ідеалі потрібно моніторити все :) але виникає багато нюансів для сайтів з динамічним контентом, тому краще сконцентрувати увагу на важливих ділянках:

  • Тег TITLE H1
  • Мета-тег description
  • Виділені ділянки контенту
  • HTTP код статусу
  • Файл robots.txt

Корисно буде також відстежувати мета-тег robots і канонічні посилання (rel canonical).

Можна автоматизувати і як?

Постійно відслідковувати зміни вручну це невдячне заняття. Моніторинг необхідно автоматизувати, і дивитися в звіти лише тоді, коли один з відстежуваних параметрів змінюється.

Для автоматизації цього процесу є кілька інструментів. Один з них свіжий, від компанії Mail.ru — SeoSan. Плюси в тому, що сервіс безкоштовний, крім мета-тегів відстежує зміни файлу robots.txt. Мінуси обмеження на кількість сторінок (максимум можна додати 50 сторінок), і ви не можете моніторити сайти, володіння якими не підтвердите. А хотілося б відстежувати зміни і конкурентів у тому числі.

Рекомендований інструмент — Радар від Топвизора. Плюси: необмежена кількість сторінок для моніторингу, імпорт з карти сайту, налаштування частоти перевірок, відстеження змін виділених ділянок контенту, можна відстежувати конкурентів.

Налаштування Радара

Радар це вбудований інструмент Топвизоре. Його можна підключити як для існуючих проектів, так і створити окремий проект, чисто для моніторингу внутрішніх змін (я віддаю перевагу другий варіант).

Як саме налаштувати Радар? Ось невелика інструкція.

Первинні налаштування системи моніторингу сайту

1. Додаєте проект, вибираєте його у списку.

2. Заходьте в інструмент (значок очі в лівому меню).

3. Переходите в "Налаштування", щоб додати сторінки і налаштувати частоту перевірок.

4. В табличці зверху будуть відображатися додані вами адреси, саме вони будуть відслідковуватися. Додайте сюди найбільш пріоритетні сторінки, які ви просуваєте, у тому числі обов'язково додайте технічний файл robots.txt.

5. Якщо ваш сайт https, переконайтеся, що ви вводите саме https-адреси, так як за замовчуванням Топвизор ставить http-префікс.

Імпорт адрес для відстеження з карти

6. Можна додати сторінки прямо з карти сайту (клікніть на випадаючий список, де за замовчуванням написано "Додати url"). Необхідно попередньо завантажити карту. Імпорт можна зробити не всіх сторінок, а тільки потрібних розділів.

Наприклад, якщо потрібно додати всі сторінки розділу /webinars/, то пишемо /webinars/* (зірочка в кінці).

Налаштування перевірок і повідомлень

7. Обов'язково вкажіть, щоб повідомлення приходили на email, інакше сенс всього моніторингу втрачається :)

8. Частоту перевірок краще ставити "Кожен день", ви тільки викотили сайт і розробники правлять баги наживо. В іншому випадку раз на тиждень теж нормально, щоб заощадити на перевірках. Все-таки за кожну перевірку будуть зніматися якісь гроші.

9. Вкажіть email-адреси всіх, хто задіяний у моніторингу.

10. Обов'язково на сайті вкажіть, які ділянки коду отлеживать (наприклад, статичні елементи тексту), інакше в звіт по контенту буде потрапляти багато зайвого. Хоча, при зломі (якщо на сайт додано шкідливий код), при наявності цих тегів ви не дізнаєтеся про коді. Але проблема вирішується створенням двох проектів, в одному з яких відстежується все по регулярному виразу ".*", а в іншому тільки потрібні ділянки тексту.