К постам Опубликовано: 2017-01-05

Як перевірити індексацію сайту — корисні рекомендації

Питання, пов'язані з індексацією сайтів, — "Як перевірити індексацію сайту? Чому не всі сторінки сайту в індексі? Чому мій сайт так довго індексується?" Їх найбільш часто задають на Довідковому форумі для веб-майстрів.

Індексування — це складний процес занесення інформації про URL і їх вміст в індексні таблиці пошукової системи. На нього впливають різні фактори. Тому точно спрогнозувати дату (час) і кількість проіндексованих сторінок неможливо.

Зазвичай, якщо в Search Sonsole додається інформація про новому сайті дані можуть оновлюватися протягом десяти - двадцяти днів. Раніше цього терміну припускати, що з сайтом щось не так, не варто.

Технічні ресурси Google значні, але розподіл їх для індексування все ж має свої квоти. Повна індексація сторінок сайту не гарантується. Не варто чекати індексації всіх сторінок сайту ще і з такої причини. Ми вже, здається, маємо контент, проіндексований по іншим URL. Чому ми також повинні індексувати ще цю сторінку?
John Mueller,Google Обов'язково перевірте, чи всі важливі і потрібні сторінки сайту можна до індексування і пошуковий бот має до них нормальний доступ. Використовуйте інструмент Google Search Console під назвою "Подивитися як Googlebot". Також перевірте додали в Google Search Console правильну версію сайту.

Можливо ви Search Sonsole підтвердили «неправильну» версію вашого сайту. Вам потрібно додати сайт до Search Sonsole з правильним «http» або «https» протоколом & можливо з «www». Якщо ви додаєте альтернативну версію (наприклад, додавши «http://example.com» коли ваш сайт індексується як «http://www.example.com»), то ми не зможемо показати всі ваші дані. John Mueller,Google Від чого залежить швидкість індексування? Швидкість індексування сайту залежить від багатьох факторів, точні терміни не визначені. Але для значного прискорення додавання сторінок в індекс можна використовувати той же інструмент "Подивитися як Googlebot". У більшості випадків після цього сторінка додається в індекс якщо не миттєво, то дуже швидко. Пам'ятайте для кожного сайту все дуже індивідуально.

Частота відвідувань робота і кількість запитів на один захід визначається автоматично.Індексування може значно сповільнитися, якщо: - знайдені посилання на неіснуючі сторінки (йдуть повторні запити цих сторінок замість сканування інших); - знайдені посилання на сторінки змісту; - занадто довгий відгук сервера (збільшується пауза між запитами і зменшується їх кількість, щоб не створювати зайве навантаження на сервер); - CMS сайту генерує у великій кількості різні посилання на один і той же зміст або на порожні сторінки. Чому сторінку (сайт) виключені з індексу? Перше, що треба перевірити, чи немає помилки в налаштування CMS або у заповненні файлу robots.txt. Іноді через неуважність або з інших причин веб-майстра налаштуваннях CMS сайту забувають відкрити доступ пошуковим роботам. В в результаті коді сторінок сайту з'являється мета-тег: Це означає - не індексувати текст, але переходити по посиланнях. Подібний випадок нещодавно коментував Джон Мюллер (John Mueller). Ваш сайт надає (виконує) x-robots-tag HTTP заголовок значення none — це означає що цей URL не повинна індексуватися.

Ви можете це перевірити, використовуючи "Подивитися як Googlebot" Search Console або використовувати наступну командний рядок(команду):

$ curl --silent -I http://toddnetworks.ie/ | grep -iE "oboy?"X-Robots-Tag: none

Видаливши (прибравши) це (можливо це просто опція Вашої CMS) і ще раз додавши url через "Подивитися як Googlebot" / "відправити в індекс", все має запрацювати як потрібно.

John Mueller,Google Друга причина — порушення авторських прав. Перевірте ваш сайт lumendatabase.org. Третя причина — як не банально, посилальний спам.

Перевірити індексацію сайту можна різними способами, і кожен з них дають різні результати. У зв'язку з цим виникає питання про точність оцінки і на що орієнтуватися. Для цих цілей багато веб-майстри використовують оператор "site:". Але чи можна на нього орієнтуватися? Можна зробити запит "site:". Він показує кількість результатів дуже приблизно. Але коли сторінок на сайті не дуже багато, то можна просто домотать до останньої сторінки і вже всі ці [сторінки — прим.авт.] точно в індексі є, раз видаються. Рінат Сафін, Google У більшості випадків кількість результатів при використанні оператора "site:" майже відповідає значенню проіндексованих сторінок файлу sitemap в Google Search Console. Якщо вам потрібні більш надійні результати, прислухайтеся до думки Андрія Липатцева щодо використання оператора "site:". Орієнтуйтеся на кількість проіндексованих сторінок, зазначене у розділі Статус Індексування [Google Search Console — прим.авт.]. Ті цифри, які Ви наводите, свідчать тільки про кількість проіндексованих сторінок, з числа поміщених у sitemap.