К постам Опубликовано: 2016-12-23

10 способів використовувати robots.txt не за призначенням

Файл robots.txt призначений для роботів, але якщо в нього загляне людина? Ми не відстежуємо статистику, як часто в наш robots.txt дивляться реальні люди, але було б корисно відстежувати і як використовувати увагу цих вебмайстрів. Нижче ви знайдете 10 цікавих ідей, що можна запропонувати цим людям, крім того, що вони шукають.

10 нестандартних способів використовувати файл robots.txt

Цікаві способи використання robots.txt

1. Реклама для вебмайстрів

У robots.txt заглядають в основному вебмастера, чому б не запропонувати їм тут якийсь інструмент або сервіс? Зараз реклама є навіть на 404 сторінках, але от в роботсе її не вистачає.

2. Вакансія

Якщо ви компанія, в якій є вакансія для програміста або оптимізатора, то robots.txt може вам у цьому допомогти :)

Один час компанія "Daily Mail Online" (новинний онлайн-журнал) практикувала подібний метод для пошуку сеошника.

Вакансія в Robots.txt від Daily Mail Online

Зараз те ж саме робить TripAdvisor.

Robots.txt від TripAdvisor

3. Свої контакти

Хочете запропонувати свої послуги за SEO іншим власникам сайтів, які шукають тлумачні приклади robots.txt? На сайті клієнта навряд чи вам дозволять залишити свої контакти, але ось зробити це в robots.txt ви маєте повне право.

4. Брендинг

Бренди використовують будь-які площадки і приводи, щоб підвищити свою популярність. Robots.txt не виняток.

Nike - Just Crawl It!

5. Гумор

Гарне почуття гумору робить світ краще.

User-agent: zombies
Disallow: /brains

6. Арт

У robots.txt можна вставити картинку текстом, і більш того, деякі примудряються вставляти сюди цілі статті.

Арт у файлі robots.txt

Приклади файлів з артом:
http://store.nike.com/robots.txt
http://www.malcolmcoles.co.uk/robots.txt
http://www.maineventsecurity.co.uk/robots.txt
http://www.karlkratz.de/robots.txt

Якщо ви не боїтеся наслідків, то можна додати трохи дорослого контенту :)

Мистецтво для дорослих robots.txt

Для перекладу картинки в текст можна використовувати конвертер http://picascii.com

7. Попередження вебмастера

Іноді добре зробити користь іншим, попередивши про можливі наслідки. :) Наприклад, як зробили тут: http://www.stirmaster.ru/robots.txt

Клієнт не платить за роботу? Є спосіб попередити про це інших :)

8. Інформація для тих, хто хоче спарс сайт

Ті, хто хоче спарс сайт, шукають спершу sitemap в robots.txt. Можна їм нагадати про правила використання сервісу або запропонувати якийсь варіант співпраці. Так роблять великі інформаційні портали.

Інформація для людей-парсерів

9. Посилання на поради

Актуально для seo-блогерів. Можна написати статтю про правильному robots.txt і вставити посилання на неї у своєму роботсе, заразом додавши контакти з коментарем – "допоможу правильно налаштувати індексацію вашого сайту".

10. Інші ідеї

Можна поєднувати все перераховане вище або придумувати нові ідеї використання robots.txt головне розуміти, чи потрібно це і навіщо.