Отслеживание изменений на сайтах для быстрого предотвращения возможных падений трафика.

July 14, 2020

Я думаю каждый SEO-специалист попадал в ситуацию, когда на сайте что-то отвалилось, а заметили это уже тогда, когда поисковые системы уже проиндексировали все изменения, или ПС уже успели обойти сайт и в следующий апдейт всё это дело окажется в индексе. Я сам неоднократно оказывался в такой ситуации. А когда на проекте большой трафик, такие моменты могут быть очень опасными.

График под названием «не надо косячить»

Поэтому, со временем я написал скрипт на Python-е, для личного использования, который предназначен для отслеживания изменений на сайтах.

Два раза в сутки запускается парсер, который обходит указанные мной URL. Я выбираю для каждого сайта в среднем от 10 до 50 URL. Скрипт отслеживает ответ сервера каждой страницы, заголовок ответа сервера x-robots-tag (а вдруг), изменения в файлах robots.txt и изменения следующих зон документов:

  • Тег title;
  • Метатег description;
  • Тег h1;
  • Тег canonical;
  • Метатег meta name robots.

В той версии, что я использую сейчас, используется база данных (MongoDB), есть отправка уведомлений в telegram и еще несколько отличий.

Упрощенную версию, которую сможет использовать практически каждый, кто хоть чуть-чуть знаком с Python я выложил по адресу https://github.com/Kataklizmm/SEO_changes_checker. На что способна, читайте в описании на github.

Этот скрипт за последние два месяца уже трижды помогал мне в работе.

Например, в один день, на сайте сломался фильтр по бренду, отвалились все заголовки на брендовых URL и на страницах по стали выводиться товары всех брендов. Скрипт просигналил о изменениях, я быстро передал инфу разработчикам и всё по-быстрому починили. В другой раз, случилась классика — затёрли robots.txt. В какой момент я бы сам заметил эти изменения, без этого скрипта — кто знает, возможно было бы уже поздно.

Поэтому, я настоятельно рекомендую SEO-специалистам пользоваться средствами мониторинга сайтов.

Кстати, недавно Rush Analytics сообщили о запуске своего средства мониторинга изменений на сайте под названием «Мета сканер» — https://www.rush-analytics.ru/land/otslezhivanie-izmenenij-na-sajte-rush-meta-scanner. Сам не пользовался, т.к. пользуюсь собственным решением, но в команде Rush Analytics не сомневаюсь, поэтому рекомендую (не реклама).