Я думаю каждый SEO-специалист попадал в ситуацию, когда на сайте что-то отвалилось, а заметили это уже тогда, когда поисковые системы уже проиндексировали все изменения, или ПС уже успели обойти сайт и в следующий апдейт всё это дело окажется в индексе. Я сам неоднократно оказывался в такой ситуации. А когда на проекте большой трафик, такие моменты могут быть очень опасными.
График под названием «не надо косячить»
Поэтому, со временем я написал скрипт на Python-е, для личного использования, который предназначен для отслеживания изменений на сайтах.
Два раза в сутки запускается парсер, который обходит указанные мной URL. Я выбираю для каждого сайта в среднем от 10 до 50 URL. Скрипт отслеживает ответ сервера каждой страницы, заголовок ответа сервера x-robots-tag (а вдруг), изменения в файлах robots.txt и изменения следующих зон документов:
- Тег title;
- Метатег description;
- Тег h1;
- Тег canonical;
- Метатег meta name robots.
В той версии, что я использую сейчас, используется база данных (MongoDB), есть отправка уведомлений в telegram и еще несколько отличий.
Упрощенную версию, которую сможет использовать практически каждый, кто хоть чуть-чуть знаком с Python я выложил по адресу https://github.com/Kataklizmm/SEO_changes_checker. На что способна, читайте в описании на github.
Этот скрипт за последние два месяца уже трижды помогал мне в работе.
Например, в один день, на сайте сломался фильтр по бренду, отвалились все заголовки на брендовых URL и на страницах по стали выводиться товары всех брендов. Скрипт просигналил о изменениях, я быстро передал инфу разработчикам и всё по-быстрому починили. В другой раз, случилась классика — затёрли robots.txt. В какой момент я бы сам заметил эти изменения, без этого скрипта — кто знает, возможно было бы уже поздно.
Поэтому, я настоятельно рекомендую SEO-специалистам пользоваться средствами мониторинга сайтов.
Кстати, недавно Rush Analytics сообщили о запуске своего средства мониторинга изменений на сайте под названием «Мета сканер» — https://www.rush-analytics.ru/land/otslezhivanie-izmenenij-na-sajte-rush-meta-scanner. Сам не пользовался, т.к. пользуюсь собственным решением, но в команде Rush Analytics не сомневаюсь, поэтому рекомендую (не реклама).