Яндекс.Вебмастер - важный помощник в Поисковой оптимизации сайта. Сам по себе инструмент достаточно простой и логичный. Представлено множество полезных отчетов, из которых, при разном уровне знаний об оптимизации можно получать различного уровня инсайты, гипотезы и предупреждения об ошибках разного характера.
Данная статья будет своего рода гайдом по этому инструменту для людей разного уровня знаний. Статья будет поделена на 2 части: Инструкция для НЕспециалистов и для SEO-специалистов. Легко найдете нужный вам раздел в навигации по статье.
СОДЕРЖАНИЕ
- Мониторинг проблем или как своевременно реагировать и упреждать потенциальные проблемы на поиске, если вы НЕ специалист;
- Раздел “Индексирование”;
- Раздел “Представление в поиске”;
- Раздел “Ссылки”;
- Разделы “Турбо страницы для контентных сайтов” и “Турбо страницы для интернет-магазинов”;
- Раздел “Инструменты”. На что в нём следует обратить внимание;
- Раздел “Поисковые запросы”;
- Итог по разделу "если вы НЕ специалист";
- Вы SEO-специалист ... раздел в разработке...
Мониторинг проблем или как своевременно реагировать и упреждать потенциальные проблемы на поиске, если вы НЕ специалист
Вы глава компании или вебмастер, не имеющий знаний о SEO. По каким-то причинам прямо сейчас у вас нет SEO-специалиста, но есть сайт с хорошим поисковым трафиком. Вы боитесь потерять этот трафик и хотите хоть как-то самостоятельно контролировать процесс без найма сотрудника.
Большую часть головной боли в этом вопросе снимает Яндекс.Вебмастер (если знать куда смотреть).
Яндекс.Вебмастер хорошо развился в последние годы в этом направлении. Есть предупреждения в разделе диагностики на большое кол-во ошибок в оптимизации, которые могут повлиять на поисковый трафик. Но, конечно же, только этих сообщений в разделе “диагностика” недостаточно.
В данной статье будут рассмотрены все разделы Яндекс Вебмастера, на которые стоит обращать внимание. Объясню почему эти разделы важны или не важны, куда смотреть. Отвечу на вопросы в комментариях, если таковые будут.
С вашего позволения я пропущу разделы “Сводка”, “Качество сайта”, “Диагностика” (там нечего объяснять, откройте разделы и вы сразу поймёте, какой для чего предназначен). И далее буду двигаться не по порядку, а по наиболее часто используемым разделам и более значимым для мониторинга сайта. Сразу поясню, буду двигаться по дереву разделов Вебмастера:
Разделом буду называть разделы верхнего уровня (“Качество сайта”, “Индексирование”), а подразделами, расположенные ниже по уровню отчеты (“Статистика обхода”, “Структура сайта” и др.).
Если вдруг ваш сайт не добавлен в Яндекс.Вебмастер, перейдите по адресу - Яндекс.Вебмастер, залогиньтесь в ваш Яндекс аккаунт и на главной странице нажмите либо на плюсик сверху, либо на кнопку “добавить сайт”.
Раздел “Индексирование”.
Основная задача поиска - собирать информацию о страницах в интернете (т.е. индексировать сайты), чтобы потом показывать их в результатах поиска по поисковым запросам пользователей. Поэтому - это самый важный раздел.
Подраздел “Статистика обхода”.
В разделе 2 отчета, представленных в виде таблиц и графиков.
Первый отчет “Последние изменения” представляет информацию о новых страницах, неизвестных Яндексу раннее, обнаруженных поисковым ботом, а также об изменениях ответа сервера для страниц, уже известных Яндексу. Т.е. если ранее страница была с 200 ответом, а при следующем обходе ЯндексБот получит ответ отличающийся от 200, страница попадет в отчет с указанием даты обхода, статусом ответа до и текущим статусом ответа.
Данные в таблице можно фильтровать, что я и сделал на скриншоте выше. Отфильтрованы страницы содержащие в URL “katalog”.
Кроме того, можно выбрать сегмент URL, по которому вы хотите получить данные:
Второй отчет (график “История обхода” и таблица “Все страницы”) представляют статистику по ответу сервера.
Данные на графике отображаются по датам с кол-вом URL с разными ответами сервера. Каждый ответ сервера помечен своим цветом. Под графиком дана легенда с пояснениями. В таблице представлены данные по конкретной дате, URL и ответам сервера, полученным Яндекс ботом. Данные также можно фильтровать.
Этот подраздел нужно периодически мониторить, чтобы предупредить возможные критические проблемы. Т.к. между сканированием и индексацией есть временной лаг в пару дней, у вас будет возможность быстро устранить возникшую проблему на сайте, добавить страницы в переобход и тем самым избежать потерь в индексе.
На что обращать внимание в этом разделе:
- На неизвестные вам URL;
Неизвестный URL в отчете может говорить о:- взломе сайта. Что делать - бежать к админу/разработчику чтобы устранял последствия взлома и закрывал дыры;
- наличии в базе ПС старых URL на данный момент уже отсутствующих на сайте. Что делать - как правило, ничего делать не надо, просто нужно учитывать, что такие страницы могут быть в базе поиска и не пугаться, если наблюдаете их в отчете;
- Ошибках в фидах/sitemap.xml по которым может бегать бот Яндекса. Что делать - исправлять фиды/sitemap.xml, чтобы они содержали только актуальные ссылки на страницы;
- ошибках при внедрении каких-либо правок на сайт. Что делать - исправлять ошибки;
- размещении на сторонних сайтах ссылок на ваш сайт с неверными URL. Что делать - в зависимости от объема проблемы либо ничего, либо привлечь SEO специалиста для консультации по вопросу;
- На изменения ответа сервера (URL был 200, стал 3хх, 4хх, 5хх);
Если без вашего ведома изменился ответ для важных страниц на сайте, вероятно, с сайтом что-то произошло. Стоит удостовериться, всё ли в порядке с данными URL. - На URL с GET-параметрами и URL, которые вы не хотите индексировать и сканировать.
Этот пункт наверное самый сложный для понимания. Т.к. он завязан на управлении индексированием и сканированием сайта, экономией краулингового бюджета сайта. Суть в том, что страницы не имеющие ценности для ПС и конечного пользователя, как правило, не должны индексироваться и сканироваться. И если вы видите такие страницы в этом отчете, то есть вероятность, что у вас есть недочеты в оптимизации сайта и стоит обратиться за консультацией к специалисту.
Подраздел “Страницы в поиске”
Также очень важный подраздел, который нужно периодически мониторить. Он представляет информацию о добавлении/удалении страниц в поисковый индекс. Данные также представлены в виде графиков и таблиц.
Пойдем по порядку.
График “Новые и удаленные”, таблица “Последние изменения”
Отчет представляет информацию о последних изменениях в поисковом индексе. График по датам указывает количественные данные о добавлении новых страниц и удалении страниц из индекса. Таблица отображает эту же информацию, но с указанием причин добавления/удаления каждой конкретной страницы, также показывает заголовок страниц, дату сканирования, источник сканирования.
Причина добавления/удаления страницы отображается рядом с каждым URL:
Т.к. у каждого статуса есть пояснение (нужно кликнуть на три точки, чтобы увидеть рекомендации по исправлению), я не буду тут расписывать все возможные статусы и решения проблем, Яндекс уже постарался за меня.
Этот отчет очень важен в плане мониторинга проблем. Здесь вы можете следить, чтобы ваши важные URL не удалялись из выдачи. Если это случилось, то вы увидите причину удаления и возможно найдете решение для исправления проблемы.
Говорю “возможно”, потому что для решения части проблем требуется помощь специалиста. Например, частой причиной удаления страниц из индекса бывает статус “Малоценная или маловостребованная страница”. И тут даже SEO-специалист не всегда сходу может решить проблему.
Следующая группа отчетов - график “История”, график “Распределение”, таблица “Все страницы”.
Отчет “История” представляет информацию о количестве страниц в индексе поисковых систем на временной шкале с группировкой по структуре URL. Если регулярно проверять отчеты о “Новых и удаленных страницах”, то эта группа отчетов не принесет вам никакой пользы. Но если вы редко заходите в вебмастер, то следите, чтобы на данном графике не было резких скачков по количеству страниц. Если это произошло, идите в отчет по “Новым и удаленным страницам” и изучайте информацию о причинах удаления или добавления страниц в индекс. Принимайте меры в соответствии с полученными статусами и рекомендациями.
Напомню, что в отчете можно фильтровать данные, в том числе по дате в колонке “обновление”.
Отчет “Распределение” отображает ту же информацию о кол-ве URL с группировкой по структуре URL, но в виде круговой диаграммы.
А таблица “Все страницы” показывает конкретно URL находящиеся в индексе Поисковой системы. Но не все, а последние 50000 URL. Если у вас небольшой сайт, вы сможете выгрузить все страницы сайта, находящиеся в индексе Яндекса. В случае с большим сайтом, когда в индексе более 50000 страниц, вы получите лишь часть информации.
В целом, данный отчет не предназначен для мониторинга сайта. В него вы или SEO специалист будут смотреть при общем анализе сайта или при анализе последствий, обнаруженных в отчете “Последние изменения”. Поэтому повторюсь, если вы часто мониторите отчет о новых страницах, то нет необходимости в мониторинге данного отчета. Иначе, заходите в него тоже.
Следующая группа отчетов - график “Исключенные”, таблица “Исключенные страницы”
Как понятно по названиям отчетов, они говорят о страницах, исключенных из поиска. График группирует страницы по причине исключения, а таблица представляет конкретные данные по каждому URL.
Аналогично с предыдущей группой отчетов, данный подраздел стоит просматривать только в том случае, если вы редко посещаете отчет по “Новым и удаленным страницам”.
Подраздел “Проверить статус URL”.
Тут вы можете получить информацию из базы поиска по вашему URL. Вставляете URL в поле ввода, отправляете запрос и через некоторое время получаете результат. Присутствует ли URL в индексе, известен ли он Яндексу, когда был последний обход и версия от какой даты находится сейчас в поиске.
Подраздел “Мониторинг важных страниц”
Для вас этот отчет - это настоящий подарок Яндекса. Тут вы можете указать важные для вас URL и в случае изменений статуса ответа, удаления страницы из индекса и др., вы получите на почту уведомление. Но уведомление будет получено только после того, как Яндекс обнаружит изменения на данной странице. Стоит учитывать, что временной лаг между происшествием и обнаружением может быть большим.
Подраздел “Переобход страниц”
Раздел предназначен для ручного указания поисковым ботам на необходимость сканирования URL. Сюда можно загружать:
- новые страницы, чтобы они быстрее были просканированы и проиндексированы;
- старые страницы удаленные с сайта, чтобы они быстрее были удалены из индекса;
- страницы которые вы хотите быстро вернуть в поиск, если они были удалены из-за ошибки на сайте;
- страницы, на которые вы внесли изменения и хотите чтобы поиск быстрее их переиндексировал.
Подраздел “Переезд сайта”
Как говорит название раздела, служит для переезда сайта на новый домен. В плане мониторинга раздел не важен. Но стоит отметить, что это в некотором роде “магический раздел”. Он присутствует на сайтах, являющихся главным зеркалом в группе зеркал и отсутствует на неглавных зеркалах (по зеркалам читать тут). Если вдруг у вас в вебмастере отсутствует данный раздел, значит вы добавили в вебмастер не главное зеркало сайта и вместо раздела “Переезд сайта” будет присутствовать раздел “Отклейка зеркал”. В разделе будет подробная инструкция по проблематике.
Подраздел “Заголовки и описания”
Еще один подарок от Яндекса. Покажет вам на наличие дублей страниц по title, description в поисковой базе.
Там даже инструкции и советы имеются:
Наличие дубликатов негативно влияет на ранжирование сайта, старайтесь исправлять указанные в отчете ошибки.
Итог по разделу
С разделом Индексирование закончили. Повторюсь и подытожу, это самый важный раздел в Яндекс.Вебмастере. Подразделы “Статистика обхода”, “Страницы в поиске” наиболее важны для мониторинга состояния сайта. Рекомендую периодически заходить в них, чтобы вовремя исправить возможные проблемы.
Раздел “Представление в поиске”.
Данный раздел отвечает за отображение сайта в поисковой выдаче. В плане мониторинга данный раздел бесполезен, за исключением важного подраздела “Геопривязка”. Мы коротко пройдемся по каждому подразделу.
Подраздел “Сниппеты и ответы”
Объединяет всю информацию, касающуюся отображения сайта в поисковой выдаче. В принципе, там всё достаточно подробно расписано.
Подраздел “Источники данных о товарах и предложениях”
В плане привлечения трафика очень полезен для интернет-магазинов. Я писал про это в посте. Информация о том как добавить сайт в поисковую выдачу тут.
Подраздел “Сводка” напрямую связан с этим разделом. Там отобразится статистика по поиску по товарам.
Подраздел “Быстрые ссылки”
В разделе представлены быстрые ссылки по убыванию “статического веса”. При этом, определение быстрых ссылок – полностью автоматический процесс. Их определяет робот, указать их самостоятельно нельзя. Здесь вы можете только скрыть ненужные быстрые ссылки или поменять анкор для каких-то из них.
Подраздел “Регистр имени сайта”
Если ваш домен состоит из двух и более слов не разделенных “тире”, вы можете визуально выделить домен, чтобы он легче читался в данном разделе. Т.е. например если ваш домен rulonnyeshtory.ru то вы сможете настроить его отображение в поисковой выдаче как RulonnyeShory.ru. При условии, что пройдете модерацию =).
Подраздел “Региональность”
В разделе указаны геопривязки сайта через вебмастер и Яндекс.Бизнес (бывший Яндекс.Справочник). Если вдруг у вас отсутствует или “отвалится” геопривязка, вы увидите это именно в этом разделе, а также в разделе Диагностики. Про региональность читать тут.
Раздел “Ссылки”
На данный момент раздел показывает неактуальную информацию. Он находится в процессе разработки на стороне Яндекс. Поэтому ничего про раздел не буду говорить. Сейчас в нём делать нечего.
Разделы “Турбо страницы для контентных сайтов” и “Турбо страницы для интернет-магазинов”.
Если у вас настроены турбо-страницы, то имеет смысл заглядывать в данные разделы и проверять, что с вашими турбо страницами всё в порядке.
В данных разделах представлена информация для настройки, мониторинга, отладки и диагностики турбо-страниц. Если вы используете турбо-страницы, в данном разделе вы сможете увидеть их количество, наличие ошибок. Оба раздела содержат подраздел “Диагностика”. Можете туда заглядывать изредка, чтобы удостовериться что с вашими турбо-страницами всё хорошо.
Раздел “Инструменты”. На что в нём следует обратить внимание
В разделе есть полезные для вас инструменты, их я и перечислю.
Подраздел “Анализ robots.txt”
Тут следует удостовериться что Яндекс получает файл robots.txt и что в нём нет ошибок.
Ошибки отображаются здесь.
В конце страницы есть поле для проверки, закрыт ли URL в robots.txt. Тоже полезная штука, с помощью которой вы можете удостовериться, что ваш URL открыт или закрыт для сканирования.
Подраздел “Проверка ответа сервера” и “Проверка страницы”
Здесь вы можете удостовериться в том, что ЯндексБот получает верный ответ сервера при запросе URL вашего сайта, а также верный контент (отчет показывает первые 50000 символов полученного html).
Подраздел “Проверка страницы” это недавно добавленный функционал в вебмастер. Вероятно со временем он заменит собой “Проверку ответа сервера”, т.к. в нем присутствует тот же функционал. Кроме того добавлен просмотр всего получаемого контента страницы, скриншот страницы и информация о странице в базе ПС.
Подраздел “Удаление страниц из поиска”
Как понятно из названия, предназначен для удаления страниц из поиска. Подробнее в справке.
Раздел “Поисковые запросы”
В данном разделе представлена статистика по показам сайта на поиске. Имеется статистика по запросам и страницам, а также возможность получить табличные данные по фильтру в отчете “Управление группами”. Информация приходит с запаздыванием примерно в два дня. Поэтому если стоит вопрос мониторинга потенциальных проблем на сайте, данный раздел вам не помощник. Правильнее настроить ежедневный сбор позиций (если ядро большое, то выбрать из него важные маркерные запросы) и мониторить трафик в Яндекс Метрике. Если при падении позиций и/или трафика анализ панели Вебмастера не дает никакой полезной информации, обратитесь к SEO специалисту.
Итог по разделу "если вы НЕ специалист"
Мы разобрали основные отчеты и инструменты необходимые для своевременного реагирования на проблемы. Надеюсь, что в описанной выше информации разберется каждый. Далее будут разобраны более специфические моменты связанные с аналитикой Яндекс Вебмастера.
Вы SEO-специалист и хотите прокачать ваши знания инструмента, хотите получать больше информации из Вебмастера.
Раздел в разработке...