Оптимизация страниц пагинации 2021 г.: Актуальные методы

July 6, 2020

Содержание статьи:

Что такое пагинация?

Пагинация, это способ разделения контента сайта на страницы для удобства пользователя.

В том числе страницы пагинации служат для оптимизации ресурсов сервера (загрузить страницу с 30 товарами или 10 статьями значительно проще, чем загружать весь товар или все статьи раздела на страницу.

Какое значение пагинация имеет для SEO-специалиста

Пагинация — это один из инструментов, позволяющий управлять правильной индексацией и сканированием элементов (товаров, статей и тд.) сайта, самих страниц пагинации, а также является одним из способов показать ассортимент сайта пользователю и поисковым системам. Закрывать ли страницы пагинации от индексации?

Об управлении правильной индексацией и сканированием стоит сказать чуть подробнее. Необходимо осознавать, что существуют различные типы сайтов и различные тематики, в которых может (и даже, наверное, должен) использоваться различный подход к оптимизации пагинации. И SEO-специалисту необходимо понимать, почему и зачем стоит использовать тот или иной метод оптимизации. Здесь, в общем-то, нет универсального решения и использовать такой метод потому, что там так написано или потому что так диктует SEO-сообщество не совсем правильно.

Далее стоит упомянуть о паре изменений, которые произошли в алгоритмах поисковых систем относительно недавно.

1. Google больше не интересны rel=”next” и rel=”prev”.

То есть, rel=prev/next ушел в отставку, так как Google и без него на основании других сигналов умеет определять пагинацию на сайтах.

2. Яндекс теперь сравнивает контент на канонических страницах. То есть если указан rel=”canonical” с одной страницы на другую, контент страниц проверяется на идентичность. И при обнаружении значимых различий, неканоническая страница будет проиндексирована. Почитать подробнее можно здесь - "Неканонические страницы в поиске"

Использование метатегов meta name=”robots” content=”noindex, follow”

Этот метатег размещают на всех страницах пагинации кроме первой, тем самым закрывая страницы пагинации от индексации, но разрешая поисковым системам сканировать их и обходить страницы, на которые эти страницы ссылаются.

В 2017 году Джон Мюллер объяснил проблему данного метода. Страницы с meta noindex в долгосрочной перспективе перестают обходиться Google и follow, образно говоря, превращается в nofollow. Подробнее здесь — Google: Long Term Noindex Will Lead To Nofollow On Links

Использование rel=”canonical” с указанием на первую страницу

Это один из методов, который был и возможно будет и далее основным методом оптимизации страниц пагинации под ПС Яндекс.

Сами представители Яндекс всегда говорят, что это оптимальный способ для оптимизации страниц пагинации.

https://yandex.ru/blog/platon/2878

При использовании данного метода мы получаем хороший обход роботами ПС страниц пагинации и ссылок, размещенных на них (нет запретов ни на индексацию, ни на сканирование). Предполагается отсутствие страниц пагинации в индексе (но это не совсем так).

После внесения изменений в алгоритмы Яндекс, страницы пагинации стали попадать в индекс. Т.к. теперь контент между страницами сравнивается, а чаще всего он имеет различия. В итоге страницы индексируются и периодически могут ранжироваться в поиске.

К тому же, из-за этого наблюдаются постоянные “скачки” в индексе:

Это осложняет быстрый анализ индексации ресурса, ведь необходимо отсеивать “мусор” в виде пагинаций.

При таком подходе, используемые SEO-оптимизаторами методы оптимизации контента пагинаций, такие как:

  • оптимизация тегов title пагинации: {тайтл основной страницы или деоптимизированный тайтл основной страницы (срезанный до названия раздела без «купить» и пр.)} + Страница {№}
  • аналогичная оптимизация description, а иногда и h1;
  • удаление текстов со страниц пагинации;
  • внесение др. изменений в контент пагинаций.

Приводят лишь к тому, что алгоритм видит больше различий между страницами, принимает их неканоническими и добавляет пагинацию в индекс.

Казалось бы, чтобы попытаться сократить количество заходов страниц пагинации в индекс, необходимо устранить количество различий между страницами пагинации и основной первой страницей. В итоге, в случае индексации страниц пагинации (они всё равно могут быть проиндексированы, так как сам листинг товаров всё равно разный), мы получим более сильную конкуренцию в ранжировании между страницей пагинации и основной страницей раздела.

Что касается ПС Google. Они всегда говорили, что данный метод неверный.

Блог Google - ошибки употребления canonical

Использование rel=”canonical” с указанием “сама на себя”

(страница ссылается в каноникале сама на себя, так называемый self-referencing canonical)

При использовании данного метода, аналогичным образом все страницы пагинации доступны роботам ПС, ссылки со страниц обходятся. Предполагается нахождение страниц пагинации в индексе.

При использовании данного метода страницы пагинации будут индексироваться, соответственно, оптимизатору будет необходимо предпринять действия для того, чтобы уменьшить возможную конкуренцию между основной страницей и пагинацией. Для этого можно использовать перечисленные в предыдущем блоке методы оптимизации контента страниц пагинации.

Таким образом, “порезав” оптимизацию страниц пагинации, они будут реже конкурировать за ТОП в поисковых системах. При этом стоит заметить, что ранжирование страниц пагинации при использовании такого метода чаще встречается в Яндекс, чем в Google.

В Яндекс использование данного метода приведет к похожей проблеме, как и в предыдущем методе — “скачки” в индексе (они всё равно будут, но меньше). Страницы пагинации периодически будут заходить в индекс и выходить из него, но уже не как «неканонические», а как «недостаточно качественные». Эта проблема так же, как и в предыдущем методе несколько затрудняет анализ индексации страниц сайта.

Для Google данный метод — правильный.

Дополнительно для Google в Google Search Console можно указать:

  • параметр пагинатора;
  • что этот параметр делает;
  • сканировать страницы с этим параметром или нет.

Стоит упомянуть, что при использовании данного метода появляется возможность оптимизировать пагинацию под разные низкочастотные запросы.

Canonical на страницу view_all

Данный метод правильный для Google.

Блог Google - View all pages

Использование данного метода не подходит каждому сайту. Если на странице будет 1000 товаров, то обеспечить её быструю загрузку будет практически невозможно.

Закрытие от индексации и динамическая пагинация, отказ от пагинации

Закрывать пагинацию от индексации можно через robots.txt, через meta noindex. Так же от пагинации можно отказаться вообще, заменив её на динамическую (infinite scroll или бесконечная прокрутка).

Так как закрытие от индексации и динамическая прокрутка равносильны и запрещают индексирование и сканирование (уточнение: для гугл закрытие в роботс не означает запрет на сканирование) страниц пагинации и контента на них, я их объединил в один блок.

В некоторых случаях, запрет на индексирование и сканирование страниц пагинации может быть оправдан, но об этом чуть позже. Так как рассказывать тут об оптимизации больше нечего (нечего оптимизировать, ведь ничего не индексируется и не сканируется), переходим к следующему методу.

Сlean-param для страниц пагинации

(при условии, что пагинация организуется через get-параметры)

Учитывая последние изменения в Яндекс касающиеся тега canonical, появился еще один метод (он и был ранее, просто для оптимизации пагинации не использовался широко) — указание для ПС Яндекс директивы Clean-param в robots.txt.

Особенность данного метода в том, что мы не запрещаем ботам переходить на страницы с параметрами, но и в индекс данные страницы не попадают.

Тут SEO-специалисту необходимо убедиться, что бот совершает переходы по ссылкам, размещенным на страницах с параметрами, иначе использование данной директивы было бы бессмысленным.

Для этого я провёл небольшой эксперимент. Создал тестовый сайт, на котором стоит ссылка на страницу с параметрами, указанными в директиве Clean-param. На этой странице стояла ссылка на другую страницу, которая кстати тоже с таким же параметром.

В итоге Яндекс обошел все страницы сайта. Скриншот ниже:

Эти данные подтверждают, что Яндекс обходит контент, размещенный на страницах с параметрами, закрытыми через Clean-param. Но данный эксперимент не отвечает на вопрос, «а как часто он будет переобходить данные URL?», что очень важно.

Для ответа на вопрос нужен эксперимент с анализом логов сервера:

График изменения количества просканированных страниц пагинации Яндексом после указания в robots.txt директивы Clean-param.

Как видно на графике, Яндекс резко забыл о существовании пагинации на сайте. Т.е. как итог — метод практически равносилен закрытию пагинации от индексации. Мы не запрещаем ботам сканировать страницы, но и желания у него их сканировать тоже не возникает. К примеру за период с 17 по 22 июля Яндекс обошел 3 страницы пагинации.

Как же поступать в итоге?

Быть может я многих расстрою своим ответом, но не существует единого способа оптимизации пагинаций. Придется включать голову и выбирать, экспериментировать (SEO — это всегда эксперимент).

Я лишь продемонстрирую несколько примеров, где так или иначе придется включать голову, а не просто прочитать чей-то гайд и поставив каноникал на первую страницу забыть о пагинации.

  1. Сайты с так называемой фасетной навигацией (перемножение различных свойств фильтров между собой и создание за счет этого большого числа страниц с комбинациями этих фильтров) за счет большого количества посадочных страниц с разными товарами имеют относительно хороший доступ ко всем товарам сайта через эти посадочные страницы. Следовательно, такие сайты могут вообще отказаться от пагинации и использовать бесконечную прокрутку, либо изменять внутреннюю перелинковку пагинатора (об во втором примере) или ограничиться несколькими страницами пагинации даже если на самом деле их больше.
     
  2. Пример с категорийным спросом. В ювелирной тематике основной трафик категорийный (купить кольцо, кольца из красного золота с бриллиантами и пр.). И тут нет большой необходимости в постоянном и хорошем обходе поисковыми ботами карточек товара (потому что на них маленький спрос). Тут тоже может использоваться бесконечная прокрутка, или сокращение количества ссылок на страницы пагинации. Например, известный бренд «Санлайт» и сайт «585золотой» не отказались от пагинации полностью. Там есть всего одна ссылка на следующую страницу пагинации, а не классическая пагинация с большим количеством ссылок.
     
  3. В тематиках, где товарный спрос очень большой, стоит задуматься не только над методом индексации/сканирования страниц пагинации, но и о глубине клика до товаров, размещенных на глубоких страницах пагинации.
    То есть речь о том, чтобы оптимизировать внутреннюю перелинковку пагинатора таким образом, чтобы боты в 2-3 клика могли перейти например сразу с первой на 80 страницу пагинации, при том, что 80-ая страница не последняя. Тут могут использоваться логарифмические пагинации, изменения шага пагинатора и тд. Подробнее стоит почитать в исследовании Audisto — Блог Audisto

ИТОГО:

Далее я приведу кратко все указанные выше методы с их особенностями.
 

  • noindex, follow
    • контент на страницах доступен для сканирования;
    • со временем гугл перестаёт сканировать содержимое;
  • canonical на первую страницу
    • корректно для Яндекс;
    • создает «скачки» в индексе Яндекс;
    • создаёт препятствия для быстрой аналитики индексации сайта;
    • некорректно для Google.
  • canonical сам на себя
    • корректно для Яндекс;
    • корректно для Google;
    • в неопытных руках может привести к усилению конкуренции между страницами в поиске (больше в Яндекс);
    • при необходимости, можно оптимизировать пагинацию под НЧ.
  • canonical на view all
    • корректно для Google;
    • сложно реализуемо на сайтах с большим ассортиментом.
  • закрытие от индексации и динамическая пагинация
    • может применяться, если вы понимаете риски с этим связанные.
  • clean-param в яндекс
    • корректно обрабатывается ПС Яндекс и приводит к отсутствию пагинации в индексе. Страницы и контент на них обходятся роботами ПС, но редко.