Optimization 2022: как решить проблемы индексации на любых сайтах

0 49

10-11 ноября 2022 года в Москве состоялась конференция Optimization-2022. В рамках секции, посвященной техническим факторам ранжирования, Захар Федоренко (Rush Agency) рассказал, как решить проблемы индексации в Google на любых сайтах: от 1 до десятков миллионов страниц.

Основные проблемы, связанные с индексацией:

1. Страницы не попадают в индекс, либо этот процесс занимает очень много времени. А если страницы нет в индексе, то она не приносит органический трафик.

2. Крупный сайт, но низкий краулинговый бюджет. Лимит может не позволить роботу проиндексировать нужные страницы.

3. Робот долго узнает об изменениях на проиндексированной когда-то странице. По словам Захара, этот процесс можно ускорить, чтобы роботы в течение четырех дней узнали об изменениях и ранжировали сайт лучше.

Какие ниши страдают больше всего:

  • онлайн-магазины,
  • информационные сайты,
  • сайты услуг,
  • лендинги. Google скептически относится к сайтам, у которых мало страниц, поэтому плохо их индексирует.
  • 3 причины, почему Google не индексирует ваш сайт

    Optimization 2022: как решить проблемы индексации на любых сайтах

    Первая причина. Плохая техническая оптимизация сайта.

    • ненастроенный robots.txt,
    • ненастроенный Sitemap,
    • дубли страниц,
    • не все страницы, которые потенциально могут приносить SEO-трафик, отдают код ответа 200,
    • битые ссылки,
    • отсутствие внутренней перелинковки
    • слабая скорость загрузки сайта.

    Что касается скорости загрузки сайта, то здесь важно правильно поставить техническое задание программисту (ТЗ).

    Как выглядит неправильное ТЗ на улучшение скорости загрузки сайта: сделать скриншоты из PageSpeed и написать программисту, что нужно стремиться к 90.

    Как выглядит правильное ТЗ:

    • Подключить API PageSpeed в софт для сканирования Screaming Frog.
    • Взять несколько основных конкурентов и свой сайт, выделить среди них важные типы страниц (их всего три: главная, страница категорий и карточки товаров, 10 страниц вполне достаточно).
    • Прогнать эти страницы по PageSpeed и внести данные в таблицу Excel, вывести среднее значение. К этому показателю и нужно стремиться.

    Вторая причина. Алгоритмы поисковых систем

    Не всегда алгоритм поисковых систем работает так, как задумано. Бывает, что сайт действительно хороший, полезный, но по какой-то причине алгоритм счел его неполезным.

    Третья причина. Низкое качество страниц

    Захар рекомендует проводить аудит содержания страниц. Для этого нужно открыть ТОП поисковой выдачи в Google или Яндексе и детально просмотреть каждую страницу, абсолютно все блоки, которые есть у вас и у конкурентов. Далее выявить, какие блоки могут реально очень сильно влиять на ранжирование. Например, какой-нибудь онлайн-калькулятор.

    Что дает индексация сайта

    Optimization 2022: как решить проблемы индексации на любых сайтах

    Как диагностировать свой сайт

    Как понять, есть ли у вас проблемы и насколько они серьезные. Сделать это можно разными инструментами, Захар привел пример нескольких из них.

    1. Бесплатный инструмент Google Search Console. В настройках в разделе Индекс – Страницы можно посмотреть страницы, которые просканированы, но пока не проиндексированы.

    Optimization 2022: как решить проблемы индексации на любых сайтах

    Google Search Console обновляется раз в 4 дня. Если вы не хотите ждать, то можно воспользоваться сторонними инструментами. Один из них – это Rush Analytics.

    2. Rush Analytics – инструмент проверки индексации. Позволяет легко проверять, загонять нужные страницы, смотреть динамику, графики, выгружать их в виде Excel и т.д.

    3. Помимо них так же можно использовать другие инструменты, чаще всего: Screaming Frog с дополнительным подключением API, A-Parser, Site Analyzer (это аналог Screaming Frog) либо Key Collector.

    Optimization 2022: как решить проблемы индексации на любых сайтах

    Когда вы определили, что на сайте есть проблема с индексацией, и она довольно серьезная, Захар предлагает способ ее решения.

    Как решить проблему с индексацией

    Проверьте, корректно ли Google отображает сайт

    Бывает, что Google некорректно видит ваш сайт. Это может быть связано с использованием JavaScript, либо проблемами в robots.txt и т.д. В Google Search Console можно ввести URL интересующей страницы и посмотреть, как Google ее видит.

    Проработайте контент на неиндексируемых страницах

    Если страницы не в индексе, то первое, на что стоит обратить внимание – это контент. Сделайте аудит содержания, возможно, действительно он хуже, чем у конкурентов.

    Проработайте структуру сайта и его внутреннюю перелинковку

    Важно настроить внутреннюю перелинковку, т.к. чем она лучше, тем больше вероятность, что страница попадет в индекс. Карта сайта может быть XML, HTML или TXT.

    Проверьте корректность файла robots.txt

    Помимо проверки, индексируется ли страница и не закрыты ли какие-либо категории, нужно посмотреть, не запрещены ли какие-либо изображения, скрипты и прочее.

    Проверьте наличие и корректность sitemap.xml и его доступность в GSC

    Sitemap надо добавлять в Google Search Console. Бывает, что при добавлении сайта GSC показывает, что в нем нет урлов. Причины и решения: 1) низкая скорость загрузки страницы. В этом случае нужно сделать Sitemap статическим, обновлять его не при каждом запросе, а раз в какое-то время, в зависимости от того, насколько крупный сайт, насколько часто в него вносятся изменения. 2) Также рекомендуется добавить в robots.txt ссылку на Sitemap.

    Отправьте адреса нужных страниц через Google Indexing API

    С помощью этого инструмента, по словам спикера, ему удалось проиндексировать за 10 дней более 2,5 млн страниц.

    Читы на индексацию – это Google Indexing API

    Optimization 2022: как решить проблемы индексации на любых сайтах

    Ответы на эти вопросы, а также подробный гайд и скрипты для автоматизации Захар разместил в инструкции. Ее можно скачать по коду, представленному ниже.

    Optimization 2022: как решить проблемы индексации на любых сайтах

    Optimization 2022: как продвигать сайты в Юго-Восточной Азии

    Optimization 2022: Data Driven SEO для роста продаж в eCommerce

    Источник: www.seonews.ru

    Оставьте ответ

    Ваш электронный адрес не будет опубликован.