Кейс по использованию Google Indexing API

0 1

Мы знаем, насколько вебмастеров и оптимизаторов волнует проблема индексации страниц в Google, поэтому, увидев этот кейс, не могли пройти мимо. 

Эксперты ANT-TEAM рассказывают пошаговые действия, которые помогли ввести большое количество страниц в индекс с помощью индексатора Google.

Описанный метод подойдет вебмастерам, так как требует доступа к Google Search Console.

Дано: интернет-магазин  с 10 000 страниц в индексе из 70 000. 

Задача: проиндексировать остаток. 

Стандартные методы ускорения индексации

Чтобы поисковые системы индексировали сайт, нужно выполнить несколько условий:

  • оптимизированный качественный контент;
  • микроразметка страниц;
  • настройка заголовков Last Modified;
  • внутренняя перелинковка (в данном случае для ИМ применялись плитки тегов в категориях товаров);
  • стабильный хостинг;
  • оптимизация коммерческих факторов (для Google—  YMYL);
  • правильные robots.txt и sitemap.
  • Все эти способы были применены до середины 2021 года. Вот так изменилась видимость сайта в ПС  Яндекс:

    Кейс по использованию Google Indexing API

    Но, как видим, проделанная работа никак не повлияла на индексацию в ПС Google:

    Кейс по использованию Google Indexing API

    На скриншоте видно, что в индексе Google остаются все те же 10 000 страниц, которые были там изначально.

    Google Indexing API

    В начале сентября 2021 года создано ТЗ программисту на индексатор на основе вот этого поста в Telegram (здесь ссылка на код, инструкция по запуску и дополнительные рекомендации). Можно воспользоваться вот этой обновленной версией.

    Этот индексатор позволяет отправлять в Google сразу по 200 запросов. Но при задаче на индексацию в 60 000 страниц это очень низкий лимит. До начала работы с API надо было настроить аналитику и донастроить индексатор.

    Подготовка к использованию индексатора

    Для запуска нового индексатора создан актуальный список страниц, которые необходимо отправить Google-боту. В этом кейсе использовали такой набор инструментов:

  • парсер — для отправки запросов к реальной выдаче Google;
  • XEvil — для обхода капчи;
  • прокси-ферма — модемы с симками, чтобы снизить количество капч.
  • Результат выглядел так:

    Кейс по использованию Google Indexing API

    На индексацию отправлялись ссылки, где в индексе стоял 0.

    Также надо настроить аналитику, чтобы отслеживать ход индексации через API:

  • список ссылок с датами отправки на индексацию;
  • парсинг и визуализация логов сервера.
  • Чтобы отслеживать, когда ссылка отправлена и когда бот ее посетил, был создан дашборд в Google Data Studio:

    Кейс по использованию Google Indexing API

    Донастройка индексатора

    По умолчанию через Google Indexing API можно отправлять только по 200 ссылок в день. Ознакомиться с квотами и способом увеличения можно в блоге Google.

    Чтобы обойти это ограничение, команда ANT-TEAM.RU  попробовала регистрацию нового аккаунта Google и подключение его к индексатору. Для этого потребовалось изменить исходный код индексатора. Его модификация доступна здесь. Для работы кода в корне необходимо создать папку “json_keys”, куда затем поместить все json-ключи, выданные Google после регистрации новых аккаунтов. 

    Это позволило сразу увеличить квоту. Каждый новый аккаунт добавлял +200 ссылок на отправку в день. Далее индексатор работал с 32 аккаунтами Google, чтобы отправлять в день 6000+ ссылок.

    Кейс по использованию Google Indexing API

    Результаты работы индексатора отображены на скриншоте из Google Search Console:

    Кейс по использованию Google Indexing API

    Результаты использования Google Indexing API

    Основная цель — ввести в индекс Google как можно больше страниц. После запуска массовой отправки ссылок с 32 аккаунтов Google проиндексировал 24 000 страниц за 10 дней:

    Кейс по использованию Google Indexing API

    Вот как изменилась видимость сайта в Google:

    Кейс по использованию Google Indexing API

    Алгоритм по настройке Google Indexing API:

  • создание нового аккаунта Google;
  • активация API;
  • Кейс по использованию Google Indexing API

  • создание проекта;
  • создание сервисного аккаунта:
  • Кейс по использованию Google Indexing API

  • заполнение всех данных, выбор статуса OWNER;
  • в созданном аккаунте перейти в раздел Keys, добавить новый в формате json, сохранить файл ключа в соответствующую папку скрипта;
  • добавить сервисную почту созданного аккаунта в Search Console (Настройки — Пользователи и разрешения).
  • Данный метод позволяет быстро проиндексировать большой объем страниц. Исходная версия кода поможет тем, кто работает с небольшим количеством страниц и вкладывается в стандартную квоту  — 200 ссылок за один день. 

    Этот кейс также доступен в Дзене Миралинкс!

    Источник: blog.miralinks.ru

    Оставьте ответ

    Ваш электронный адрес не будет опубликован.