Как проверить индексацию сайта или страницы

Чтобы сайт отображался в поисковой выдаче, система Яндекс или Google должна его проиндексировать. Этот процесс идет автоматически: роботы Googlebot и Яндекс бот анализируют содержание каждой отдельной страницы и, если все в порядке, добавляют ее в свою базу данных. Индексация сайта — один из самых первых шагов в seo оптимизации, поэтому вебмастеру так важно следить за ее результатами. Рассказываем, как идет проверка и что поможет быстрее проиндексироваться.

Что такое индексация и зачем она нужна

Если вебмастер не сделал страницу закрытой, то в какой-то момент ее посещает робот поисковой системы. Яндекс бот и Googlebot анализируют качество контента, скорость загрузки сайта, заспамленность, ищут битые ссылки, изучают файл robots и другие факторы. Итог проверки важен для seo оптимизации: если робот одобрит страницу, она появится в результатах поиска. А это значит, что:

• ваша целевая аудитория сможет попасть на сайт;
• вы сможете привлечь на страницы ресурса органический трафик;
• посещаемость будет увеличиваться, а доверие к сайту — повышаться;
• ваш ресурс будет постепенно подниматься в поисковой выдаче Яндекс и Google и скоро выйдет в топ.

Если же робот по какой-то причине не смог или не захотел проиндексировать страницу — всего этого не случится. Именно индексация сайта в поисковиках открывает пользователю доступ к вашему ресурсу. Но если этот этап не пройден — сайт остается закрытым, страница не ранжируется и не отображается в поиске, инструменты search optimization не работают, конкуренты обгоняют вас, и все действия вебмастера просто не приносят никакого результата. Вот почему важно проверять индексацию сайта в Яндексе и Google: только так вы сможете отслеживать динамику и держать ситуацию под контролем.

Способы проверки индексации сайта

Для успешной оптимизации вебмастеру необходимо знать, прошло индексирование или нет. Даже если поисковый робот уже заходил на сайт, но страницу не одобрил — это тоже важная информация. Видя ошибки на сайте, вы сможете устранить их и повысить качество страницы — тогда в свой следующий обход Googlebot изучит контент заново и проиндексирует страницу. Но как узнать, что поисковая индексация сайта завершена? Есть семь инструментов.

1. Команда site

Команда site — самый быстрый способ проверить индексацию сайта в поисковых системах, причем сделать это можно онлайн прямо в поиске. Откройте Google или Яндекс и введите запрос:

site:ваш_домен

Для сайта example.com, например, запрос будет звучать так:

site:example.com

Если поисковик уже совершил обход — в результатах выдачи автоматически отобразятся все проиндексированные страницы.

Запрос через site даст быстрый результат, но подробностей об индексации вы не узнаете. Этот инструмент не позволяет понять, например, было ли предварительное сканирование и какие страницы посещал робот. Если хотите узнать больше, найти и исправить ошибки — пользуйтесь другими сервисами.

2. Инструменты для вебмастеров: Google Search Console и Яндекс.Вебмастер

Есть две версии проверки: для Google и Яндекс.

В первом случае вам понадобится Google Search Console — программа, в которой хранятся детализированные отчеты об индексации. Console собирает данные о состоянии вашего сайта: здесь вы найдете все о сканировании страниц, о возникших проблемах и ошибках seo оптимизации. Здесь же можно узнать о том, какие меры против вашего сайта предпринял Google и как заново проиндексировать страницу.

Чтобы пользоваться Google Search Console, оператор должен:

• зарегистрироваться в системе;
• подтвердить свое право на сайт и получить доступ к данным Console;
• зайти в отчет об индексации и убедиться, что сайт доступен для сканирования;
• перейти на вкладку «Coverage» («Покрытие») — здесь видна проверка индексации сайта;
• Запустить на Search Console сервис «URL Inspection» для проверки поисковой индексации конкретной страницы.

В системе Search Console есть не только файлы с отчетами для вебмастера. Оператор также может сделать выбранную страницу закрытой, найти угрозу безопасности сайта или сообщить Google о переносе ресурса. Сервис удобный, смотреть данные можно онлайн.

Чтобы узнать подробности об индексации сайта в Яндексе, заходите на Яндекс Вебмастер. Эта система также позволяет оператору посмотреть, было ли проведено сканирование и индексирование. Чтобы запустить проверку, действуйте по алгоритму:

• зарегистрируйтесь на Яндекс Вебмастер;
• официально подтвердите право владения сайтом;
• пройдите по пути: Индексация сайта в поиске — Страница в поиске.
• откройте список URL, которые робот уже успел автоматически проиндексировать;
• если хотите запустить индексирование конкретной страницы, используйте инструмент Проверка URL.

Яндекс, как и Google Search Console, позволяет оператору не только проверить индексацию сайта. Здесь есть много дополнительных возможностей: можно отслеживать динамику изменений, видеть список проверенных URL, делать проверку по запросу. Оба сервиса — и Google Search Console, и Яндекс Вебмастер — полезны для seo. Их главное преимущество — доступ онлайн: не нужно устанавливать плагин или расширение, чтобы посмотреть отчет.

3. Проверка индексации через файл robots

Файл robots создается специально для поисковых систем. В нем содержится вся информация о сайте, которая понадобится роботам во время обхода. По сути, это список со ссылками: здесь перечисляются URL, которые нужно анализировать и проиндексировать. Если файл robots закрытый, битый или его вообще нет — индексация попросту не запустится. Чтобы сайт мог ранжироваться среди конкурентов, нужно открыть файл robots.

Пример страницы открытой для индексации

Пример страницы закрытой для индексации

1. Откройте URL ваш_домен/robots.txt в Яндекс или Google.
2. Изучите файл. Проверьте, есть ли у Яндекс бота и Googlebot доступ к сайтмап.
3. Убедитесь, что в robots нет прямого запрета на индексацию (запрет прописывается через директиву Disallow).

Если обнаружили проблемы — исправьте их сразу. Индексирование не проводится, если в robots есть ошибки.

Стоит понимать, что проверка через robots далеко не так информативна, как через Google Search Console, например. Если Console или Яндекс Вебмастер отображают ошибки, то в robots можно посмотреть лишь самое основное: доступ к сайтмап, список URL для Googlebot и разрешение на индексирование. Тут вы не увидите заспамленность, битые ссылки, не сможете отследить динамику. Чтобы анализировать качество продвижения, вам нужен не robots, а инструменты вроде букмарклет, Search Console или Screaming Frog.

4. Sitemap

Sitemap — это карта сайта, которую оператор может редактировать из админки. Когда идет индексирование, боты смотрят в этот список ссылок и начинают обход сайта по порядку. Если какой-то URL в sitemap оказывается битым (или вообще отсутствует), бот засчитывает это как ошибку. Больше проблемных ссылок в sitemap — выше риск подпасть под санкции поисковиков. Сайт даже могут заблокировать, и он не попадет в выдачу.

Чтобы избежать блокировки, сначала создайте sitemap в формате XML и разместите на ваш_домен/sitemap.xml. Карту необходимо отправить в Google Search Console и Яндекс.Вебмастер — Яндекс- и Googlebot обработают ее и будут учитывать при последующем индексировании.

5. Ручной поиск

Самый монотонный формат проверки. Чтобы понять, прошла ли индексация для конкретного URL, сделайте запрос. Если поисковики уже обработали страницу, она отобразится в выдаче, если проверка не прошла, то результата не будет.

Этот способ подойдет для небольшого сайта вроде визитки. Но анализировать так индекс интернет-магазина — утомительный и неэффективный процесс. Для многостраничных ресурсов куда лучше подойдет, например, букмарклет, сервис Indexing API или платные расширения.

6. Плагины, расширения и онлайн сервисы

Существует множество инструментов и расширений, позволяющих анализировать качество индексации. Некоторые версии можно установить непосредственно в браузере, другие оператор должен подключать из админки.

У каждого мастера — свои любимые инструменты для отслеживания динамики, так что рекомендовать какие-то утилиты можно только с известной долей субъективности. Здесь мы расскажем о самых известных некоммерческих и коммерческих плагинах.

• SEMrush. Это комплексный инструмент для мониторинга данных, в том числе для проверки индекса сайта и его позиции в выдаче.
• Screaming Frog SEO Spider. Десктопное приложение для Яндекс и Google индексации сайта. Инструмент позволяет анализировать качество продвижения, видеть число редиректов, результаты выдачи и проводить полномасштабный аудит сайта.
• Google Indexing API от корпорации Google. С его помощью оператор может узнать, когда в последний раз проходила индексация, и получить информацию по каждой конкретной странице и количеству редиректов. Кроме того, Indexing API позволяет отправлять запрос на переиндексацию и на удаление из индекса. В день можно проверять до 200 запросов, но при подключении JobPosting-разметки квота проверок в Indexing API увеличивается.
• Букмарклет. Принцип работы букмарклет несколько отличается от Indexing API. Разница в том, что вы не формируете пакетные запросы на проверку, а каждую страницу анализируете отдельно. Открывайте файл с проверкой индексации, отправляете на панель закладок ссылку и нажимайте на закладку. В новой вкладке появятся результаты индексации.

Индексация страниц сайта это сложный процесс, так что одной версией плагина для ее проверки не обойтись. Чтобы отследить динамику, собрать достоверные данные и сделать корректные выводы, нужен не один и не два ресурса. А для подробного анализа порой приходится устанавливать дополнительные коммерческие расширения. Только комплексный подход позволит вам понять, насколько хорошо индексируется сайт.

7. Логи

Когда боты заходят на ваш сайт через поиски, это сразу отображается в логах. Чтобы понять, был ли на страницах Googlebot и Яндекс бот, нужно смотреть записи. По этим логам вы сможете составить себе список посещенных URL, но вряд ли поймете, успешно ли прошла индексация. Чтобы получить подробный отчет, пользуйтесь более информативными методами анализа.

Почему сайт может не индексироваться?

Версий много. Точно на этот вопрос можно ответить только после изучения данных от поисковиков и полномасштабного аудита. Мы расскажем о самых распространенных ошибках, из-за которых страница опускается в выдаче и индекс падает.

1. Слишком большое количество редиректов. Сам по себе редирект не так страшен, но если перенаправлений слишком много — Яндекс и Google перестают доверять сайту. Чтобы индекс не снижался, аккуратно настраивайте редирект.
2. Метатеги noindex. Тег noindex показывает, что страница не должна индексироваться. Иногда noindex добавляют в код по ошибке, иногда просто забывают удалить. Решение простое: убрать ненужные теги noindex со страницы.
3. Ошибки в robots.txt. Частая проблема — директива Disallow, которая запрещает ботам поиск сайта. Она работает примерно так же, как и тег noindex, только проблема на этот раз не в коде, а в файле. Удалите Disallow и убедитесь, что вы не заблокировали поисковикам доступ.
4. Качество контента. Google и Яндекс не пропускают на вершину поиска страницы со спамом, плагиатом и бесполезным для пользователя текстом. Единственное решение — поднять уникальность и разместить качественный контент.
5. Технические ошибки на сайте, затрудняющие поиск. Из-за проблем с кодом или сервером сайт остается закрытым от поисковиков. Точно так же мешают индексации ошибки 404 и 500, большое количество битых ссылок, редиректов, разные версии одной страницы и пр. От проблем не застрахован никто, поэтому необходимо регулярно проверять сайт и устранять недочеты.
6. Cannonical. В норме canonical используется для борьбы с дубликатами страниц: этот тег указывает ботам Яндекса и Google на предпочитаемую страницу для индексации. Но нужно смотреть за тем, чтобы cannonical не запутал поисковые системы. Если при сканировании бот увидит тег canonical в ссылке неканонической страницы, он посчитает основной именно ее. А если контент здесь будет некачественный — бот просто не пропустит сайт в выдачу. Чтобы индекс не снижался, отслеживайте все теги canonical в адресах и удаляйте их там, где они не нужны.

Сайт — сложная и многогранная система, которая к тому же постоянно обновляется. Избежать недочетов вряд ли получится, но их нужно планомерно отыскивать и устранять. Регулярный аудит сайта, отслеживание его динамики в Google и Яндекс и систематическая проверка индексации позволят занять и удержать высокие позиции в поиске.

Оптимизация сайта для лучшей индексации: структура, содержание и метаданные

Оптимизация структуры сайта играет ключевую роль в индексации. Чем меньше ошибок и чем логичнее структура сайта, тем проще ботам сканировать страницы. Индекс доверия к качественному сервису всегда будет выше — соответственно, он быстро выйдет в топ выдачи. Как быстро наилучших результатов? Вот несколько моментов, на которые стоит обратить внимание.

1. Логичная структура сайта и пагинация. Это удобно и для пользователей, и для ботов. Проработайте сайтмап, структурируйте информацию, сделайте пагинацию и распределите большой объем данных по нескольким страницам.
2. Мобильная адаптация сайта. Поисковики учитывают ее при индексации и поднимают рейтинг ресурсам с адаптивным дизайном. Если хотите понять, как ваш сайт отображается на мобильных устройствах, можете посмотреть на него через Google Mobile-Friendly Test.
3. Alt-теги для изображений. Боты не могут смотреть на картинку так, как это делают люди, они лишь считывают информацию. Вот почему Alt важны для индекса: они позволяют поисковикам быстро понять, что изображено на картинке, а это заметно ускоряет индексацию.
4. Страницы. Закрытыми должны быть только те страницы, которые вы действительно не хотите показывать. Прячьте неканонические URL, а на основных проставляйте тег canonical. Это облегчает индексацию ботам Яндекса и Google.
5. Внутренняя перелинковка на сайте. Она тоже влияет на индекс: так ботам проще смотреть контент и распределять PageRank. Связывайте релевантные страницы и не давайте ссылки на закрытый.
6. Уникальный контент. Во-первых, уникальную информацию интересно читать и смотреть вашей целевой аудитории. Во-вторых, поисковые боты оценивают такой контент выше.
7. XML-карта. Она упрощает ботам системы поиск страниц и выдает им полный перечень адресов для индексации.
8. Скорость загрузки. Чем она выше, тем быстрее пройдет индексация.

От всех этих факторов напрямую зависит краулинговый бюджет. Это лимит проверки страниц сайта за один визит, который устанавливает Google. Чем меньше дублей, ошибок, мусорных страниц, чем быстрее загружается сайт, тем выше краулинговый бюджет и тем быстрее идет индексация. Избавляясь от ошибок, вы наращиваете бюджет и повышаете индекс доверия.

Заключение

Индексация — непрерывный процесс. Ресурс меняется, в нем появляются новые страницы, информация обновляется и корректируется, добавляются новые сведения… А поисковые боты снова и снова возвращаются на сайт, чтобы проанализировать эту динамику и при необходимости скорректировать индекс. Вот почему вебмастер должен постоянно смотреть на работу сайта и отслеживать его индексацию. От индекса напрямую зависят позиции ресурса в поиске. Если вам важно опережать конкурентов и приносить пользу своей целевой аудитории — регулярно проводите аудит сайта и следите за динамикой его индексации.