Понимание и решение проблемы «Обнаружено — в настоящее время не проиндексировано»

Если вы видите «Обнаружено — в настоящее время не проиндексировано» в Google Search Console, это означает, что Google знает об URL-адресе, но еще не просканировал и не проиндексировал его.

Это не обязательно означает, что страница никогда не будет обработана. Как говорится в их документации, они могут вернуться к этому позже без каких-либо дополнительных усилий с вашей стороны.

Но другие факторы могут мешать Google сканировать и индексировать страницу, в том числе:

• Проблемы с сервером и технические проблемы на месте, ограничивающие или препятствующие возможностям сканирования Google.
• Проблемы, связанные с самой страницей, такие как качество.

Вы также можете использовать Google Search Console Inspection API, чтобы массово ставить URL-адреса в очередь на их статус coverageState (а также другие полезные точки данных).

Запросить индексацию через Google Search Console

Это очевидное решение, и в большинстве случаев оно решит проблему.

Иногда Google просто медленно сканирует новые URL-адреса — такое случается. Но в других случаях виновниками являются основные проблемы.

Когда вы запрашиваете индексацию, может произойти одно из двух:

• URL-адрес становится «Просканировано — в настоящее время не проиндексировано».
• Временная индексация

Оба являются симптомами основных проблем.

Второе происходит из-за того, что запрос на индексацию иногда дает вашему URL-адресу временное «повышение свежести», которое может поднять URL-адрес выше необходимого порога качества и, в свою очередь, привести к временному индексированию.

Проблемы с качеством страницы

Здесь словарный запас может запутаться. Меня спрашивали: «Как Google может определить качество страницы, если она еще не просканирована?»

Это хороший вопрос, и ответ таков, что не может.

Google делает предположение о качестве страницы на основе других страниц в домене. Их классификации также основаны на шаблонах URL и архитектуре веб-сайта.

В результате перемещение этих страниц из «осведомленности» в очередь сканирования может быть лишено приоритета из-за низкого качества, которое они обнаружили на аналогичных страницах.

Возможно, что страницы с похожими шаблонами URL или страницы, расположенные в аналогичных областях архитектуры сайта, имеют более низкую ценность по сравнению с другими элементами контента, ориентированными на те же намерения пользователей и ключевые слова.

Возможные причины включают в себя:

• Глубина основного содержания.
• Презентация.
• Уровень поддерживающего контента.
• Уникальность содержания и предлагаемых точек зрения.
• Или еще более манипулятивные проблемы (например, контент низкого качества, автоматически сгенерированный, раскрученный или напрямую дублирующий уже установленный контент).

Работа над улучшением качества контента в кластере сайтов и на отдельных страницах может положительно сказаться на возрождении интереса Google к более целенаправленному сканированию вашего контента.

Вы также можете не индексировать другие страницы веб-сайта, которые, по вашему мнению, не самого высокого качества, чтобы улучшить соотношение качественных и некачественных страниц на сайте.

Бюджет сканирования и эффективность

Краулинговый бюджет — часто неправильно понимаемый механизм в SEO.

Большинству веб-сайтов не нужно беспокоиться об этом. На самом деле, Гэри Иллис из Google официально заявил, что, вероятно, 90% веб-сайтов не должны думать о краулинговом бюджете. Это часто рассматривается как проблема для корпоративных веб-сайтов.

С другой стороны, эффективность сканирования может повлиять на веб-сайты любого размера. Игнорирование этого может привести к проблемам с тем, как Google сканирует и обрабатывает веб-сайт.

Для иллюстрации, если ваш веб-сайт:

• Дублирует URL-адреса с параметрами.
• Разрешается с завершающей косой чертой и без нее.
• Доступен по HTTP и HTTPS.
• Обслуживает контент из нескольких поддоменов (например, https://website.com и https://www.website.com).

…тогда у вас могут быть проблемы с дублированием, которые влияют на предположения Google о приоритете сканирования, основанные на более широких предположениях о сайте.

Возможно, вы расходуете краулинговый бюджет Google на ненужные URL-адреса и запросы. Учитывая, что робот Googlebot сканирует веб-сайты по частям, это может привести к тому, что ресурсы Google будут недостаточно интенсивными, чтобы обнаруживать все недавно опубликованные URL-адреса так быстро, как вам хотелось бы.

Вы хотите регулярно сканировать свой веб-сайт и убедиться, что:

• Страницы разрешаются в один поддомен (по желанию).
• Страницы разрешаются в один HTTP-протокол.
• URL-адреса с параметрами канонизируются в корень (по желанию).
• Внутренние ссылки не используют перенаправления без необходимости.

Если на вашем веб-сайте используются такие параметры, как фильтры продуктов электронной торговли, вы можете ограничить сканирование этих путей URI, запретив их в файле robots.txt.

Ваш сервер также может играть важную роль в том, как Google распределяет бюджет для сканирования вашего веб-сайта.

Если ваш сервер перегружен и отвечает слишком медленно, могут возникнуть проблемы со сканированием. В этом случае робот Googlebot не сможет получить доступ к странице, в результате чего часть вашего контента не будет просканирована.

Следовательно, Google попытается вернуться позже, чтобы проиндексировать веб-сайт, но это, несомненно, вызовет задержку всего процесса.

Внутренняя перелинковка

Когда у вас есть веб-сайт, важно иметь внутренние ссылки с одной страницы на другую.

Google обычно уделяет меньше внимания URL-адресам, которые не содержат внутренних ссылок или их достаточно, и может даже исключить их из своего индекса.

Вы можете проверить количество внутренних ссылок на страницы с помощью поисковых роботов, таких как Screaming Frog и Sitebulb.

Организованная и логичная структура веб-сайта с внутренними ссылками — лучший способ оптимизировать ваш веб-сайт.

Но если у вас возникли проблемы с этим, один из способов убедиться, что все ваши внутренние страницы подключены, — это «взломать» глубину сканирования с помощью карт сайта в формате HTML.

Они предназначены для пользователей, а не для машин. Хотя сейчас они могут рассматриваться как реликвии, они все еще могут быть полезны.

Кроме того, если на вашем веб-сайте много URL-адресов, целесообразно разделить их на несколько страниц. Вы не хотите, чтобы все они были связаны с одной страницы.

Внутренние ссылки также должны использовать тег <a> для внутренних ссылок вместо того, чтобы полагаться на функции JavaScript, такие как onClick() .

Если вы используете фреймворк Jamstack или JavaScript, узнайте, как он или любые связанные с ним библиотеки обрабатывают внутренние ссылки. Они должны быть представлены в виде тегов <a>.