Технические основы SEO: сканирование, индексирование и ранжирование

Опубликовано: 2021-05-11

Этот пост был первоначально опубликован в мае 2021 г. Последнее обновление: 6 февраля 2022 г.

Сегодня мы поговорим об основах технического SEO. Мы объясним разницу между сканированием, индексированием и ранжированием. Кроме того, мы покажем вам, как использовать внутренние ссылки, ваш файл robots.txt и карту сайта XML, чтобы помочь Google быстрее и эффективнее сканировать и индексировать ваш магазин Shopify.

Обзор

  • Как работает Google: в чем разница между сканированием, индексированием и ранжированием
  • Как создать надежную внутреннюю структуру ссылок
  • Shopify и robots.txt: все, что вам нужно знать
  • Shopify и sitemap.xml: все, что вам нужно знать
  • Отправка карты сайта в Google Search Console: почему это важно и как это сделать [Бонус]
  • Заключение

Как работает Google: в чем разница между сканированием, индексированием и ранжированием

Google выполняет три шага для создания SERP (страниц результатов поисковой системы):

  • Ползание
  • Индексация
  • Рейтинг

Сканирование — это автоматизированный процесс, в ходе которого робот Googlebot обнаруживает новые данные в Интернете, т. е. совершенно новые страницы или обновленные старые страницы.

Как это произошло? Googlebot использует два ресурса для сканирования Интернета:

  • Список URL-адресов из прошлых обходов, т. е. страниц, которые робот Googlebot уже просканировал.
  • карты сайта

Затем Google сканирует все URL-адреса из списка и все URL-адреса, включенные в карты сайта. Примечание. В процессе сканирования Google уделяет особое внимание новым веб-сайтам, обновлениям старых веб-страниц и мертвым ссылкам.

Googlebot может обнаружить новую страницу следующим образом:

  • Переход по ссылке на уже просканированной странице. Например, если вы создадите новую страницу продукта и добавите ссылку на нее на своей главной странице, в следующий раз, когда робот Googlebot будет сканировать вашу домашнюю страницу (страницу, о которой он уже знает), он также будет сканировать вашу новую страницу продукта.
  • Чтение карты сайта, которая была обновлена ​​и содержит ссылку на вновь созданную веб-страницу.

Важный

Для сканирования вашего веб-сайта Google должен иметь доступ к вашим веб-страницам. Это означает, что ваш магазин Shopify не должен быть защищен паролем (поскольку робот Googlebot выходит в Интернет как анонимный пользователь).

Вы можете сделать несколько вещей, чтобы помочь Google быстрее сканировать (т. е. обнаруживать) ваши новые веб-страницы. Например:

  • Создайте сильную внутреннюю ссылочную структуру
  • Создайте файл robots.txt
  • Создайте файл sitemap.xml и отправьте его в Google Search Console.

Мы обсудим каждый из этих шагов более подробно ниже.

Google использует алгоритмы, чтобы определить, какие веб-сайты сканировать, как часто их сканировать и сколько страниц нужно сканировать с каждого веб-сайта. Если вы добавили новую веб-страницу или внесли изменения в существующую, вы можете запросить повторное сканирование — вы можете либо отправить отдельные URL-адреса, либо обновленную версию карты сайта в Google Search Console. Подробнее → Попросите Google повторно просканировать ваши URL-адреса

Имейте в виду, что повторное сканирование может занять до нескольких недель — вы можете использовать отчет о покрытии индекса, чтобы следить за ходом выполнения. Обратите внимание, что нет смысла запрашивать повторное сканирование несколько раз — это не ускорит процесс.

Подводя итог, сканирование — это процесс обнаружения новых данных в Интернете. Индексирование — это процесс категоризации, организации и хранения этих данных в индексе Google.

Что это значит? Как только робот Googlebot обнаруживает новую страницу, он пытается оценить ее содержание и понять, о чем она. Затем он систематизирует и сохраняет эту информацию в огромной базе данных — индексе Google. Индекс Google содержит сотни миллиардов страниц. Это более 100 миллионов гигабайт. Google описывает это как указатель в конце книги: «с записью для каждого слова, встречающегося на каждой веб-странице, которую мы индексируем. Когда мы индексируем веб-страницу, мы добавляем ее к записям для всех слов, которые она содержит». (Источник: Google, как работают алгоритмы поиска)

Короче говоря, когда страница проиндексирована, она может появиться в поисковой выдаче. Совет для профессионалов: используйте отчет об индексировании, чтобы проверить, какие страницы вашего магазина Shopify были проиндексированы, и обнаружить любые проблемы с индексацией.

Если вы считаете, что страница вашего веб-сайта, которая ранее была проиндексирована, больше не отображается в поисковой выдаче, используйте инструмент проверки URL-адресов, чтобы проверить ее статус. Если он больше не индексируется, проверьте наличие проблем с индексированием (например, ошибки 4xx или 5xx). Если есть какие-либо проблемы с индексацией, исправьте их и запросите повторное сканирование.

«Значит, индексирование и ранжирование — это не одно и то же?» — спросите вы.

Ответ - нет." Вот почему: когда Google индексирует страницу, Google просто добавляет ее в поисковую выдачу — она может отображаться на странице 1, странице 101, странице 1001 и т. д. С точки зрения ранжирования, ваша конечная цель — занять первое место в поисковой выдаче. Страница №1 поисковой выдачи.

Итак, что же такое ранжирование?

Основная цель Google — предоставить наиболее релевантные и высококачественные результаты для каждого поискового запроса. Для этого Google должен просмотреть всю информацию в индексе Google и определить, какие результаты лучше всего подходят для поискового запроса. Это происходит каждый раз, когда кто-то использует поиск Google — этот процесс называется ранжированием.

Чтобы найти наиболее релевантные результаты, алгоритмы ранжирования Google учитывают множество факторов. Некоторые из них связаны с пользователем и его запросом:

  • Местоположение пользователя
  • История браузера
  • Настройки браузера
  • Ключевые слова
  • Цель поиска

Другие связаны с вашим сайтом:

  • Экспертиза
  • Актуальность контента
  • Качество контента
  • Свежесть контента
  • Количество обратных ссылок
  • Авторитет домена (DA)
  • Авторитет веб-страницы (PA)
  • Юзабилити
  • И больше

Короче говоря, ранжирование — это процесс упорядочения результатов в поисковой выдаче от наиболее релевантных (отображаемых на первом месте) к наименее релевантным. Чтобы лучше получать наилучшие результаты для каждого запроса (т. е. ранжировать), Google каждый день вносит небольшие корректировки в алгоритм. У них также есть обширные обновления основного алгоритма, которые сильно влияют на поисковую выдачу и затрагивают многие отрасли.

В конечном счете, чем выше рейтинг страницы по поисковому запросу:

  • Чем релевантнее страница поисковому запросу
  • Чем выше его качество (особенно по сравнению с другими результатами в поисковой выдаче)

  • Сканирование — это процесс сканирования Интернета на наличие новых данных (новых веб-страниц и обновленных страниц).
  • Индексация — это процесс организации и хранения этих данных в индексе Google.
  • Ранжирование — это процесс определения позиции каждой веб-страницы в поисковой выдаче по каждому поисковому запросу.

До сих пор мы не упоминали техническое SEO. Поэтому, естественно, вы можете задаться вопросом: «Какое отношение техническое SEO имеет к сканированию, индексированию и ранжированию?»

Ответ: «Все!» Чтобы Google мог сканировать, индексировать и ранжировать ваш магазин Shopify, он должен быть технически оптимизирован.

Вот что вам нужно знать о сканировании с точки зрения технического SEO:

  • Робот Googlebot должен иметь доступ к вашему сайту и сканировать его. Помните, что робот Googlebot выходит в Интернет как анонимный пользователь. Таким образом, ваш магазин Shopify не должен быть защищен паролем. Узнайте, как удалить пароль магазина Shopify
  • У вас должна быть XML-карта сайта — файл, который помогает Google быстрее и эффективнее индексировать ваши новые веб-страницы. Это также помогает Google оценить важность ваших веб-страниц и понять взаимосвязь между различными страницами и ресурсами.
  • У вас должен быть файл robots.txt — простой текстовый файл, который сообщает Google, к каким страницам вашего магазина Shopify он может получить доступ (т. е. индексировать), а какие — нет.
  • У вас должна быть пуленепробиваемая стратегия внутренних ссылок — внутренние ссылки помогают Google перемещаться по вашему сайту и намного быстрее находить новые страницы.
  • В вашем магазине Shopify должна быть неглубокая иерархия страниц, т. е. все важные страницы вашего веб-сайта должны находиться не более чем в трех кликах от вашей домашней страницы. Это оптимизирует ваш краулинговый бюджет (количество страниц, которые Google просматривает на вашем веб-сайте за один раз), т. е. ваш краулинговый бюджет будет распределен между наиболее важными страницами.
  • Ваш веб-сайт должен иметь логическую структуру URL-адресов, которую Google может легко понять и использовать.
  • Ваш магазин Shopify должен иметь интуитивно понятную навигацию.

Вот что вам нужно знать об индексации с точки зрения технического SEO:

  • Вы должны добавить разметку структурированных данных на свои страницы. Помните, что при индексации страницы Google пытается ее понять — разметка структурированных данных упрощает этот процесс. В Shopify вам нужно добавить структурированные данные на свою домашнюю страницу, страницы коллекций, страницы продуктов, страницы блога и страницы статей. Узнайте больше о разметке структурированных данных → Структурированные данные для Shopify: Полное руководство [2022]

Имейте в виду, что с точки зрения индексации все немного больше ориентировано на SEO на странице. Например, другие вещи, которые вы можете сделать, чтобы помочь Google проиндексировать ваш магазин Shopify, включают оптимизацию заголовков и заголовков ваших страниц, создание описательных метатегов, оптимизацию вашего визуального контента, использование текста для передачи вашего сообщения и многое другое.

А когда дело доходит до ранжирования, все становится еще сложнее. Google учитывает техническое состояние вашего веб-сайта, а также его общее состояние SEO (например, удобен ли он для мобильных устройств, содержит ли он свежий и актуальный контент, следуете ли вы Руководству Google для веб-мастеров и т. д.). Технические SEO-факторы, имеющие наибольшее значение для ранжирования, включают скорость страницы, дублированный контент и неработающие ссылки.

В ближайшие месяцы мы обсудим каждую из этих технических тем SEO. Сегодня мы сосредоточимся исключительно на первых шагах, которые необходимо предпринять, чтобы помочь Google просканировать ваш магазин Shopify:

  • Создайте надежную стратегию внутренней перелинковки
  • Иметь безупречный файл robots.txt
  • Иметь безупречную XML-карту сайта

Как создать надежную внутреннюю структуру ссылок

Внутренняя ссылка — это ссылка на веб-странице, которая ведет на другую страницу или ресурс в том же домене.

Внутренние ссылки являются ключевым компонентом архитектуры вашего магазина Shopify и помогают Google лучше понять структуру вашего веб-сайта. В результате надежная внутренняя структура ссылок помогает Google быстрее и эффективнее сканировать и индексировать ваши веб-страницы.

Чтобы создать надежную структуру внутренних ссылок, вы должны сначала понять разницу между двумя типами внутренних ссылок:

  • Внутренние навигационные ссылки — ссылки, которые составляют навигацию вашего магазина Shopify (например, ссылки в вашем главном меню, меню боковой панели, меню верхнего и нижнего колонтитула и т. д.). Они устанавливают иерархию ваших веб-страниц и помогают как вашим покупателям, так и Google ориентироваться в вашем магазине. Кроме того, они передают ссылочный вес, что помогает Google понять, какие страницы являются наиболее важными в вашем магазине. В результате Google может чаще сканировать эти страницы.
  • Контекстные внутренние ссылки — ссылки в основном содержании веб-страницы (например, ссылки на страницы продуктов на странице категорий, ссылки в статьях и описаниях продуктов, ссылки на страницы политики и т. д.). Цель таких ссылок — передать ссылочный вес и помочь Google быстрее находить новые страницы.

Создание пуленепробиваемой внутренней структуры ссылок за 10 шагов

Шаг 1. Убедитесь, что ваши внутренние ссылки доступны для сканирования.

Другими словами:

  • URL-адреса должны быть правильно отформатированы. Shopify позаботится об этом по умолчанию. Тем не менее, вы можете использовать инструмент проверки URL-адресов, чтобы проверить наличие проблем.

Как правило, помните, что чем короче URL-адрес, тем лучше, поэтому избегайте ненужных символов, символов, цифр и слов-заполнителей (например, «и», «а», «и» и т. д.). .

По умолчанию Shopify исключает символы (например, «&», «?», «!») из URL-адресов. Однако он не исключает слова-заполнители (например, «и», «тот», «а» и т. д.). Так что на это следует обратить внимание.

  • Не создавайте внутренние ссылки на страницы, заблокированные вашим файлом robots.txt (без необходимости).
  • Не создавайте внутренние ссылки на страницы с метатегом «no index» (без необходимости).

Примечание. Мы обсудим файл robots.txt и метатег «no index» более подробно ниже.

Шаг 2: Убедитесь, что на вашем сайте нет неработающих внутренних ссылок.

Вы можете использовать инструмент аудита сайта, такой как аудит сайта SEMRush, чтобы просмотреть отчет о внутренних ссылках и обнаружить все неработающие внутренние ссылки. Есть два способа исправить неработающие внутренние ссылки — вы можете либо удалить их, либо заменить другой релевантной (и работающей!) внутренней ссылкой.

Профессиональный совет, чтобы избежать битых внутренних ссылок

Если вы решили изменить URL-адрес страницы, убедитесь, что установлен флажок «Создать перенаправление URL -адреса для старой ссылки → новой ссылки ». В Shopify он отмечен по умолчанию. Тем не менее, это хорошая практика, чтобы перепроверить.

Шаг 3: Удалите все страницы-сироты из вашего магазина Shopify.

Страницы-сироты — это страницы, на которые нет ссылок с какой-либо другой страницы в вашем магазине Shopify. Поскольку робот Googlebot использует ссылки для сканирования Интернета, ему труднее обнаружить страницы-сироты (почти невозможно, если страницы-сироты не включены в вашу карту сайта). Кроме того, ваши клиенты не могут получить доступ к потерянным страницам. Другими словами, они на самом деле не имеют веса для SEO и не приносят вам никакой пользы.

Поэтому важно выяснить, содержит ли ваш сайт такие страницы. Вы можете использовать такой инструмент, как Site Audit от Ahrefs, чтобы проверить наличие потерянных страниц.

Если на вашем веб-сайте есть страницы-сироты, вам необходимо оценить их важность.

  • Если они важны, добавьте ссылки на них на других страницах вашего сайта. Совет для профессионалов: если это страницы с небольшим содержанием, попробуйте найти общие темы и объединить похожие страницы вместе — лучше иметь одну страницу высокого качества, чем несколько некачественных.
  • Если они не важны, просто удалите их.

Шаг 4. Убедитесь, что на вашем веб-сайте имеется иерархия страниц с низкой глубиной.

Во-первых, определите самые важные страницы на вашем сайте.

Как правило, самой важной страницей веб-сайта является его домашняя страница — это страница с наивысшим авторитетом страницы (PA).

В электронной коммерции страницы, которые напрямую влияют на конечный результат, также имеют большое значение. Это страницы ваших категорий и страницы продуктов.

Все эти страницы должны быть правильно связаны между собой. Это происходит, если ваш сайт имеет технически оптимизированную архитектуру сайта.

Самое важное, о чем следует помнить, это то, что важные страницы вашего веб-сайта должны находиться на расстоянии не более трех кликов от вашей домашней страницы (например, домашняя страница > страницы категорий > страницы продуктов). Таким образом, ваша домашняя страница будет передавать больше ссылочного веса на страницы ваших категорий, а ваши страницы категорий будут передавать ссылочный вес на страницы ваших продуктов и т. д. В результате ваши страницы категорий и продуктов будут иметь более высокий рейтинг.

Кроме того, должна быть логическая корреляция между взаимосвязанными страницами. Например, страницы товаров в одной категории должны иметь схожие черты, т. е. в вашей категории «Рубашки» не должно быть брюк.

Примечание: мы обсудим это более подробно в нашей следующей статье, так что следите за обновлениями!

Шаг 5. Используйте внутренние ссылки, чтобы помочь роботу Googlebot быстрее находить новые страницы и повышать их рейтинг.

Допустим, вы только что добавили новую страницу продукта в свой магазин Shopify. Чтобы помочь Google быстрее сканировать и индексировать его, вы можете добавить ссылку на него на свою домашнюю страницу или в сообщение в блоге, которое работает исключительно хорошо. В качестве дополнительного преимущества это передаст ссылочный вес на страницу вашего нового продукта, что означает, что у него будет больше шансов занять более высокое место в поисковой выдаче — конечно, мы все знаем, что это означает: больше видимости и больше возможностей для продаж.

Шаг 6: Используйте рекомендуемые продукты.

Раздел «Рекомендуемые товары» увеличит среднюю стоимость вашего заказа и поможет сделать покупки более привлекательными. Кроме того, это отличная возможность для перелинковки — ссылки в разделе «Рекомендуемые продукты» — это ссылки на страницах ваших продуктов, которые ведут клиентов на страницы других продуктов в вашем магазине Shopify.

В Shopify в разделе «Рекомендуемые продукты» отображается автоматически сгенерированный список рекомендаций по продуктам.

Продукты рекомендуются на основе алгоритма, который прогнозирует наиболее релевантные продукты на основе продукта, с которым взаимодействует покупатель. (Источник: Shopify, Отображение рекомендаций по товарам на страницах товаров)

Алгоритм использует данные о продажах (чтобы определить, какие продукты часто покупают вместе) и описания продуктов (чтобы определить, какие продукты похожи или дополняют друг друга). Алгоритм связывает до десяти похожих продуктов с каждым продуктом и отображает их в порядке релевантности.

Есть определенные ограничения, о которых вам нужно знать. Например, в зависимости от вашего плана Shopify вы можете отображать различные типы рекомендаций по продуктам на страницах своих продуктов. Кроме того, вы не можете настроить алгоритм для исключения определенных продуктов (если только вы не напишете собственный код). Узнать больше → Shopify, Рекомендации по продуктам

Некоторые темы Shopify поддерживают рекомендации по продуктам по умолчанию:

Источник: Shopify, Показать рекомендации по продукту на странице продукта

Кроме того, вы можете создать настраиваемый раздел «Сопутствующие товары» или использовать приложение Shopify, которое поможет отображать сопутствующие товары на страницах ваших товаров. Одним из таких приложений является «Сопутствующие товары», которые также покупаются Globo:

Приложение имеет - рейтинг. У него есть бесплатный план и платная версия, которая стоит 9,90 долларов в месяц (доступна 7-дневная бесплатная пробная версия).

Шаг 7: Помните об анкорном тексте.

Якорный текст важен, потому что он помогает Google понять, о чем связанная страница и имеет ли она отношение к странице, содержащей ссылку.

Анкорный текст ваших внутренних ссылок должен быть релевантным, описательным и конкретным. В лучшем случае он должен содержать ключевые слова.

Как правило, избегайте расплывчатого анкорного текста, такого как «Подробнее» или «Нажмите здесь». Вместо этого сделайте что-то вроде этого: «Подробнее → Внутренняя-ссылка-с-релевантным-и-описательным-якорным-текстом ».

Шаг 8: Избегайте цепочек переадресации.

Цепочка перенаправлений возникает при наличии нескольких перенаправлений между начальным URL-адресом (т. е. запрошенным URL-адресом) и конечным URL-адресом назначения. Например, представьте, что X — это начальный URL-адрес, а Z — конечный URL-адрес. Цепочка перенаправлений будет следующей: URL-адрес X > перенаправляет на URL-адрес Y > перенаправляет на URL-адрес Z. В результате для загрузки URL-адреса Z требуется больше времени.

В общем, вам следует избегать цепочек перенаправлений, потому что они ухудшают работу пользователей. Кроме того, Google затрудняет сканирование вашего веб-сайта. Поэтому Google рекомендует максимально ограничить их.

Как возникают цепочки редиректов?

Допустим, вы меняете URL-адрес страницы и создаете перенаправление на новый URL-адрес. Теперь представьте, что страница уже была перелинкована, и ссылка ведет на старый URL. Когда кто-то нажимает на ссылку, он будет перенаправлен сначала на старый URL-адрес, а затем на новый обновленный.

Цепочка перенаправлений также может возникнуть при установке SSL-сертификата на вашем веб-сайте — в этом случае все старые HTTP-ссылки будут автоматически перенаправлены на новые и безопасные HTTPS-ссылки. Таким образом, когда пользователь нажимает на уже созданную вами ссылку, он сначала будет перенаправлен на HTTP-версию страницы, а затем на HTTPS-версию.

Чтобы свести к минимуму цепочки перенаправлений:

  • Убедитесь, что все внутренние ссылки ведут прямо на действующую страницу.
  • Обновите перенаправления, которые вы реализуете при переходе с HTTP на HTTPS.
  • Избегайте ссылки на URL-адрес, который перенаправляет на другой URL-адрес.
  • Регулярно проверяйте существующие перенаправления и удаляйте все ненужные перенаправления. Вы можете использовать инструмент аудита сайта SEMRush для обнаружения цепочек переадресации и получения рекомендаций по их устранению.

Шаг 9: Не переусердствуйте.

Конечно, взаимосвязи важны. Но есть такая вещь, как «слишком много интерлинков», особенно если они не имеют цели, т.е. если они никак не улучшают качество страницы.

Страница должна содержать разумное количество внутренних ссылок, и все они должны иметь смысл, т. е. для их размещения на странице должна быть логическая причина.

Проще говоря, не создавайте внутренние ссылки просто так.

Бонусный шаг: разработайте контент-стратегию.

Наличие контент-стратегии важно по нескольким причинам:

  • Это хорошо для SEO и помогает ранжироваться по множеству релевантных ключевых слов. Это увеличивает видимость и может помочь вам повысить узнаваемость бренда.
  • Это поможет вам зарекомендовать себя как авторитет в своей нише.
  • Это вызывает доверие клиентов.
  • Это поможет вам сделать покупки более информативными.
  • Это поможет вам представить свои продукты более привлекательным и тщательным образом.
  • Он предлагает массу возможностей для перелинковки.

Итак, как построить сильную контент-стратегию?

Прежде всего, создавайте актуальный и качественный контент. Пишите на темы, которые волнуют вашу целевую аудиторию — решайте их проблемы, отвечайте на их вопросы и т. д.

Во-вторых, создайте тематические кластеры, т. е. придумайте соответствующие темы и создайте пять или десять отдельных сообщений в блоге для каждой темы. Поскольку эти посты будут охватывать разные аспекты одной и той же темы, возможностей для перелинковки будет множество. Кроме того, когда вы опубликуете все посты в блоге из одной серии, вы можете создать основную страницу и связать их между собой — это отличный способ улучшить вашу внутреннюю стратегию перелинковки.

В-третьих, используйте сообщения в своем блоге, чтобы связать страницы вашей категории и продукта (например, в руководствах по подаркам, сообщениях о коллекциях продуктов или запусках продуктов и т. д.). Это поможет Google найти их быстрее, а также улучшит их рейтинг.

Shopify и robots.txt: все, что вам нужно знать

Проще говоря, robots.txt — это простой текстовый файл, который сообщает Google, какие страницы вашего сайта сканировать, а какие нет.

В общем, наличие файла robots.txt не обязательно для SEO. Однако наличие файла robots.txt дает несколько преимуществ, которые нельзя упускать из виду:

  • Он не позволяет роботу Googlebot (и другим сканерам поисковых систем) сканировать и индексировать страницы, содержащие конфиденциальную информацию (например, страницы входа/регистрации, страницы учетной записи и т. д.).
  • Он не позволяет роботу Googlebot сканировать и индексировать страницы и ресурсы, которые не имеют значения для SEO (например, страницы «Спасибо», страницы предварительного просмотра, файлы PDF (например, руководства по продуктам) и т. д.).
  • Он не позволяет роботу Googlebot сканировать страницы с недостаточным содержанием или страницы с дублирующимся содержанием.
  • Это помогает поисковым системам легче находить вашу карту сайта (ваш файл robots.txt содержит ссылку на вашу карту сайта).
  • Это помогает Google сканировать и индексировать ваш сайт быстрее и эффективнее.
  • Он оптимизирует ваш бюджет сканирования (за счет того, что Google не сканирует страницы, которые не должны сканироваться и индексироваться).

Что вам нужно знать о Shopify и robots.txt:

Это файл robots.txt Final Straw — одного из наших любимых магазинов Shopify.

Прежде чем мы пойдем дальше, давайте объясним, что означает каждая директива (то есть каждая строка в файле robots.txt):

  • Директива «User-agent» указывает, для какого сканера предназначены инструкции. Другими словами, если пользовательский агент указан в директиве «User-agent» (например, «User-agent: Googlebot»), этот пользовательский агент (например, «Googlebot») должен следовать инструкциям, но другой агент ( например, «Bingbot» — поисковый робот Bing) следует двигаться дальше и искать более конкретную директиву. Если пользовательский агент не указан (как в случае выше), инструкции должны выполняться всеми роботами поисковых систем (или поисковыми роботами).
  • Директива «Разрешить» применима только для робота Googlebot. Он сообщает роботу Googlebot, что он может получить доступ к определенной веб-странице или вложенной папке, даже если ее родительская страница или вложенная папка могут быть запрещены.
  • Директива «Запретить» сообщает поисковым роботам, какие страницы не сканировать и не индексировать.
  • Директива «Sitemap» указывает роботам поисковых систем на расположение вашей XML-карты сайта.
  • Директива «Host» содержит URL-адрес вашей домашней страницы (т. е. вашего основного домена).

Теперь, когда вы лучше понимаете, как работает robots.txt, вот что вам нужно знать о файлах robots.txt и Shopify:

  • Shopify автоматически создает файл robots.txt.
  • Ваш файл robots.txt находится в корневом каталоге основного доменного имени вашего веб-сайта. Чтобы получить к нему доступ, просто добавьте «/robots.txt» в URL-адрес вашей домашней страницы, например, «https://www.yourshopifystore.com/robots.txt».
  • Ваш файл robots.txt поддерживается Shopify. Это означает, что вы не можете редактировать его содержимое. Однако, если вы не хотите, чтобы Google обращался к определенным страницам, которые не запрещены в вашем файле robots.txt, вы можете скрыть их с помощью метатега «noindex» — строки кода, которая указывает поисковым системам не индексировать определенные страницы. страница. Внедрение метатега «noindex» требует технических знаний, так как вам нужно будет настроить файл макета theme.liquid. Узнайте, как не индексировать определенные страницы → Shopify, Скрытие страницы от поисковых систем

Если вы не разбираетесь в технологиях и не знакомы с Shopify Liquid, лучше всего обратиться к эксперту Shopify и запросить помощь.

Кроме того, вы можете использовать приложение Shopify SEO, такое как Smart SEO — Smart SEO может добавить тег «noindex» на страницу всего одним нажатием кнопки (но об этом позже).

  • Вы можете отслеживать, какие страницы были заблокированы вашим файлом robots.txt, зарегистрировав бесплатную учетную запись Google Search Console.

Не беспокойтесь, если заметите, что ваша страница оформления заказа заблокирована вашим файлом robots.txt — ей не нужно ранжироваться для SEO. Кроме того, не сканируя вашу страницу оформления заказа, роботы поисковых систем имеют больше времени для сканирования более важных страниц вашего веб-сайта (например, вашей домашней страницы, страниц категорий, страниц продуктов, страниц блогов и статей и т. д.).

Однако, если страница, которая напрямую влияет на вашу прибыль (например, страница категории, страница продукта и т. д.), заблокирована вашим файлом robots.txt, вы должны быть обеспокоены. Как правило, вероятность того, что это произойдет, составляет почти 0% (поскольку Shopify автоматически создает и управляет вашим файлом robots.txt). Тем не менее, если это произойдет, обязательно немедленно свяжитесь со службой поддержки Shopify.

Shopify и sitemap.xml: все, что вам нужно знать

Карта сайта в формате XML предоставляет роботу Googlebot (и другим роботам поисковых систем) информацию о веб-страницах и ресурсах (например, мультимедийных файлах, PDF-файлах и т. д.) в вашем магазине Shopify. По сути, это исчерпывающий список наиболее важных страниц и ресурсов вашего сайта. Ваша карта сайта также содержит важную информацию о ваших веб-страницах (например, когда они были изменены в последний раз, сколько изображений они содержат, каково их отношение к другим страницам или ресурсам и т. д.).

Цель карты сайта — помочь Google быстрее и эффективнее сканировать ваш сайт.

Как и в случае с файлами robots.txt, наличие карты сайта не является абсолютно необходимым — Google сможет просканировать ваш сайт без ее помощи (особенно если у вас есть сильная стратегия внутренних ссылок). Однако наличие карты сайта, безусловно, может принести вам пользу. Особенно в следующих случаях:

  • Если у вас большой каталог магазина. Представьте, что вам нужно связать более 1000 (или даже всего 100) страниц продуктов… это невозможно, верно?
  • Если ваш магазин Shopify новый и в нем все еще очень мало обратных и интерлинков.
  • Если ваш магазин Shopify содержит много мультимедийных файлов, таких как видео и изображения.
  • Если вы загружаете много pdf-файлов (например, руководства по продуктам или инструкции).
  • Если вы размещаете много статей.
  • Кроме того, наличие карты сайта означает, что робот Googlebot (и другие сканеры поисковых систем) будет чаще сканировать ваш сайт.

Что вам нужно знать о Shopify и XML-картах сайта:

Это карта сайта Rebel Nell — еще одного из наших любимых магазинов Shopify. Вот как выглядит типичная карта сайта магазина Shopify — есть одна родительская карта сайта, которая ссылается на дополнительные карты сайта (или дочерние карты сайта) для продуктов, коллекций, блогов и страниц. Эта категоризация помогает Google легче ориентироваться и сканировать ваш магазин Shopify.

Каждая из дополнительных карт сайта содержит обширный список страниц. Например, если мы внимательно посмотрим на карту сайта продукта Rebel Nell, мы заметим, что она содержит ссылки на все страницы продуктов Rebel Nell, а также информацию об изображениях, когда страница была изменена в последний раз, как часто страница изменены и многое другое.

Вот что вам нужно знать о файлах sitemap.xml и Shopify:

  • Shopify автоматически создает файл sitemap.xml для вашего магазина. Он содержит ссылки на все ваши продукты, изображения продуктов, страницы, коллекции и сообщения в блогах.

Если вы используете план Basic Shopify, то только основной домен вашего магазина имеет сгенерированный файл карты сайта и может быть обнаружен поисковыми системами. Если вы пользуетесь планом Shopify, Advanced Shopify или Shopify Plus, вы можете использовать функцию международных доменов для создания доменов для конкретного региона или страны. Когда вы используете международные домены, файлы карты сайта создаются для всех ваших доменов. Все ваши домены могут быть обнаружены поисковыми системами, если только они не перенаправляют вас на ваш основной домен. (Источник: Shopify, поиск и отправка карты сайта)

  • Ваша карта сайта находится в корневом каталоге домена вашего магазина Shopify, т. е. вы можете найти ее, добавив «/sitemap.xml» к URL-адресу вашей домашней страницы (например, «https://www.yourshopifystore.com/sitemap. xml"). Примечание. Вы также можете найти расположение своей карты сайта в файле robots.txt — помните, что оно указано в директиве «Sitemap».
  • Shopify автоматически обновляет вашу карту сайта каждый раз, когда вы обновляете свой магазин (например, каждый раз, когда вы добавляете новый продукт или публикуете новую запись в блоге).
  • Вы не можете редактировать карту сайта вручную. Если вы хотите исключить определенную страницу из карты сайта вашего магазина, вы можете сделать это только через Shopify API (через код). К счастью, есть несколько приложений, которые могут помочь вам, если вы не разбираетесь в технологиях. Одним из таких приложений является Smart SEO. Всего одним нажатием кнопки вы можете исключить страницы, которые не хотите отображать в своей карте сайта. Это также добавит к ним тег noindex и исключит их из страницы поиска по сайту.

Обратите внимание на флажки рядом с каждым продуктом: если флажок установлен, статус продукта устанавливается на «Активен». Это означает, что продукт включен в карту сайта. Если вы хотите исключить продукт из своей карты сайта, все, что вам нужно сделать, это снять галочку с флажка.

Smart SEO имеет звездный рейтинг. У него есть бесплатный план и три платных плана. Цены начинаются от 9,99 долларов США в месяц (доступна 7-дневная бесплатная пробная версия).

Теперь, когда вы знаете, что такое файл sitemap.xml и чем он может вам помочь, давайте перейдем к последнему разделу этого руководства — отправке карты сайта в Google Search Console.

Отправка карты сайта в Google Search Console: почему это важно и как это сделать?

Вы можете отправить файл sitemap.xml в Google Search Console в любое время. Это не обязательно — Google сможет найти вашу карту сайта, даже если вы ее не отправите. Но важно, чтобы вы это сделали!

Почему? Потому что отправка вашей карты сайта в Google Search Console поможет роботу Googlebot сканировать и индексировать ваши веб-страницы и ресурсы намного быстрее. Кроме того, отправка вашей карты сайта в Google Search Console улучшит ваш рейтинг, повысит ваши усилия по внутренним ссылкам и, в конечном итоге, расширит ваш охват. Проще говоря, отправив карту сайта, вы получите больше информации и откроете больше возможностей для продаж.

Как отправить карту сайта в Google Search Console:

  • Убедитесь, что ваш веб-сайт не защищен паролем. В противном случае Google не сможет получить доступ к вашей карте сайта. Узнайте, как удалить пароль магазина Shopify
  • Создайте бесплатную учетную запись Google Search Console.
  • Подтвердите свой домен с помощью Google Search Console и подтвердите, что вы являетесь владельцем магазина Shopify. Примечание. Вы не сможете подтвердить свой домен, если ваш веб-сайт защищен паролем.
  • Отправьте файл sitemap.xml в Google Search Console. Выполните шаги, перечисленные здесь → Shopify, поиск и отправка карты сайта

С помощью Smart SEO вы можете легко отправить свою карту сайта в Google, не выполняя ручной процесс использования Search Console. Обратите внимание, что вам по-прежнему потребуется учетная запись Google Search Console с подтвержденным свойством сайта.

Заключение

Сегодня мы говорили о том, как работает поиск. Мы объяснили разницу между сканированием, индексированием и ранжированием, а также то, какое отношение имеет техническое SEO к каждому из этих процессов.

Кроме того, мы показали вам, как помочь Google сканировать и индексировать ваш магазин Shopify быстрее и эффективнее:

  • Создание надежной стратегии внутренней перелинковки
  • Безупречный файл robots.txt
  • Наличие безупречного файла sitemap.xml и отправка его в консоль поиска Google.

Если у вас есть дополнительные вопросы, просто напишите нам строку ниже!

In our next article, we'll focus on website architecture. More specifically, we'll show you how to create a low-depth page hierarchy, a logical URL structure, and intuitive website navigation - these are key steps to building a technically optimized website (and, as you already know, it helps with crawling and indexing as well). So, stay tuned!