기술적 SEO 기본 사항: 크롤링, 인덱싱 및 순위 지정

오늘은 기술적인 SEO의 기본에 대해 이야기하겠습니다. 크롤링, 인덱싱 및 순위 지정의 차이점을 설명합니다. 또한 내부 링크, robots.txt 파일 및 XML 사이트맵을 활용하여 Google이 Shopify 스토어를 더 빠르고 효율적으로 크롤링하고 인덱싱하는 방법을 보여줍니다.

개요

• Google 작동 방식: 크롤링, 인덱싱 및 순위 지정의 차이점은 무엇입니까?
• 강력한 내부 연결 구조를 만드는 방법
• Shopify 및 robots.txt: 알아야 할 모든 것
• Shopify 및 sitemap.xml: 알아야 할 모든 것
• Google Search Console에 사이트맵 제출: 중요한 이유 및 수행 방법 [보너스]
• 결론

Google 작동 방식: 크롤링, 인덱싱 및 순위 지정의 차이점은 무엇입니까?

크롤링 은 Googlebot이 웹에서 새로운 데이터(예: 새로운 페이지 또는 업데이트된 이전 페이지)를 발견하는 자동화된 프로세스입니다.

어떻게 이런 일이 발생합니까? Googlebot은 두 가지 리소스를 사용하여 웹을 크롤링합니다.

• 과거 크롤링의 URL 목록(예: Googlebot이 이미 크롤링한 페이지)
• 사이트맵

그런 다음 Google은 목록의 모든 URL과 사이트맵에 포함된 모든 URL을 크롤링합니다. 참고: 크롤링 프로세스 중에 Google은 새 웹사이트, 이전 웹페이지에 대한 업데이트 및 죽은 링크에 각별한 주의를 기울입니다.

Googlebot은 다음을 통해 새 페이지를 검색할 수 있습니다.

• 이미 크롤링된 페이지의 링크를 따라갑니다. 예를 들어 새 제품 페이지를 만들고 홈페이지에 링크를 추가하면 다음에 Googlebot이 홈페이지(이미 알고 있는 페이지)를 크롤링할 때 새 제품 페이지도 크롤링합니다.
• 업데이트되고 새로 생성된 웹 페이지에 대한 링크가 포함된 사이트맵 읽기.

Google이 새 웹페이지를 더 빠르게 크롤링(즉, 검색)할 수 있도록 여러 가지 작업을 수행할 수 있습니다. 예를 들어:

• 강력한 내부 연결 구조 만들기
• robots.txt 파일 만들기
• sitemap.xml 파일을 만들어 Google Search Console에 제출

아래에서 이러한 각 단계에 대해 자세히 설명합니다.

요약하자면, 크롤링 은 웹에서 새로운 데이터를 발견하는 과정입니다. 색인 생성 은 이 데이터를 Google 색인에 분류, 구성 및 저장하는 프로세스입니다.

이것은 무엇을 의미 하는가? Googlebot이 새 페이지를 발견하면 콘텐츠를 평가하고 내용을 이해하려고 합니다. 그런 다음 이 정보를 구성하고 거대한 데이터베이스인 Google 색인에 저장합니다. Google 색인에는 수천억 페이지가 포함되어 있습니다. 1억 기가바이트가 넘습니다. Google은 이를 책 뒷면의 색인으로 설명합니다. "우리가 색인을 생성하는 모든 웹페이지에서 볼 수 있는 모든 단어에 대한 항목이 있습니다. 웹페이지를 색인화할 때 웹페이지에 포함된 모든 단어에 대한 항목에 해당 항목을 추가합니다." (출처: Google, 검색 알고리즘 작동 방식)

간단히 말해서 페이지가 인덱싱되면 SERP에 나타날 수 있습니다. 전문가 팁: 색인 범위 보고서를 사용하여 Shopify 스토어에서 색인이 생성된 페이지를 확인하고 색인 문제를 감지하십시오.

"그러면 인덱싱과 순위 지정은 같은 것이 아닌가요?"라고 물을 수 있습니다.

내 대답은 아니오 야." 이유는 다음과 같습니다. 페이지를 색인화할 때 Google은 해당 페이지를 SERP에 추가합니다. 페이지 1, 페이지 101, 페이지 1001 등에 나타날 수 있습니다. 순위 측면에서 궁극적인 목표는 SERP의 #1 페이지.

그렇다면 순위란 정확히 무엇일까요?

Google의 주요 목표는 각 검색어에 대해 가장 관련성이 높고 고품질의 결과를 반환하는 것입니다. 이를 달성하기 위해 Google은 Google 색인의 모든 정보를 검토하고 검색어에 가장 적합한 결과를 결정해야 합니다. 이것은 누군가가 Google 검색을 사용할 때마다 발생합니다. 이 과정을 순위 지정이라고 합니다.

가장 관련성이 높은 결과를 찾기 위해 Google의 순위 알고리즘은 여러 요소를 고려합니다. 일부는 사용자 및 쿼리와 관련이 있습니다.

• 사용자 위치
• 브라우저 기록
• 브라우저 설정
• 키워드
• 검색 의도

기타는 귀하의 웹사이트와 관련이 있습니다:

• 전문적 지식
• 콘텐츠 관련성
• 콘텐츠 품질
• 콘텐츠 신선도
• 백링크 수
• 도메인 기관(DA)
• 웹 페이지 권한(PA)
• 사용성
• 그리고 더

요컨대, 순위는 가장 관련성이 높은(1위에 표시됨) SERP에 대한 결과를 가장 관련성이 낮은 순서로 정렬하는 프로세스입니다. 각 쿼리(예: 순위)에 대한 최상의 결과를 더 잘 검색하기 위해 Google은 매일 작은 알고리즘 조정을 수행합니다. 또한 SERP에 큰 영향을 미치고 많은 산업에 영향을 미치는 광범위한 핵심 알고리즘 업데이트가 있습니다.

궁극적으로 검색어에 대한 페이지 순위가 높을수록:

• 페이지가 검색어와 더 관련이 있습니다.
• 품질이 높을수록(특히 SERP의 다른 결과와 비교)

지금까지 기술적 SEO에 대해서는 언급하지 않았습니다. 따라서 자연스럽게 "기술적 SEO가 크롤링, 인덱싱 및 순위 지정과 어떤 관련이 있습니까?"라고 궁금해할 수 있습니다.

정답은 "전부!"입니다. Google에서 Shopify 스토어를 크롤링하고 색인을 생성하고 순위를 지정하려면 기술적으로 최적화되어야 합니다.

기술적 SEO 측면에서 크롤링에 대해 알아야 할 사항은 다음과 같습니다.

• Googlebot이 웹사이트에 도달하고 크롤링할 수 있어야 합니다. Googlebot은 익명의 사용자로 웹에 액세스합니다. 따라서 Shopify 스토어는 비밀번호로 보호되어서는 안 됩니다. Shopify 스토어 비밀번호를 제거하는 방법 알아보기
• XML 사이트맵이 있어야 합니다. 즉, Google에서 새 웹페이지를 더 빠르고 효율적으로 색인화하는 데 도움이 되는 파일입니다. 또한 Google에서 웹페이지의 중요성을 평가하고 다양한 페이지와 리소스 간의 관계를 이해하는 데 도움이 됩니다.
• robots.txt 파일이 있어야 합니다. Google에 Shopify 스토어에서 액세스할 수 있는 페이지(예: 색인 생성)와 액세스할 수 없는 페이지를 알려주는 간단한 텍스트 파일입니다.
• 방탄 내부 링크 전략이 있어야 합니다. 내부 링크를 사용하면 Google에서 웹사이트를 탐색하고 새 페이지를 훨씬 빠르게 찾을 수 있습니다.
• Shopify 스토어에는 하위 페이지 계층 구조가 있어야 합니다. 즉, 웹사이트의 모든 중요한 페이지는 홈페이지에서 세 번 이상 클릭하면 안 됩니다. 이렇게 하면 크롤링 예산(Google이 단일 크롤링으로 웹사이트에서 크롤링하는 페이지 수)이 최적화됩니다. 즉, 크롤링 예산이 가장 중요한 페이지에 할당됩니다.
• 귀하의 웹사이트는 Google이 쉽게 이해하고 따를 수 있는 논리적 URL 구조를 가져야 합니다.
• Shopify 스토어에는 직관적인 탐색 기능이 있어야 합니다.

기술적 SEO 측면에서 인덱싱에 대해 알아야 할 사항은 다음과 같습니다.

• 페이지에 구조화된 데이터 마크업을 추가해야 합니다. 페이지의 색인을 생성할 때 Google은 페이지를 이해하려고 시도합니다. 구조화된 데이터 마크업은 이 프로세스를 더 쉽게 만듭니다. Shopify에서 홈페이지, 컬렉션 페이지, 제품 페이지, 블로그 페이지 및 기사 페이지에 구조화된 데이터를 추가해야 합니다. 구조화된 데이터 마크업에 대해 자세히 알아보기 → Shopify용 구조화된 데이터: 최종 가이드 [2022]

그리고 순위에 관해서는 상황이 훨씬 더 복잡해집니다. Google은 웹사이트의 기술적 상태와 전반적인 SEO 상태(예: 모바일 친화적인지, 신선하고 관련성 있는 콘텐츠가 포함되어 있는지, Google의 웹마스터 가이드라인을 따르는지 등)를 고려합니다. 순위에 가장 중요한 기술적 SEO 요소에는 페이지 속도, 중복 콘텐츠 및 깨진 링크가 포함됩니다.

앞으로 몇 달 안에 이러한 각 기술 SEO 주제에 대해 논의할 것입니다. 오늘은 Google이 Shopify 스토어를 크롤링하는 데 필요한 첫 번째 단계에만 집중할 것입니다.

• 강력한 내부 연결 전략 만들기
• 완벽한 robots.txt 파일 보유
• 완벽한 XML 사이트맵 보유

강력한 내부 연결 구조를 만드는 방법

내부 링크는 동일한 도메인의 다른 페이지 또는 리소스로 연결되는 웹 페이지의 링크입니다.

내부 링크는 Shopify 스토어 아키텍처의 핵심 구성요소이며 Google에서 웹사이트 구조를 더 잘 이해하는 데 도움이 됩니다. 결과적으로 강력한 내부 연결 구조는 Google이 웹 페이지를 더 빠르고 효율적으로 크롤링하고 색인을 생성하는 데 도움이 됩니다.

강력한 내부 연결 구조를 구축하려면 먼저 두 가지 유형의 내부 연결 간의 차이점을 이해해야 합니다.

• 탐색 내부 링크 - Shopify 스토어 탐색을 구성하는 링크(예: 기본 메뉴의 링크, 사이드바 메뉴, 머리글 및 바닥글 메뉴 등). 웹 페이지의 계층 구조를 설정하고 고객과 Google이 모두 상점을 탐색하는 데 도움이 됩니다. 또한 Google이 상점에서 가장 중요한 페이지를 이해하는 데 도움이 되는 링크 자산을 전달합니다. 결과적으로 Google은 이러한 페이지를 더 자주 크롤링할 수 있습니다.
• 상황별 내부 링크 - 웹 페이지의 주요 콘텐츠에 있는 링크(예: 카테고리 페이지의 제품 페이지 링크, 기사 및 제품 설명의 링크, 정책 페이지의 링크 등). 이러한 링크의 목적은 링크 자산을 전달하고 Google이 새 페이지를 더 빨리 찾을 수 있도록 하는 것입니다.

10단계로 방탄 내부 연결 구조 만들기

1단계: 내부 링크를 크롤링할 수 있는지 확인합니다.

다시 말해:

• URL 형식이 적절해야 합니다. Shopify는 기본적으로 이를 처리합니다. 그래도 URL 검사 도구를 사용하여 문제를 확인할 수 있습니다.

• 필요한 경우가 아니면 robots.txt 파일에 의해 차단된 페이지에 대한 내부 링크를 만들지 마십시오.
• 필요한 경우가 아니면 "인덱스 없음" 메타 태그가 있는 페이지에 대한 내부 링크를 만들지 마십시오.

참고: 아래에서 robots.txt 파일과 "인덱스 없음" 메타 태그에 대해 자세히 설명합니다.

2단계: 웹사이트에 깨진 내부 링크가 없는지 확인합니다.

SEMRush의 사이트 감사와 같은 사이트 감사 도구를 사용하여 내부 연결 보고서를 보고 깨진 내부 링크를 찾을 수 있습니다. 깨진 내부 링크를 수정하는 두 가지 방법이 있습니다. 제거하거나 다른 관련(그리고 작동하는!) 내부 링크로 교체할 수 있습니다.

3단계: Shopify 스토어에서 모든 고아 페이지를 제거합니다.

고아 페이지는 Shopify 스토어의 다른 페이지에서 연결되지 않은 페이지입니다. Googlebot은 링크를 사용하여 웹을 크롤링하기 때문에 고아 페이지를 발견하기가 더 어렵습니다(고아 페이지가 사이트맵에 포함되지 않은 경우 경계선 불가능). 또한 고객은 실제로 고아 페이지에 연결할 수 없습니다. 다시 말해서, 그들은 실제로 SEO 가중치가 없으며 어떤 식으로든 귀하에게 도움이 되지 않습니다.

따라서 귀하의 웹사이트에 그러한 페이지가 포함되어 있는지 확인하는 것이 중요합니다. Ahrefs의 사이트 감사와 같은 도구를 사용하여 고아 페이지를 확인할 수 있습니다.

웹사이트에 고아 페이지가 포함된 경우 해당 페이지의 중요성을 평가해야 합니다.

• 중요하다면 웹사이트의 다른 페이지에 링크를 추가하세요. 전문가 팁: 콘텐츠 페이지가 얇다면 공통 주제를 찾고 유사한 페이지를 함께 병합하십시오. 품질이 낮은 여러 페이지보다 하나의 고품질 페이지를 갖는 것이 좋습니다.
• 중요하지 않은 경우 제거하면 됩니다.

4단계: 웹사이트에 낮은 수준의 페이지 계층 구조가 있는지 확인합니다.

먼저 웹사이트에서 가장 중요한 페이지를 식별합니다.

일반적으로 웹사이트에서 가장 중요한 페이지는 홈페이지입니다. 이것은 가장 높은 페이지 권한(PA)을 가진 페이지입니다.

전자 상거래에서는 수익에 직접적인 영향을 미치는 페이지도 매우 중요합니다. 카테고리 페이지와 제품 페이지입니다.

이 모든 페이지는 적절하게 연결되어야 합니다. 이것은 웹 사이트에 기술적으로 최적화된 웹 사이트 아키텍처가 있는 경우에 발생합니다.

여기서 명심해야 할 가장 중요한 점은 웹사이트의 중요한 페이지가 홈페이지에서 세 번 이상 클릭하면 안 된다는 것입니다(예: 홈페이지 > 카테고리 페이지 > 제품 페이지). 이러한 방식으로 귀하의 홈페이지는 귀하의 카테고리 페이지에 더 많은 링크 자산을 전달하고 귀하의 카테고리 페이지는 귀하의 제품 페이지 등에 링크 자산을 전달할 것입니다. 결과적으로 귀하의 카테고리 및 제품 페이지 순위가 더 높아집니다.

또한 연결된 페이지들 사이에는 논리적인 상관관계가 있어야 합니다. 예를 들어, 한 카테고리의 제품 페이지는 유사한 특성을 공유해야 합니다. 즉, "셔츠" 카테고리에는 바지가 없어야 합니다.

참고: 이에 대해서는 다음 기사에서 더 자세히 논의할 예정이니 계속 지켜봐 주시기 바랍니다!

5단계: 내부 링크를 사용하여 Googlebot이 새 페이지를 더 빨리 발견하고 순위를 높일 수 있도록 합니다.

Shopify 스토어에 새 제품 페이지를 추가했다고 가정해 보겠습니다. Google이 더 빠르게 크롤링하고 색인을 생성할 수 있도록 홈페이지나 탁월한 성능을 자랑하는 블로그 게시물에 링크를 추가할 수 있습니다. 추가 이점으로, 이는 링크 자산을 새 제품 페이지로 전달하여 SERP에서 더 높은 순위를 매길 가능성이 더 높다는 것을 의미합니다. 물론 이것이 의미하는 바, 즉 더 많은 가시성과 더 많은 판매 기회를 우리 모두 알고 있습니다.

6단계: 권장 제품을 활용합니다.

"추천 제품" 섹션은 평균 주문 가치를 높이고 보다 매력적인 쇼핑 경험을 제공하는 데 도움이 됩니다. 또한 "추천 제품" 섹션의 링크는 고객을 Shopify 스토어의 다른 제품 페이지로 연결하는 제품 페이지의 링크입니다.

Shopify의 "추천 제품" 섹션에는 자동으로 생성된 제품 추천 목록이 표시됩니다.

고객이 상호 작용하는 제품을 기반으로 가장 관련성이 높은 제품을 예측하는 알고리즘을 기반으로 제품을 추천합니다. (출처: Shopify, 제품 페이지에 제품 추천 표시)

알고리즘은 판매 데이터(자주 함께 구매되는 제품을 확인하기 위해)와 제품 설명(어떤 제품이 서로 유사하거나 보완적인지 확인하기 위해)을 사용합니다. 알고리즘은 제품당 최대 10개의 유사한 제품을 연결하고 관련성 순서대로 표시합니다.

알고 있어야 하는 특정 제한 사항이 있습니다. 예를 들어 Shopify 플랜에 따라 제품 페이지에 다양한 유형의 제품 추천을 표시할 수 있습니다. 또한 특정 제품을 제외하도록 알고리즘을 사용자 정의할 수 없습니다(사용자 정의 코드를 작성하지 않는 한). 자세히 알아보기 → Shopify, 제품 추천

일부 Shopify 테마는 기본적으로 제품 추천을 지원합니다.

출처: Shopify, 제품 페이지에 제품 추천 표시

또한 사용자 지정 가능한 "관련 제품" 섹션을 구축하거나 제품 페이지에 관련 제품을 표시하는 데 도움이 되는 Shopify 앱을 사용할 수 있습니다. 그러한 앱 중 하나는 관련 제품 - Globo에서 구매한 제품입니다.

앱 스포츠 - 등급. 무료 플랜과 월 $9.90의 유료 버전이 있습니다(7일 무료 평가판 사용 가능).

7단계: 앵커 텍스트를 염두에 두십시오.

앵커 텍스트는 Google이 연결된 페이지의 내용과 링크가 포함된 페이지와 관련이 있는지 여부를 이해하는 데 도움이 되기 때문에 중요합니다.

내부 링크의 앵커 텍스트는 관련성 있고 설명적이며 구체적이어야 합니다. 가장 좋은 시나리오는 키워드를 포함해야 합니다.

일반적으로 "자세히 알아보기" 또는 "여기를 클릭하십시오"와 같은 모호한 앵커 텍스트는 사용하지 마십시오. 대신 다음과 같이 하십시오. "자세히 보기 → Internal-link-with-a-relevant-and-descriptive-anchor-text "

8단계: 리디렉션 체인을 피하세요.

리디렉션 체인은 초기 URL(즉, 요청된 URL)과 최종 도착 URL 사이에 여러 리디렉션이 있을 때 발생합니다. 예를 들어 X가 초기 URL이고 Z가 최종 URL이라고 가정합니다. 리디렉션 체인은 URL X > URL Y로 리디렉션 > URL Z로 리디렉션입니다. 결과적으로 URL Z는 로드하는 데 더 많은 시간이 걸립니다.

일반적으로 리디렉션 체인은 사용자 경험을 저하시키므로 피해야 합니다. 또한 Google이 웹사이트를 크롤링하는 것을 더 어렵게 만듭니다. 따라서 가능한 한 제한하는 것이 좋습니다.

리디렉션 체인은 어떻게 발생합니까?

페이지의 URL을 변경하고 새 URL에 대한 리디렉션을 생성한다고 가정해 보겠습니다. 이제 페이지가 이미 인터링크되어 있고 링크가 이전 URL로 연결된다고 상상해 보십시오. 누군가 링크를 클릭하면 먼저 이전 URL로 리디렉션된 다음 새로 업데이트된 URL로 리디렉션됩니다.

웹사이트에 SSL 인증서를 설치할 때도 리디렉션 체인이 발생할 수 있습니다. 이 경우 모든 이전 HTTP 링크가 자동으로 새롭고 안전한 HTTPS 링크로 리디렉션됩니다. 따라서 사용자가 이미 생성한 인터링크를 클릭하면 먼저 페이지의 HTTP 버전으로 리디렉션된 다음 HTTPS 버전으로 리디렉션됩니다.

리디렉션 체인을 최소화하려면:

• 모든 내부 링크가 라이브 페이지로 바로 연결되는지 확인합니다.
• HTTP에서 HTTPS로 전환하는 동안 구현하는 리디렉션을 업데이트합니다.
• 다른 URL로 리디렉션되는 URL에 연결하지 마십시오.
• 기존 리디렉션을 정기적으로 감사하고 불필요한 리디렉션을 모두 제거합니다. SEMRush의 사이트 감사 도구를 사용하여 리디렉션 체인을 감지하고 이를 수정하는 방법에 대한 조언을 얻을 수 있습니다.

9단계: 과용하지 마십시오.

물론 상호 연결이 중요합니다. 그러나 특히 목적이 없는 경우, 즉 어떤 식으로든 페이지 품질을 향상시키지 않는 경우 "인터링크가 너무 많음"과 같은 문제가 있습니다.

페이지에는 적절한 수의 내부 링크가 포함되어야 하며 모두 의미가 있어야 합니다. 즉, 페이지에 있어야 하는 논리적 이유가 있어야 합니다.

평신도의 관점에서, 단지 그것을 위해 내부 링크를 만들지 마십시오.

보너스 단계: 콘텐츠 전략을 수립합니다.

콘텐츠 전략을 수립하는 것은 다음과 같은 몇 가지 이유로 중요합니다.

• SEO에 좋고 수많은 관련 키워드의 순위를 매기는 데 도움이 됩니다. 이는 가시성을 높이고 브랜드 인지도를 높이는 데 도움이 될 수 있습니다.
• 그것은 당신이 당신의 틈새 시장에서 권위자로 자신을 확립하는 데 도움이됩니다.
• 고객의 신뢰를 구축합니다.
• 정보에 입각한 쇼핑 경험을 제공하는 데 도움이 됩니다.
• 보다 매력적이고 철저한 방식으로 제품을 제시하는 데 도움이 됩니다.
• 수많은 상호 연결 기회를 제공합니다.

그렇다면 어떻게 강력한 콘텐츠 전략을 구축할 수 있을까요?

무엇보다도 관련성이 높은 고품질 콘텐츠를 만드십시오. 대상 청중이 관심을 갖고 있는 주제에 대해 작성합니다. 문제를 해결하고 질문에 답하는 등

둘째, 주제 클러스터를 생성합니다. 즉, 관련 주제를 제시하고 각 주제에 대해 5~10개의 개별 블로그 게시물을 만듭니다. 이 게시물은 동일한 주제의 다른 각도를 다루기 때문에 상호 연결의 가능성은 많습니다. 또한 한 시리즈의 모든 블로그 게시물을 게시한 경우 기둥 페이지를 만들고 모든 항목을 연결할 수 있습니다. 이는 내부 연결 전략을 향상시키는 좋은 방법입니다.

셋째, 블로그 게시물을 사용하여 카테고리와 제품 페이지를 연결합니다(예: 선물 가이드, 제품 컬렉션 또는 제품 출시에 대한 게시물 등). 이렇게 하면 Google에서 더 빨리 찾을 수 있고 순위를 높일 수도 있습니다.

Shopify 및 robots.txt: 알아야 할 모든 것

간단히 말해서 robots.txt는 웹사이트에서 크롤링할 페이지와 크롤링하지 않을 페이지를 Google에 알려주는 간단한 텍스트 파일입니다.

일반적으로 SEO에는 robots.txt 파일이 필요하지 않습니다. 그러나 robots.txt가 있으면 간과해서는 안 되는 몇 가지 이점이 있습니다.

• Googlebot(및 기타 검색 엔진 크롤러)이 민감한 정보가 포함된 페이지(예: 로그인/가입 페이지, 계정 페이지 등)를 크롤링하고 색인을 생성하지 못하도록 합니다.
• 이는 Googlebot이 SEO 가중치가 없는 페이지 및 리소스(예: '감사합니다' 페이지, 미리보기 페이지, pdf 파일(예: 제품 설명서) 등)를 크롤링하고 색인을 생성하지 못하도록 합니다.
• Googlebot이 씬 콘텐츠 페이지나 중복 콘텐츠가 포함된 페이지를 크롤링하지 못하도록 합니다.
• 검색 엔진이 사이트맵을 더 쉽게 찾을 수 있도록 도와줍니다(robots.txt 파일에는 사이트맵에 대한 링크가 포함되어 있음).
• Google이 웹사이트를 더 빠르고 효율적으로 크롤링하고 색인을 생성하는 데 도움이 됩니다.
• 크롤링 및 색인이 생성되어서는 안 되는 페이지를 Google에서 크롤링하지 않도록 하여 크롤링 예산을 최적화합니다.

Shopify 및 robots.txt에 대해 알아야 할 사항:

이것은 우리가 가장 좋아하는 Shopify 스토어 중 하나인 Final Straw의 robots.txt 파일입니다.

더 진행하기 전에 각 지시문(예: robots.txt 파일의 각 줄)이 의미하는 바를 설명하겠습니다.

• "User-agent" 지시문은 지침이 의미하는 크롤러를 지정합니다. 즉, 사용자 에이전트가 "User-agent" 지시어(예: "User-agent: Googlebot")에 지정된 경우 이 사용자 에이전트(예: "Googlebot")는 지침을 따라야 하지만 다른 에이전트( 예: "Bingbot" - Bing의 크롤러)는 계속해서 더 구체적인 지시문을 찾아야 합니다. 사용자 에이전트가 지정되지 않은 경우(위의 경우와 같이) 모든 검색 엔진 봇(또는 크롤러)이 지침을 따라야 합니다.
• '허용' 지시문은 Googlebot에만 적용됩니다. 상위 페이지 또는 하위 폴더가 허용되지 않더라도 Googlebot에 특정 웹 페이지 또는 하위 폴더에 액세스할 수 있음을 알려줍니다.
• "Disallow" 지시문은 검색 엔진 봇에게 크롤링 및 인덱싱하지 않을 페이지를 알려줍니다.
• "Sitemap" 지시문은 검색 엔진 봇이 XML 사이트맵의 위치를 ​​가리키도록 합니다.
• "호스트" 지시어는 홈페이지(즉, 기본 도메인)의 URL을 포함합니다.

이제 robots.txt의 작동 방식을 더 잘 이해했으므로 robots.txt 파일과 Shopify에 대해 알아야 할 사항은 다음과 같습니다.

• Shopify에서 robots.txt 파일을 자동으로 생성합니다.
• robots.txt 파일은 웹사이트의 기본 도메인 이름의 루트 디렉토리에 있습니다. 액세스하려면 홈페이지 URL에 "/robots.txt"를 추가하면 됩니다(예: "https://www.yourshopifystore.com/robots.txt").
• robots.txt 파일은 Shopify에서 관리합니다. 이는 콘텐츠를 편집할 수 없음을 의미합니다. 그러나 Google이 robots.txt 파일에서 허용되지 않은 특정 페이지에 액세스하는 것을 원하지 않는 경우 "noindex" 메타 태그를 사용하여 숨길 수 있습니다. 페이지. "noindex" 메타 태그를 구현하려면 theme.liquid 레이아웃 파일을 사용자 지정해야 하므로 기술 지식이 필요합니다. 특정 페이지의 색인을 생성하는 방법 알아보기 → Shopify, 검색 엔진에서 페이지 숨기기

• 무료 Google Search Console 계정에 가입하여 robots.txt 파일에 의해 차단된 페이지를 모니터링할 수 있습니다.

Shopify 및 sitemap.xml: 알아야 할 모든 것

XML 사이트맵은 Shopify 스토어의 웹 페이지 및 리소스(예: 미디어 파일, pdf 등)에 대한 정보를 Googlebot(및 기타 검색 엔진 봇)에 제공합니다. 기본적으로 웹사이트에서 가장 중요한 페이지와 리소스의 포괄적인 목록입니다. 사이트맵에는 웹페이지에 대한 중요한 정보도 포함되어 있습니다(예: 마지막으로 수정된 날짜, 포함된 이미지 수, 다른 페이지 또는 리소스와의 관계 등).

사이트맵의 목적은 Google이 웹사이트를 더 빠르고 효율적으로 크롤링할 수 있도록 돕는 것입니다.

robots.txt 파일과 마찬가지로 사이트맵이 반드시 필요한 것은 아닙니다. Google은 도움 없이도 웹사이트를 크롤링할 수 있습니다(특히 강력한 내부 연결 전략이 있는 경우). 그러나 사이트맵이 있으면 확실히 도움이 될 수 있습니다. 특히 다음과 같은 경우:

• 대형 카탈로그 상점이 있는 경우. 1000개 이상의 제품 페이지(또는 단 100개)를 서로 연결해야 한다고 상상해 보십시오. 불가능하지 않습니까?
• Shopify 스토어가 신규이고 여전히 백링크와 인터링크가 거의 없는 경우.
• Shopify 스토어에 비디오 및 이미지와 같은 미디어 파일이 많은 경우.
• pdf 파일을 많이 업로드하는 경우(예: 제품 설명서 또는 지침).
• 글을 많이 올리면.
• 또한 사이트맵이 있다는 것은 Googlebot(및 기타 검색 엔진 크롤러)이 웹사이트를 더 자주 크롤링한다는 것을 의미합니다.

Shopify 및 XML 사이트맵에 대해 알아야 할 사항:

이것은 우리가 가장 좋아하는 Shopify 스토어 중 하나인 Rebel Nell의 사이트맵입니다. Shopify 상점의 일반적인 사이트맵은 다음과 같습니다. 제품, 컬렉션, 블로그 및 페이지에 대한 추가 사이트맵(또는 하위 사이트맵)으로 연결되는 하나의 상위 사이트맵이 있습니다. 이 분류는 Google이 Shopify 스토어를 더 쉽게 탐색하고 크롤링하는 데 도움이 됩니다.

각 추가 사이트맵에는 광범위한 페이지 목록이 포함되어 있습니다. 예를 들어 Rebel Nell의 제품 사이트맵을 자세히 살펴보면 Rebel Nell의 모든 제품 페이지에 대한 링크와 이미지, 페이지가 마지막으로 수정된 시간, 페이지가 얼마나 자주 수정되었는지에 대한 정보가 포함되어 있음을 알 수 있습니다. 수정되었습니다.

다음은 sitemap.xml 파일 및 Shopify에 대해 알아야 할 사항입니다.

• Shopify는 상점에 대한 sitemap.xml 파일을 자동으로 생성합니다. 여기에는 모든 제품, 제품 이미지, 페이지, 컬렉션 및 블로그 게시물에 대한 링크가 포함되어 있습니다.

기본 Shopify 플랜을 사용 중인 경우 상점의 기본 도메인에만 사이트맵 파일이 생성되고 검색 엔진에서 검색할 수 있습니다. Shopify, Advanced Shopify 또는 Shopify Plus 플랜을 사용 중인 경우 국제 도메인 기능을 사용하여 지역별 또는 국가별 도메인을 생성할 수 있습니다. 국제 도메인을 사용하면 모든 도메인에 대해 사이트맵 파일이 생성됩니다. 기본 도메인으로 리디렉션되지 않는 한 모든 도메인은 검색 엔진에서 검색할 수 있습니다. (출처: Shopify, 사이트맵 찾기 및 제출)

• 사이트맵은 Shopify 스토어 도메인의 루트 디렉터리에 있습니다. 즉, 홈페이지 URL에 "/sitemap.xml"을 추가하여 찾을 수 있습니다(예: "https://www.yourshopifystore.com/sitemap.xml"). xml”). 참고: robots.txt 파일에서 사이트맵의 위치를 ​​찾을 수도 있습니다. "사이트맵" 지시문에 지정되어 있다는 점을 기억하세요.
• Shopify는 스토어를 업데이트할 때마다(예: 새 제품을 추가하거나 새 블로그 게시물을 게시할 때마다) 사이트맵을 자동으로 업데이트합니다.
• 사이트맵은 수동으로 수정할 수 없습니다. 스토어 사이트맵에서 특정 페이지를 제외하려면 Shopify API(코드를 통해)만 수행할 수 있습니다. 운 좋게도 기술에 익숙하지 않은 경우 도움이 될 수 있는 몇 가지 앱이 있습니다. 그러한 앱 중 하나는 Smart SEO입니다. 버튼을 한 번만 클릭하면 사이트맵에 표시하고 싶지 않은 페이지를 제외할 수 있습니다. 이것은 또한 noindex 태그를 추가하고 사이트 검색 페이지에서 제외합니다.

각 제품 옆에 있는 확인란을 확인하십시오. 확인란이 표시되면 제품 상태가 "활성"으로 설정됩니다. 이는 해당 제품이 사이트맵에 포함되어 있음을 의미합니다. 사이트맵에서 제품을 제외하려면 확인란에서 확인 표시를 제거하기만 하면 됩니다.

Smart SEO는 별점을 자랑합니다. 무료 요금제와 3개의 유료 요금제가 있습니다. 가격은 월 $9.99부터 시작합니다(7일 무료 평가판 사용 가능).

이제 sitemap.xml 파일이 무엇이며 이것이 어떻게 도움이 되는지 알았으니 이 가이드의 마지막 섹션인 Google Search Console에 사이트맵 제출으로 넘어가겠습니다.

Google Search Console에 사이트맵 제출: 왜 중요하고 어떻게 해야 합니까?

언제든지 sitemap.xml 파일을 Google Search Console에 제출할 수 있습니다. 이것은 반드시 필요한 것은 아닙니다. 귀하가 사이트맵을 제출하지 않더라도 Google은 귀하의 사이트맵을 찾을 수 있습니다. 하지만 하는 것이 중요합니다!

왜요? 사이트맵을 Google Search Console에 제출하면 Googlebot이 웹페이지와 리소스를 훨씬 빠르게 크롤링하고 색인을 생성하는 데 도움이 되기 때문입니다. 또한 Google Search Console에 사이트맵을 제출하면 순위가 향상되고 내부 연결 노력이 향상되어 궁극적으로 도달 범위가 확장됩니다. 간단히 말해서 사이트맵을 제출하면 더 많이 노출되고 더 많은 판매 기회로 이어질 것입니다.

Google Search Console에 사이트맵을 제출하는 방법:

• 웹사이트가 비밀번호로 보호되어 있지 않은지 확인하세요. 비밀번호로 보호되어 있으면 Google에서 사이트맵에 액세스할 수 없습니다. Shopify 스토어 비밀번호를 제거하는 방법 알아보기
• 무료 Google Search Console 계정을 만드세요.
• Google Search Console을 사용하여 도메인을 확인하고 Shopify 스토어의 소유자인지 확인합니다. 참고: 웹사이트가 비밀번호로 보호되어 있으면 도메인을 확인할 수 없습니다.
• sitemap.xml 파일을 Google Search Console에 제출합니다. 여기에 나열된 단계를 따르십시오 → Shopify, 사이트맵 찾기 및 제출

결론

오늘은 검색이 작동하는 방식에 대해 이야기했습니다. 우리는 크롤링, 인덱싱 및 순위 지정의 차이점과 기술적 SEO가 이러한 각 프로세스와 어떤 관련이 있는지 설명했습니다.

또한 다음을 통해 Google이 Shopify 스토어를 더 빠르고 효율적으로 크롤링하고 인덱싱하는 방법을 보여주었습니다.

• 강력한 내부 연결 전략 만들기
• 완벽한 robots.txt 파일 보유
• 흠잡을 데 없는 sitemap.xml 파일을 가지고 Google Search Console에 제출하기

추가 질문이 있는 경우 아래에 한 줄 남겨주세요!

다음 기사에서는 웹 사이트 아키텍처에 중점을 둘 것입니다. More specifically, we'll show you how to create a low-depth page hierarchy, a logical URL structure, and intuitive website navigation - these are key steps to building a technically optimized website (and, as you already know, it helps with crawling and indexing as well). 그러니 계속 지켜봐 주세요!