크롤링 예산이란 무엇이며 어떻게 최적화합니까?

크롤링 예산은 마케팅 담당자가 이야기하는 SEO 용어 중 하나입니다.

그러나 그것이 무엇을 의미하고 무엇에 관한 것인지 아십니까?

걱정하지 마세요. 우리는 당신을 시험하러 온 것이 아닙니다. 반대로 크롤링 예산에 대한 모든 것, 왜 중요한지, 이를 확인하고 최적화하는 방법을 이해하는 데 도움이 됩니다.

결국 걸을 수 있기 전에 기는 법을 배워야 하지 않습니까?

크롤링 예산이란 무엇입니까?

크롤링 예산은 Google이 특정 기간 내에 웹사이트에서 크롤링할 수 있는 페이지 수입니다.

웹사이트에 페이지를 게시할 때마다 Google에서 색인을 생성하고 순위를 매길 때까지 기다려야 하며 그렇게 하려면 로봇이 먼저 페이지를 크롤링해야 합니다.

이 프로세스는 웹사이트의 규모, 주제의 인기도, 페이지에 대한 트래픽 양 등과 같은 상황에 따라 더 빠르거나 느려질 수 있습니다.

그러나 크롤링은 실제로 어떻게 작동합니까?

알아 보자.

크롤러는 어떻게 작동합니까?

10여 년 전에 Google은 리소스가 한정되어 있으며 온라인에 지속적으로 게시되는 끝이 없는 온라인 콘텐츠의 제한된 비율만 찾을 수 있다는 것을 깨달았습니다.

그런 다음 2017년에 Google은 크롤링의 정의 및 기타 관련 세부정보를 설명하는 공식 "Googlebot에 대한 크롤링 예산 의미" 기사를 게시했습니다.

다음은 필수적인 사실입니다.

• 웹사이트에 수천 개의 URL이 있는 경우가 아니면 크롤링이 효율적입니다.
• 빠르게 응답하는 페이지는 크롤링 제한을 증가시킵니다.
• Google Search Console을 통해 웹사이트 크롤링 속도를 줄일 수 있습니다.
• 인기 있는 URL은 더 자주 크롤링되는 경향이 있습니다.
• 가치가 낮은 URL(중복 콘텐츠, 소프트 오류 페이지 등)이 많으면 인덱싱 및 크롤링에 부정적인 영향을 미칠 수 있습니다.
• 크롤링은 직접적인 순위 요인이 아닙니다.

기본적으로 웹사이트의 최대 크롤링 가능성을 보장하려면 로딩 시간이 빨라야 하고, 중복되고 품질이 낮은 콘텐츠를 피하고, 인기 있는 페이지를 만들어야 합니다.

그러나 대부분의 웹사이트 소유자는 크롤링 예산에 대해 너무 걱정할 필요가 없습니다. 주의를 기울여야 하는 것은 전자 상거래 상점, 디지털 출판물, 인기 블로그와 같이 수천 페이지가 있는 대형 웹사이트입니다.

크롤링 예산이 중요한 이유는 무엇입니까?

크롤링 예산은 특히 수천 페이지가 있고 매일 지속적으로 많은 새 기사를 게시할 때 SEO 노력에 매우 중요합니다. 봇은 새 콘텐츠를 크롤링하려고 하지만 동시에 나머지 웹사이트도 다시 방문합니다.

여러 문제 및/또는 혼란스러운 문제가 발생하면 색인을 생성할 새 콘텐츠에 투자하는 대신 이전 페이지에 크롤링 예산을 낭비하게 됩니다. 이는 잠재적으로 지연을 발생시키고 일시적으로(또는 영구적으로) URL을 SERP에서 사용할 수 없게 만들 수 있습니다.

예를 들어, 가능한 한 빨리 가시성을 확보하는 데 중요한 뉴스나 정보를 게시하고 있습니다.

게시물의 색인이 생성되기까지 일주일을 기다리지 않으시겠습니까?

결국, 페이지가 인덱싱되지 않으면 SERP에 대한 순위를 매길 수 없습니다. 그리고 오늘 발생한 세계 이벤트에 대해 쓰고 있는데 페이지가 5일 만에 크롤링된다고 가정해 보겠습니다. 그 시점에서 이벤트가 더 이상 관련성이 없고 신선하지 않기 때문에 초기 목표를 달성하기에는 너무 늦습니다. 말할 것도 없이, 많은 다른 웹사이트에서 이에 대해 작성하고 제 시간에 색인을 생성할 것입니다.

크롤링 봇이 페이지를 인덱싱하는 데 최대 일주일이 걸리는 것은 드문 일이 아니지만 솔직히 말해서 그보다 적은 시간이 걸립니다.

또한, 동시에 크롤링하고 색인을 생성하고 대상 고객이 적시에 사용할 수 있어야 하는 새 페이지를 계속 게시할 것입니다. 이것이 병목 현상을 인덱싱하는 방법입니다.

대체로 크롤링 예산 한도에 자주 도달하면 일부 페이지가 균열 사이에서 미끄러져 SERP에 도달하지 못할 위험이 있습니다. 결과적으로 이들은 유기적 트래픽의 이점을 얻지 못하고 나머지 콘텐츠보다 가시성이 훨씬 낮습니다.

크롤링 예산을 확인하는 방법이 궁금하시다면 간단합니다. Google Search Console로 이동하여 Crawl → Crawl Stats를 확인하십시오.

크롤링 예산 최적화

크롤링 예산은 웹사이트 크기, 웹사이트 상태, 웹사이트 인기도라는 세 가지 주요 요인에 따라 달라집니다.

즉 , 다음과 같은 경우 크롤링 예산 낭비에 대해 걱정할 필요가 없습니다.

• 귀하의 웹 사이트는 수천 페이지 미만을 의미하는 적당히 작습니다.
• 귀하의 웹사이트에는 상태 코드 오류가 없으며 적절한 정규화가 있습니다.
• 귀하의 웹사이트는 인기가 있습니다. 즉, 귀하가 콘텐츠를 공유하고 트래픽을 생성하기 위해 소셜 미디어 팔로어 및 기타 채널을 개발했다는 ​​의미입니다.

이러한 기준을 충족하면 Googlebot이 웹사이트를 효율적으로 크롤링할 수 있어야 합니다.

이 세 가지 요소 중 하나라도 부족한 경우 다양한 수준의 크롤링 문제가 발생하고 일부 페이지에 대한 자연 검색 가시성을 잃을 위험이 있습니다.

다음은 따라야 할 크롤링 예산 권장사항입니다.

웹사이트 속도 향상

위에서 언급했듯이 웹사이트 속도와 페이지 로딩 시간은 크롤링 제한에 영향을 줄 수 있습니다. 건강하고 빠른 웹사이트는 Googlebot이 더 적은 시간에 더 많은 페이지를 크롤링할 수 있음을 의미합니다.

반면에 페이지 로드 속도가 느리면 크롤링 속도가 줄어들고 대규모 웹 사이트에서는 전체 인덱싱 문제가 발생할 수 있습니다.

간단히 말해서 사이트 속도를 최적화하십시오. 이것은 봇을 더 쉽게 만들 뿐만 아니라 사용자 경험을 개선할 것입니다.

내부 연결 적용

가장 좋은 시나리오는 사이트의 모든 페이지를 가리키는 백링크를 갖는 것입니다. 이것은 방문자를 귀하의 사이트로 끌어들이고 귀하의 콘텐츠가 중요하다는 것을 검색 엔진에 보여주는 좋은 SEO 관행일 뿐만 아니라 Googlebot의 관심을 끌기도 합니다.

간단히 말해서, 백링크는 SEO의 황금 소년입니다.

하지만 여기에 거래가 있습니다.

백링크 외에도 Google은 내부 연결도 좋아합니다. 모든 페이지를 검색하고 페이지가 어떻게 관련되어 있는지 더 잘 이해하는 데 도움이 됩니다. 백링크를 사용하기 어려울 수 있지만 내부 링크를 완전히 제어할 수 있으며 원하는 만큼 추가할 수 있습니다(과도하게 사용하지 마세요).

이 최적화 기술을 적용하면 더 많은 페이지가 크롤링됩니다.

플랫 웹 아키텍처 사용

Google의 눈에는 인기가 매우 중요합니다. 이것이 플랫 웹사이트 아키텍처를 사용하는 것이 유익한 이유입니다. 플랫 아키텍처를 사용하면 링크 권한이 모든 페이지에서 동일한 비율을 가질 수 있습니다.

봇이 웹 사이트의 링크가 더 쉽게 연결되는 방식을 추적하는 데 도움이 되며 추가로 관련 페이지를 더 잘 그룹화하고 주제별 권한을 얻을 수 있습니다.

실제로 이것은 사용자와 검색 엔진 모두 네 번의 클릭으로 웹사이트의 모든 페이지에 도달할 수 있음을 의미합니다.

고아 페이지 및 중복 콘텐츠 방지

고아 페이지는 외부 링크도 내부 링크도 포함하지 않는 페이지입니다. 이로 인해 이러한 유형의 페이지가 나머지 콘텐츠와 격리되고 논리적으로 Googlebot이 검색하기 더 어렵습니다.

가지고 있는 모든 기사와 페이지에 하나 이상의 내부 링크를 추가하여 고아 페이지를 쉽게 피할 수 있습니다.

중복 콘텐츠 관리

콘텐츠가 중복되면 많은 문제가 발생합니다. 유사한 매개변수를 가진 여러 URL이 있으면 크롤링 봇이 혼란스러워집니다. 어느 페이지가 기본 페이지이고 어느 페이지가 중복 버전인지 파악해야 하므로 Googlebot의 시간을 낭비하게 되며 이로 인해 크롤링 프로세스가 느려집니다.

전자상거래 플랫폼과 같은 사이트의 경우 크기 및 색상과 같이 작은 차이가 있는 유사한 제품이 여러 개 있기 때문에 유사한 URL이 여러 개 있는 경우 Googlebot을 우선 순위로 지정하려는 페이지로 안내하는 표준 태그를 사용해야 합니다.

일부 페이지에 대한 크롤링 금지

모든 웹사이트에는 로그인, 문의 양식, 장바구니 등과 같은 페이지가 있습니다. 이들은 크롤링할 필요가 없으며 그 이상으로는 크롤링할 수 없습니다. 그러나 Google은 시도할 것이므로 봇에게 건너뛰고 리소스를 절약해야 한다고 알리는 것이 좋습니다.

이 작업을 수행하려면 robots.txt 파일을 사용하여 원하는 페이지의 크롤링을 허용하지 마십시오.

이전 콘텐츠 업데이트 및 새 콘텐츠 작성

Google은 신선한 콘텐츠를 좋아한다고 언급했습니까? 그렇습니다.

Google은 페이지가 크롤링된 지난 몇 번 동안 새로운 것이 없었기 때문에 페이지 크롤링을 중지할 수도 있습니다.

Googlebot이 이틀에 한 번 사이트를 방문하고 색인을 생성할 새 콘텐츠를 찾을 때마다 방문한다고 상상해 보세요. 그런 다음 갑자기 어떤 이유로 웹 사이트 업데이트를 중단합니다. 그러나 Googlebot은 동일한 빈도로 계속 방문합니다. 잠시 후 봇은 인덱싱할 새 콘텐츠가 없음을 알아차리고 결국에는 방문 빈도가 줄어듭니다.

새로운 콘텐츠를 더 자주 제공하기 시작하는 반대 시나리오에서는 Googlebot이 웹사이트를 더 자주 방문하기 시작할 수 있습니다.

원천

일반적으로 업데이트해야 할 페이지를 설정할 때 관련성을 관찰하십시오. 기사는 2년이 지났지만 여전히 적용 가능한 정보가 있을 수 있습니다(그래도 여전히 업데이트해야 함). 또는 이미 신선도를 잃은 한 달 된 재료 일 수 있습니다.

오류 페이지 줄이기

이것은 이해하기 쉽습니다.

Googlebot은 5xx 오류 코드(서버 오류), 4xx 오류 코드(찾을 수 없음 오류), 3xx 오류 코드(리디렉션) 등의 페이지를 크롤링하려고 할 때 시간을 낭비하므로 결과적으로 크롤링 속도 제한이 낮아집니다.

원천

기본적으로 200과 다른 코드를 생성하는 모든 페이지는 시간 낭비와 리소스를 크롤링합니다. 실제로는 삭제했거나 리디렉션한 페이지로 Google의 주의를 끌 필요가 없습니다. 대신 라이브 URL을 수정하는 것을 우선시하십시오.

간단히 말해서 크롤링 예산 최적화

Google 크롤링 예산을 최적화하는 단계를 요약해 보겠습니다.

1. 웹사이트 속도 향상
2. 모든 페이지에 내부 링크 배치
3. 플랫 웹 사이트 아키텍처 적용
4. 고아 페이지 및 중복 콘텐츠 방지
5. 특정 페이지에서 크롤링 방지
6. 오래된 콘텐츠를 업데이트하고 새로운 콘텐츠를 작성하세요.
7. 오류 페이지 줄이기

보너스 팁

로그 파일 분석을 수행하여 웹 사이트가 크롤링되는 빈도를 확인할 수 있습니다. 이렇게 하면 특정 페이지가 다른 페이지보다 더 자주 크롤링되는지 확인할 수 있습니다.

또한 로그 파일 분석을 통해 웹 사이트의 특정 영역에 문제가 있는지 여부를 파악할 수 있습니다.

또한 로그 파일 분석을 통해 웹 사이트의 특정 영역에 문제가 있는지 여부를 파악할 수 있습니다.

결론

크롤링 예산은 웹사이트의 전반적인 검색 엔진 가시성을 위해 필수적입니다. Googlebot이 페이지를 크롤링하고 색인을 생성할 수 없다면 실제로 온라인에 존재하지 않는 것입니다.

이 기사에서 논의한 모든 크롤링 예산 최적화 기술을 적용하면 보상을 받을 수 있습니다.

Google은 귀하의 콘텐츠를 더 빨리 찾고 색인을 생성할 수 있을 것이며, 궁극적으로 귀하의 웹사이트는 최적화 구현에 실패하거나 소홀히 하는 경쟁자보다 앞서게 될 것입니다.

당신을 위한 1:0! 잘 했어!