20년간의 검색 추적

검색의 역사에 대해 배우려는 새로운 검색 마케터입니까?

최신 검색 마케팅 뉴스를 계속 업데이트하시겠습니까?

그렇다면 업계의 흥미로운 변화의 90%를 알기 위해 "팔로우"해야 하는 사람은 단 한 명뿐입니다.

이 개인은 웹사이트를 가지고 있습니다. 그의 첫 번째 블로그 게시물은 2003년 12월 2일에 게시되었습니다. 사이트의 Google Analytics(GA) 코드는 매우 짧습니다: UA-67314-1.

몇 달 전, Mastodon에 대한 짧은 상호 작용 후 검색 마케팅의 기록 보관인으로서의 작업을 통해 검색의 역사에 대한 이야기를 할 수 있는지 확인하기 위해 그의 GA 계정에 대한 액세스 권한이 부여되었습니다.

그의 게시 패턴( 그림 1 )을 보면 볼륨이 문제가 아님이 분명합니다. (이 그래프가 맞는지 확인하기 위해 여러 번 다시 확인하기도 했습니다. 와우!)

지난 20년 동안 이 사람은 평균적으로 다음을 게시했습니다.

• 하루 3.81회.
• 주당 26.67회.
• 월 116.20회.
• 연간 1,437회.

지금쯤 짐작하셨겠지만 저는 Barry Schwartz와 그의 웹사이트인 Search Engine Roundtable에 대해 이야기하고 있습니다.

이 문서에서는 seroundtable.com의 과거 Google Analytics 데이터를 분석하여 얻은 주요 내용과 결과를 다룹니다.

(내가 데이터를 분석한 방법과 사용한 도구에 관심이 있는 경우 아래 방법론을 확인할 수 있습니다.)

수년 동안 검색 엔진 범위

2003년의 데이터와 많은 포스터가 있었기 때문에 게시물 제목에서 다양한 엔진을 언급한 주제 범위를 살펴보는 것이 흥미로울 것이라고 생각했습니다( 그림 2 ).

이 수치는 우리 모두가 알고 있는 동일한 이야기를 말해줍니다. Google은 지난 20년 동안 가장 많이 검색된 검색 엔진입니다.

그러나 Yahoo의 죽음과 Microsoft Bing의 부활에 주목하는 것도 흥미롭습니다. (Microsoft Bing의 적용 범위가 급증했지만 5월에 보고된 바와 같이 이것이 사용 관점에서 도움이 되는지 확실하지 않습니다.)

'흥미로움'을 가리는 한 사람의 시선으로 바라보기 이러한 제품의 역사를 이해하는 독특한 방법입니다.

특히, 최근 Microsoft와 OpenAI의 통합으로 인해 갑자기 주목을 받은 Microsoft Bing을 제외하고 대부분의 주요 미국 검색 엔진은 지난 13년 동안 거의 언급되지 않았습니다.

게시물당 평균 세션 수와 검색 엔진 코호트별로 시간 경과에 따른 게시물 빈도를 살펴보면( 그림 2 ) 광범위한 뉴스 보도가 이 사이트의 사용자에 대한 Google의 중요성에 크게 기여한다는 것이 분명합니다.

검색 엔진의 중요한 부분 중 하나는 검색 결과를 얼마나 자주 개선하느냐입니다. 월별 검색량과 함께 다룬 '알고리즘 업데이트'의 역사를 돌아볼 수 있습니다.

업데이트 공지와 함께 초기 트래픽 급증 후 게시물이 어떻게 증가하는지 알 수 있습니다. 아래 그래프는 다음에 대한 정말 흥미로운 이야기를 그립니다.

• 업데이트 빈도(적어도 주요 업데이트).
• Schwartz와 그의 범위의 연결 및 일관성.

검색 커뮤니티에서 Google 업데이트의 영향 및 인기도

약 20개의 이름이 지정된 Google 업데이트에 레이블을 지정했습니다. 아래 표시된 8개는 전체 세션에서 상위 8개입니다( 그림 4 ). Penguin 당시 강력한 주제 영역이었던 "페널티" 범주를 이 차트에 추가했습니다.

주제가 여전히 논의되는 동안 아래에서 볼 수 있듯이 인기가 떨어졌습니다. 이것은 펭귄 업데이트가 검색 커뮤니티에 미치는 엄청난 영향을 보여줍니다.

흥미롭게도 seroundtable.com은 대략 2007년부터 2013년 3월까지 Google에서 직접 조치를 취했습니다.

Schwartz는 2011년에 이에 대해 썼고, 그의 GA 계정에서 3월에 해제되고 4월에 재검토 요청을 통해 해제된 것으로 확인된 주석을 볼 수 있습니다.

2013년 1분기 Google/Organic 세션 성장률(YoY)은 16%였으며, 2분기에는 25%였습니다( 그림 5 ).

신규 사용자 증가율은 22% 포인트 증가했습니다. 그럼에도 불구하고 2분기에 대한 관심이 급증했기 때문에 그 영향은 의심스럽습니다.

Schwartz는 페널티에 대한 게시물(및 그의 후원 링크)에서 다음과 같이 말했습니다.

• "저는 고집이 세고 Google이 제재를 가했을 때 변경하지 않기로 결정한 몇 안 되는 SEO 블로그 중 하나입니다."

몇 년 후, 그는 재고했습니다. (현재 GA에는 많은 세부 정보가 누락되어 있지만 수동 페널티가 큰 영향을 미치지 않았을 가능성이 높습니다.)

Seroundtable.com도 2014년 Panda 4.1 업데이트의 희생양이 되었습니다( 그림 6 ).

Schwartz가 2015년에 지적했듯이 성능은 2015년 중반 Panda 4.2에서 2020년 5월까지 완만하게 개선되기 시작했으며 이 때 또 다른 급격한 감소가 있었습니다.

Google 팀원

우리는 게시물 제목에 언급된 10명의 Google 직원을 식별했습니다( 그림 7 ).

10개 중에서 우리는 SEO 커뮤니티에 정기적으로 정보를 전달하는 사람들만 표시하도록 목록을 제한했습니다.

이것은 Matt Cutts 대 John Mueller 시대를 명확하게 보여주기 때문에 제가 가장 좋아하는 보기입니다.

Google 검색의 공개 연락 담당자인 Danny Sullivan은 게시물에서 그다지 뚜렷하지 않습니다. 2017년 말 이전에 그에 대한 언급은 이 직책을 맡기 전의 그의 이전 역할을 언급한다는 점에 유의하는 것이 중요합니다.

Search Engine Watch의 창립자이자 이후 Search Engine Land의 창립 편집자로서 Sullivan은 의심할 여지 없이 SEO 역사의 필수적인 부분입니다.

SEO 도구 범위

SEO 산업에는 도구가 부족하지 않습니다. Schwartz의 게시물을 검토하면 그가 수년에 걸쳐 광범위한 도구 회사를 언급했음을 알 수 있습니다.

특정 회사에 대한 게시물은 매우 드물지만 Schwartz는 데이터 연구 및 제품 발표를 다루었습니다.

아래( 그림 8a )에서 2003년 이후 게시물의 적용 빈도를 확인할 수 있습니다. 이 데이터는 기사 제목 및 내용의 언급을 고려하므로 이 기사의 다른 데이터와 다릅니다.

역사적으로 우리는 Mozcast와 같은 집계된 순위 메트릭을 생성하는 도구 공급업체의 이점을 볼 수 있습니다.

각 순위 변동에 따라 자주 언급되고 증가합니다. Moz가 가진 지속력도 여기에서 분명합니다.

상위 게시물

다음 표( 그림 9 )는 고유한 페이지뷰를 기준으로 각 연도의 상위 게시물을 보여줍니다.

더 넓은 호소력을 가진 콘텐츠(SEO 커뮤니티 외부)와 검색 엔진 마케팅 담당자를 대상으로 하는 콘텐츠가 더 좁습니다.

그가 이 균형을 어떻게 결정하는지 궁금합니다. 나는 이 목록에 약간 놀랐지만 말이 된다.

그림 9

코멘트

내가 아는 한 Seroundtable.com은 항상 댓글을 허용했으며 SEO 커뮤니티는 Google의 속임수에 대한 의견을 공유하는 것을 좋아합니다.

John Mueller가 제안한 이 보기( 그림 10 )는 고유한 페이지 보기 및 댓글(풍선 크기)별로 시간 경과에 따른 게시물을 보여줍니다.

주제 범주별로 데이터를 보면 흥미로워집니다.

예를 들어 "Google 업데이트"의 콘텐츠와 "유료 광고"의 콘텐츠를 비교해 보겠습니다( 그림 11a 및 11b ).

유료 측면에서는 훨씬 덜 열광적이지만 잠재적으로 몇 달 또는 몇 년의 노력을 지울 수 있는 변경 사항을 다루는 게시물에 대한 높은 수준의 관심, 감정 및 상호 작용을 보여줍니다.

연결

Schwartz는 다른 사람들과 연결하는 것을 부끄러워하지 않습니다.

앞서 언급했듯이 Schwartz는 2007년 Google로부터 약간의 벌금을 받은 지 몇 년 후 마지못해 스폰서십 링크에 nofollow 속성을 추가했습니다.

Schwartz는 지난 20년 동안 자신의 게시물 콘텐츠를 거의 4,000개의 고유한 도메인에 연결했습니다( 그림 12 ).

이 그래프는 데이터 세트에서 연결된 상위 10개 도메인을 보여주며, Twitter가 지난 10년 동안 작성할 정보를 표시하기 위해 Schwartz에 제공한 가치를 명확하게 보여줍니다.

다음 차트는 Twitter와 Google을 제거하고 동일한 작업을 수행합니다( 그림 13 ).

우리는 새로운 SEO가 인식하지 못할 수 있는 몇 가지 사이트를 보기 시작하지만 많은 사람들이 다양한 정도의 애정으로 기억할 수 있습니다.

검색 마케터가 의존하는 일일 뉴스레터를 받으세요.

처리 중…기다려 주십시오.

구독하다

용어를 참조하십시오.

시간 경과에 따른 검색 트렌드의 데이터 시각화

다음은 지난 20년 동안 상위 카테고리를 보여주는 재미있는 레이싱 바 차트입니다( 그림 14 ). 이는 Google 업데이트 중에 SEO 커뮤니티 내에서 패닉이 유입되었음을 상기시키는 역할을 합니다.

이는 SEO가 빠르게 변화하고 있지만 항상 그랬기 때문에 어느 정도 위안을 줍니다.

그림 14 ( 여기에서 전체 애니메이션 보기 .)

로봇 같은 Schwartz 게시물

게시를 위해 특정 날짜의 우선 순위를 지정하는 데 여기에서 흥미로운 것을 사용할 수 있다고 생각했지만 그렇지 않았습니다.

발생하는 그대로 게시하고 많은 일이 발생합니다.

Schwartz는 그가 수년에 걸쳐 게시하면서 보여준 놀라운 일관성을 기반으로 한 로봇이라고 언급합니다.

저는 6개월 이상 같은 프로젝트에 참여하는 데 어려움을 겪었으므로 20년이라는 시간은 정말 놀랍습니다( 그림 15 ).

균형을 위해 다음은 요일별 세션 수입니다( 그림 16 ). 주중이 확실한 승자이지만 정말 중요하지 않다고 생각합니다.

지난 몇 년간 게시된 게시물 유형을 보면 평일 게시물 유형 간에 큰 차이가 없는 것으로 보입니다( 그림 17 ).

우리가 차이를 보이는 곳은 일반적으로 매우 중요한 현세적 사건이 관련된 날인 토요일과 일요일입니다.

Schwartz는 역사적으로 토요일과 일요일에 거의 게시하지 않았으며 각각 전체 게시물의 0.74%와 0.17%를 차지했습니다.

이것은 그가 다루어야 할 정말 중요한 항목을 위해 주말에 휴식을 취할 가능성이 더 높기 때문에 직관적으로 이해가 됩니다.

중요한 범주 및 단어 수

기울기를 기준으로 검토한 카테고리 중 상위 카테고리입니다( 그림 18 ). 참고로 기울기는 선의 방향과 급경사를 나타내는 척도입니다.

이러한 카테고리가 트래픽 관점에서 매우 좋은 성과를 거두는 한 가지 이유는 이러한 유형의 콘텐츠가 일반적인 SEO 세계 거품에서 벗어나 Google 주변의 일반 관심 대상으로 분류되기 때문일 수 있습니다.

Schwartz는 뉴스를 다루는 깊이보다 뉴스를 알리는 데 더 관심이 있다고 종종 말했습니다.

이는 세션과 단어 수 간의 관계를 볼 때 데이터로 뒷받침됩니다( 그림 19 ).

Schwartz의 독자층이 SEO 산업과 다양한 부문에 대한 관심을 반영하는 방법

SEO 하위 섹션

여기에서 카테고리로 인해 문제가 발생할 수 있습니다.

높은 수준에서 SEO의 네 가지 주요 세그먼트에 대한 Schwartz의 추종자 및 독자와 관련하여 SEO 산업에 대한 상대적인 관심이 있습니다( 그림 20 ).

Mueller가 지적한 것처럼 모바일의 10년을 멋지게 볼 수 있습니다.

AI와 검색엔진 최적화

좋아요, 트리맵을 만들고 싶었지만 이것은 "머신 러닝" 범주의 게시물별 총 세션 보기입니다( 그림 21 ).

이것은 각 카테고리에서 최고의 게시물의 총 세션입니다. 이것은 일부 범주의 상대적인 최신성을 제어해야 합니다.

나는 BERT의 어휘집에 들어가는 것이 최근 기계 학습 변화보다 더 큰 영향을 미쳤다는 것이 매력적이라고 ​​생각합니다.

SEO 영웅

모든 온페이지 전문가를 위해 가장 성과가 좋은 게시물의 세션을 기반으로 이 범주의 구성원에 대한 상대적인 관심 수준이 있습니다( 그림 22 ).

회사인 Meta(Facebook)와의 일치로 인해 "Meta"가 부풀려질 수 있다는 점에 유의하십시오.

다음은 전술별 상위 카테고리입니다( 그림 23 ). 이것이 20년 이상 지속되었기 때문에 이러한 전술 중 다수는 실제로 웹사이트에 불이익을 줄 수 있습니다.

이것은 검색 엔진 최적화의 체크 무늬 과거와 시스템을 조작하거나 다른 사람에게 해를 입히려는 전술을 호출하기 위한 Google의 PR 푸시의 특성을 잘 보여줍니다.

유급의

유료 측 친구를 위해 "유료 광고" 게시물 그룹의 구성원은 다음과 같습니다. ( 그림 24 ). 누가 서곡을 기억합니까?

브라우저

이 웹사이트에서 Google이 얼마나 많이 다루고 있는지와 Google의 시장 점유율이 얼마나 편향되어 있는지(62.85%)를 고려할 때 이것은 저에게 놀라운 일이었지만 균등한 적용 범위를 위해 Schwartz에게 경의를 표합니다( 그림 25 ).

이벤트

역사의 일부 이전 게시물은 SMX와 같은 특정 컨퍼런스를 홍보했지만 이는 비교적 짧은 기간에 걸쳐 있었기 때문에 데이터 세트에서 제거되었습니다.

흥미롭게도 1년 정도 지속된 지배적인 COVID-19 콘텐츠를 20년 동안 다른 범주와 비교했습니다( 그림 26 ).

또한 Google의 부활절 달걀이 더 필요합니다. Schwartz는 라이브 블로그 이벤트를 하곤 했지만 10년 전에 중단했다고 말했습니다.

데이터 세트에서 관련 주제에 대한 언급이 없는 대부분의(모두?) 제목을 제거했습니다(예: vlog 에피소드 #1234 Weekly Roundup은 제거될 항목의 예입니다).

Schwartz는 또한 다른 게시자가 Google 로고를 가리기 시작했을 때 Google 로고를 가리는 것을 중단했다고 언급했습니다.

"그들은 재미를 잃었습니다."

클릭이 아닌 열정으로 무언가를 한다는 것이 얼마나 멋진 일입니까?

32,926개 게시물의 검색 기록 및 집계

돌아가서 업계에서 변경된 모든 것을 이야기하고 검색의 "황량한 서부" 시대를 알게 되는 것은 흥미로운 일입니다.

그리고 20년 동안 어김없이 업계를 취재해 온 Barry Schwartz에게 감사드립니다.

검색 마케팅과 관련된 경우 Schwartz가 그것을 보거나 다루었을 가능성이 더 높다는 것을 알고 있습니다.

그것은 새로운 것이 아닙니다.

여기에 제공된 정보와 데이터에 대한 권장 사항과 건전성 검사에 대해 John Mueller와 Patrick Stox에게 감사드립니다. Danny Sullivan도 추가 온전성 검사를 검토했습니다.

데이터 및 방법론

나는 Screaming Frog에서 seroundtable.com을 크롤링하는 것으로 시작하여 사용자 정의 추출을 사용하여 작성자, 게시 날짜 및 카테고리와 같은 포스트 메타 콘텐츠를 조심스럽게 가져왔습니다. 나는 또한 GA 데이터를 가져왔는데, 이것이 2005년부터였기 때문에 이것이 충분하지 않다는 것을 알았습니다. HTML 데이터는 추가 처리를 위해 CSV로 출력되었습니다.

seroundtable.com에는 작성자가 많기 때문에 나머지 분석은 Schwartz(그는 32,000개 이상을 작성함)가 작성한 게시물로만 제한했습니다.

Schwartz가 웹 사이트에 기여한 정도를 더 잘 이해하기 위해 상위 10명의 저자와 이들에게 기여한 기사 수를 간단히 살펴봅니다( 그림 27 ).

그런 다음 GA API에서 API 풀을 설정하여 모든 사용자에 대한 월간 랜딩 페이지 및 세션을 가져옵니다. 또한 페이지뷰 및 외부 링크에 대한 데이터를 가져왔습니다.

모든 데이터를 가져온 후에 나는 seroundtable.com이 많은 기사에 대해 두 세트의 URL을 의미하는 AMP를 사용한다는 것을 알았습니다. 민달팽이(예:/category/this-is-a-slug.html)를 보면 고맙게도 모두 독특했습니다.

제목에서 주제를 유추할 수 없는 범주, 작성자 페이지 및 기타 페이지를 제거해야 했습니다. Screaming Frog가 찾은 위치를 작성자가 쉽게 정리할 수 있도록 제한했습니다.

여기에서 고유한 슬러그에 대한 URL 경로를 정리하고 이를 크롤링된 URL 데이터와 GA 데이터 간의 일치 항목으로 사용했습니다.

seroundtable.com 데이터가 2005년 4분기에 GA에서 시작된다는 점은 주목할 가치가 있습니다. 첫 번째 게시물은 2003년 4분기부터였습니다. Patrick Stox가 지적한 바와 같이 2005년 11월 14일은 GA의 공식 출시일이었습니다. 우리의 데이터는 우리 모두가 알고 있는 GA의 탄생과 죽음을 통한 모든 데이터를 포함합니다.

그 전에는 사이트에서 GA가 된 Urchin Analytics를 사용했습니다. 크롤링에서 발견된 27,309개의 고유한 슬러그 중 0.2%만이 GA 데이터에서 발견되지 않았습니다. 대부분은 2023년 6월 30일 데이터 마감 이후였습니다.

자연어 처리(NLP)

깨끗한 페이지 데이터와 Analytics 데이터가 있는지 확인한 후 페이지 제목을 ngram으로 전환하는 프로세스를 통해 실행했습니다. ngram은 n-term 그룹화입니다. 예를 들어 "the green frog"는 "the", "green", "frog"가 1그램이고 "the green", "green frog"가 2그램으로 구성됩니다. 제목에 대해 이것을 실행하고 각 그램 수준의 빈도를 계산하면 중요한 개념이 떠오를 수 있습니다.

그런 다음 대규모 언어 모델(LLM)을 통해 모든 중요한 ngram을 실행하여 중요한 주제를 얼마나 잘 선택하고 관련 범주로 추가로 결합할 수 있는지 확인했습니다. 여기에서 틈새 주제에 대한 LLM의 한계를 볼 수 있습니다. 모델이 프로세스에 도움이 되었지만 범주를 구축할 수 있는 개념에 대해 다양한 ngram을 수동으로 검토해야 했습니다.

또한 많은 게시물에 존재하는 데이터 세트에는 "Google" 및 "자연 검색"과 같은 많은 엔터티 및 개념이 있는 반면 "벌새"와 같은 일시적으로 중요한 주제는 몇 개의 게시물에만 지속되며 언어 모델을 혼란스럽게 합니다. .

여기에서 범주 데이터를 검토하고 아래 그래프에서 주요 범주 지정을 검토할 수 있습니다. 더 넓은(짧은) 구문 앞에 일치하는 더 자세한 구문을 보장하기 위해 역 단어 길이 정렬 일치를 사용하여 범주를 제목에 일치시켰습니다. 각 주제를 넓은 범주와 더 자세한 하위 범주로 나누었다는 점은 주목할 가치가 있습니다.

아래 그래프( 그림 28 )에는 25번째 백분위수 이상의 세션이 있는 광범위한 범주가 포함되어 있습니다. 또한 분류 과정은 매우 주관적입니다. 확실히 시청자는 다르게 분류했을 주제를 찾을 것입니다.

외부 링크 데이터 및 SEO 도구 언급은 각 페이지의 주요 콘텐츠 부분만을 대상으로 하는 별도의 크롤링을 통해 처리되었습니다.

SEO 도구 데이터는 제목 과 내용을 고려하여 분류된 데이터와 다릅니다. 게시물 분류는 제목에 대해서만 수행되었습니다.

표, 분류, 과거(연간) 페이지뷰 및 세션 데이터는 Tracking 20 Years of Search Data에서 사용할 수 있습니다.