Śledzenie 20 lat poszukiwań

Czy jesteś nowym sprzedawcą w wyszukiwarkach i chcesz poznać historię wyszukiwania?

Czy chcesz być na bieżąco z najnowszymi wiadomościami z marketingu w wyszukiwarkach?

Jeśli tak, to jest tylko jedna osoba, którą musisz „obserwować”, aby poznać 90% interesujących zmian w branży.

Ta osoba ma stronę internetową; jego pierwszy post na blogu został opublikowany 2 grudnia 2003 r. Kod Google Analytics (GA) witryny jest wymownie krótki: UA-67314-1.

Kilka miesięcy temu, po krótkiej interakcji na Mastodon, otrzymałem dostęp do jego konta GA, aby zobaczyć, czy mógłbym opowiedzieć historię wyszukiwania poprzez jego pracę jako rekordzisty marketingu w wyszukiwarkach.

Patrząc na jego wzorce publikowania ( Rysunek 1 ), widać wyraźnie, że ilość nie stanowi wyzwania. (Kilka razy sprawdziłem nawet ten wykres, aby upewnić się, że jest poprawny. Wow!)

W ciągu ostatnich 20 lat ta osoba opublikowała średnio:

• 3,81 razy dziennie.
• 26,67 razy w tygodniu.
• 116,20 razy w miesiącu.
• 1437 razy w roku.

Jestem pewien, że już się domyśliłeś, ale mówię o Barrym Schwartz i jego stronie internetowej, Search Engine Roundtable.

W tym artykule omówiono najważniejsze wnioski i wnioski z mojej analizy historycznych danych Google Analytics dotyczących seroundtable.com.

(Jeśli interesuje Cię, w jaki sposób przeanalizowałem dane i jakich narzędzi użyłem, możesz zapoznać się z poniższą metodologią.)

Pokrycie wyszukiwarek na przestrzeni lat

Ponieważ dysponowaliśmy danymi z 2003 r. i obfitym plakatem, pomyśleliśmy, że warto przyjrzeć się omówieniu tematu, w którym wymieniono różne silniki w tytułach postów ( Rysunek 2 ).

Ta liczba opowiada tę samą historię, którą wszyscy znamy, Google jest najczęściej wyszukiwaną wyszukiwarką w ciągu ostatnich dwóch dekad.

Ale warto również zauważyć śmierć Yahoo i odrodzenie Microsoft Bing. (Chociaż Microsoft Bing odnotował gwałtowny wzrost zasięgu, nie jest jasne, czy pomaga to z perspektywy użytkowania, jak zgłoszono w maju).

Spojrzenie na perspektywę jednej osoby na pokrycie „interesowności” tych produktów jest unikalnym sposobem zrozumienia ich historii.

Warto zauważyć, że większość głównych wyszukiwarek w USA otrzymała minimalne wzmianki w ciągu ostatnich 13 lat, z wyjątkiem Microsoft Bing, który ostatnio zyskał na znaczeniu dzięki integracji Microsoft z OpenAI.

Patrząc na średnią liczbę sesji na post i częstotliwość postów w czasie według kohorty wyszukiwarki ( Rysunek 2 ), widać wyraźnie, że obszerne relacje w wiadomościach znacznie przyczyniają się do znaczenia Google dla odbiorców tej witryny.

Ważną częścią wyszukiwarek jest to, jak często poprawiają swoje wyniki. Możemy spojrzeć wstecz na historię „aktualizacji algorytmów” wraz z liczbą wyszukiwań generowanych każdego miesiąca.

Zauważysz, jak posty rosną po początkowym wzroście ruchu dzięki ogłoszeniu o aktualizacji. Poniższy wykres przedstawia naprawdę interesującą historię:

• Jak częste są aktualizacje (przynajmniej te główne).
• Połączenie Schwartza i spójność jego relacji.

Wpływ i popularność aktualizacji Google w społeczności wyszukiwania

Oznaczyliśmy około 20 nazwanych aktualizacji Google. Osiem pokazanych poniżej to najlepsze ósemki według sesji ogólnych ( Rysunek 4 ). Dodaliśmy do tego wykresu kategorię „Kara”, ponieważ był to silny obszar tematyczny w czasach Pingwina.

Chociaż temat jest nadal dyskutowany, jego popularność zmalała, jak widać poniżej. Pokazuje to ogromny wpływ aktualizacji Penguin na społeczność wyszukiwarek.

Co ciekawe, od mniej więcej 2007 roku do marca 2013 roku Google podjęło działania ręczne wobec seroundtable.com.

Schwartz napisał o tym w 2011 roku, a na jego koncie GA możemy zobaczyć adnotacje, które wskazują, że zostało to zniesione w marcu i zweryfikowane poprzez prośbę o ponowne rozpatrzenie w kwietniu.

Jego wzrost sesji Google/Organic (r/r) w pierwszym kwartale 2013 r. wyniósł 16%, w porównaniu do 25% w drugim kwartale ( wykres 5 ).

Wzrost liczby nowych użytkowników wzrósł o 22 punkty procentowe. Mimo to wpływ jest wątpliwy ze względu na odstające skoki zainteresowania na korzyść drugiego kwartału.

Schwartz, ze swojego postu na temat kary (i linków sponsorskich), powiedział:

• „Jestem uparty i jestem jednym z nielicznych blogerów SEO, którzy zdecydowali się nie zmieniać, gdy Google nałożył na nich karę”.

Po latach ponownie się zastanowił. (W GA brakuje teraz wielu szczegółów, ale kara ręczna prawdopodobnie nie miała drastycznego wpływu.)

Seroundtable.com również padło ofiarą aktualizacji Panda 4.1 w 2014 roku ( Rysunek 6 ).

Jak wskazał Schwartz w 2015 r., wydajność zaczęła się nieznacznie poprawiać w Pandzie 4.2 w połowie 2015 r., aż do maja 2020 r., kiedy nastąpił kolejny nagły spadek.

Członkowie zespołu Google

Zidentyfikowaliśmy 10 pracowników Google wymienionych w tytułach postów ( Rysunek 7 ).

Spośród 10 ograniczyliśmy listę, aby wyświetlać tylko te, które regularnie przekazują informacje społeczności SEO.

To mój ulubiony widok, ponieważ wyraźnie pokazuje ery Matt Cutts vs. John Mueller.

Jako Public Liaison for Google Search, Danny Sullivan nie jest tak wyraźny w postach. Należy zauważyć, że wszelkie wzmianki o nim przed końcem 2017 r. odnosiłyby się do jego poprzedniej roli przed objęciem tego stanowiska.

Jako założyciel Search Engine Watch, a później założyciel Search Engine Land, Sullivan jest niewątpliwie integralną częścią historii SEO.

Zakres narzędzia SEO

W branży SEO nie brakuje narzędzi. Przeglądając posty Schwartza, możemy zauważyć, że na przestrzeni lat wymieniał on wiele firm narzędziowych.

Podczas gdy posty poświęcone konkretnej firmie są dość rzadkie, Schwartz zajmował się analizami danych i ogłoszeniami o produktach.

Poniżej ( Rysunek 8a ) możemy zobaczyć częstotliwość pokrycia w postach od 2003 roku. Te dane różnią się od innych danych w tym artykule, ponieważ uwzględniają wzmianki w tytule i treści artykułu.

Z historycznego punktu widzenia widzimy korzyści dla dostawców narzędzi z tworzenia zagregowanych wskaźników rankingowych, takich jak Mozcast.

Częste i rosnące wzmianki z każdą zmianą rankingu. Jest tu również jasne, jaką siłę ma Moz.

Najlepsze posty

Poniższa tabela ( Rysunek 9 ) przedstawia najwyższe pozycje w każdym roku według unikalnych odsłon.

Istnieją treści o szerszym atrakcyjności (poza społecznością SEO) i treści, które są węższymi celami dla osób zajmujących się marketingiem w wyszukiwarkach.

Zastanawiam się, jak on decyduje o tej równowadze? Trochę mnie zaskoczyła ta lista, ale ma sens.

Rysunek 9

Uwagi

Seroundtable.com, o ile wiem, zawsze zezwalał na komentarze, a społeczność SEO uwielbia dzielić się opiniami na temat oszustw Google.

Ten widok ( Rysunek 10 ), zasugerowany przez Johna Muellera, pokazuje posty w czasie według unikalnych wyświetleń strony i komentarzy (rozmiar bąbelków).

Staje się to interesujące, jeśli spojrzymy na dane według kategorii tematycznych.

Na przykład porównajmy treść „Aktualizacje Google” z treścią „Płatne reklamy” ( rysunek 11a i 11b ).

Jest to znacznie mniej gorące po stronie płatnej, ale pokazuje zwiększony poziom zainteresowania, emocji i interakcji w przypadku postów obejmujących zmiany, które mogą potencjalnie wymazać miesiące lub lata wysiłku.

Spinki do mankietów

Schwartz nie boi się linkować do innych.

Jak wspomniano wcześniej, Schwartz niechętnie dodał atrybut nofollow do linków sponsorskich wiele lat po otrzymaniu skromnej kary od Google w 2007 roku.

W ciągu ostatnich 20 lat Schwartz połączył zawartość swojego posta z prawie 4000 unikalnymi domenami ( Rysunek 12 ).

Ten wykres pokazuje 10 najpopularniejszych domen połączonych ze zbioru danych, wyraźnie ilustrując wartość, jaką Twitter zapewnił firmie Schwartz za udostępnianie informacji, o których można pisać w ciągu ostatnich 10 lat.

Następny wykres usuwa Twittera i Google i robi to samo ( Rysunek 13 ).

Zaczynamy widzieć kilka witryn, których nowi specjaliści od SEO mogą nie być świadomi, ale wielu może je pamiętać z różnym stopniem sympatii.

Otrzymuj codzienny biuletyn wyszukiwania, na którym polegają marketerzy.

Przetwarzanie ... Proszę czekać.

SUBSKRYBUJ

Zobacz warunki.

Wizualizacja danych trendów wyszukiwania w czasie

Oto zabawny wykres słupkowy przedstawiający najlepsze kategorie w ciągu ostatnich 20 lat ( Rysunek 14 ). Służy to jako przypomnienie napływu paniki w społeczności SEO podczas aktualizacji Google.

W pewnym stopniu przynosi to komfort, bo choć SEO szybko się zmienia, to zawsze tak było.

Rysunek 14 ( Zobacz pełną animację tutaj ).

Schwartz publikuje jak robot

Pomyślałem, że można tu użyć czegoś interesującego, aby wskazać, gdzie dany dzień ma priorytet dla publikowania, ale nie.

Publikowanie tak, jak to się dzieje, a zdarza się to często.

Wspominam, że Schwartz jest robotem opartym na niezwykłej konsekwencji, którą wykazywał w publikowaniu przez wiele lat.

Miałem trudności z zaangażowaniem się w ten sam projekt przez ponad sześć miesięcy, więc 20 lat to więcej niż zdumiewające ( Rysunek 15 ).

Dla równowagi, oto liczba sesji według dni tygodnia ( Rysunek 16 ). Myślę, że to naprawdę nie ma znaczenia, chociaż środek tygodnia jest wyraźnym zwycięzcą.

Patrząc na rodzaje postów opublikowanych w ciągu ostatnich kilku lat, wydaje się, że nie ma dużej różnicy między typami postów w dni powszednie ( Rysunek 17 ).

Tam, gdzie dostrzegamy różnice, są soboty i niedziele, które są dniami, w których zwykle wiążą się z doczesnymi wydarzeniami o dużym znaczeniu.

Schwartz historycznie rzadko publikował posty w soboty i niedziele, odpowiednio 0,74% i 0,17% wszystkich postów.

Intuicyjnie ma to sens, ponieważ byłby bardziej skłonny przerwać swój weekend na rzeczy, które są naprawdę ważne do omówienia.

Ważne kategorie i liczba słów

Są to najlepsze kategorie z przeglądanych na podstawie nachylenia ( Rysunek 18 ). Dla porównania, nachylenie jest miarą opisującą kierunek i nachylenie linii.

Jednym z powodów, dla których kategorie te osiągają tak dobre wyniki z punktu widzenia ruchu, może być fakt, że tego typu treści wyłamują się z typowej bańki SEO i trafiają do ogólnej populacji zainteresowań wokół Google.

Schwartz często powtarzał, że bardziej zależy mu na przekazywaniu wiadomości niż na głębokości, z jaką są one omawiane.

Potwierdzają to dane, patrząc na związek między sesjami a liczbą słów ( Rysunek 19 ).

Jak czytelnictwo Schwartza odzwierciedla branżę SEO i zainteresowanie różnymi segmentami

podsekcje SEO

W tym miejscu kategorie mogą wpędzić mnie w kłopoty.

Na wysokim poziomie jest to względne zainteresowanie branżą SEO w odniesieniu do obserwujących i czytelników Schwartz dla czterech głównych segmentów SEO ( Rysunek 20 ).

Jak zauważył Mueller, dobrze widać dekadę mobile.

Sztuczna inteligencja i SEO

OK, chciałem tylko zrobić mapę drzewa, ale to fajny widok wszystkich sesji według postów z kategorii „Uczenie maszynowe” ( Rysunek 21 ).

Pamiętaj, że jest to łączna liczba sesji najlepszego posta w każdej kategorii. Powinno to kontrolować względną nowość niektórych kategorii.

Uważam za fascynujące, że wejście do leksykonu BERT miało większy wpływ niż ostatnie zmiany w uczeniu maszynowym.

bohater SEO

Oto porównawczy poziom zainteresowania członków tej kategorii na podstawie sesji najskuteczniejszego posta ( Rysunek 22 ) dla wszystkich guru na stronie.

Uwaga tutaj, że „Meta” może być zawyżona z powodu dopasowań do firmy Meta (Facebook).

Oto najlepsze kategorie według taktyki ( Rysunek 23 ). Ponieważ trwa to 20 lat, wiele z tych taktyk może faktycznie spowodować ukaranie strony internetowej.

To dobrze pokazuje burzliwą przeszłość SEO i naturę nacisków PR Google na wywołanie taktyk, które próbują oszukać ich system lub zaszkodzić innym.

Płatny

Dla moich znajomych po stronie płatnej, oto członkowie grupy postów „Płatna reklama”. ( Rysunek 24 ). Kto pamięta Uwerturę?

Przeglądarki

Było to dla mnie zaskakujące, biorąc pod uwagę, ile Google jest omawiane w tej witrynie i jak nierówny jest udział Google w rynku (62,85%), ale czapki z głów przed Schwartzem za równe pokrycie ( Rysunek 25 ).

Wydarzenia

Niektóre wcześniejsze posty w historii promowały konkretne konferencje, takie jak SMX, ale trwało to stosunkowo krótko, więc zostały usunięte ze zbioru danych.

Co ciekawe, dominujące treści związane z COVID-19, które trwały mniej więcej rok, porównano z innymi kategoriami na przestrzeni 20 lat ( wykres 26 ).

Ponadto zdecydowanie potrzebujemy więcej pisanek od Google. Schwartz powiedział mi, że prowadził wydarzenia na żywo na blogu, ale przestał ponad dekadę temu.

Usunąłem większość (wszystkie?) tytułów ze zbioru danych, które nie zawierały przynajmniej części wzmianki na odpowiedni temat (np. odcinek vloga nr 1234 Weekly Roundup jest przykładem takiego, który zostałby usunięty).

Schwartz wspomniał również, że przestał zakrywać logo Google, gdy inni wydawcy zaczęli je zakrywać.

„Przegrali z zabawą”.

Jak fajnie jest robić coś tak napędzanego pasją, a nie kliknięciami?

Historia wyszukiwania w 32 926 postach i wciąż rośnie

Ciekawie jest wrócić i opowiedzieć wszystko, co zmieniło się w branży i poznać dni poszukiwań na „dzikim zachodzie”.

Barry'emu Schwartzowi możemy podziękować za 20 lat nieustannego zajmowania się branżą.

Jeśli wiąże się to z marketingiem w wyszukiwarkach, wiemy, że Schwartz najprawdopodobniej go widział lub relacjonował.

To nie jest nowe.

Chcę podziękować Johnowi Muellerowi i Patrickowi Stoxowi za ich rekomendacje i weryfikację informacji i danych przedstawionych tutaj. Danny Sullivan również dokonał przeglądu pod kątem dodatkowej kontroli poczytalności.

Dane i metodologia

Zacząłem od zaindeksowania seroundtable.com w Screaming Frog, ostrożnie pobierając meta treści postów, takie jak Autor, Data postu i Kategoria, używając niestandardowego wyodrębniania. Wyciągnąłem również dane GA, chociaż ponieważ pochodziły z 2005 roku, wiedziałem, że to nie wystarczy. Dane HTML zostały przesłane do pliku CSV w celu dalszego przetwarzania.

Ponieważ na seroundtable.com jest wielu autorów, resztę analizy ograniczyłem tylko do postów napisanych przez Schwartza (napisał ich ponad 32 000).

Aby lepiej zrozumieć, ile Schwartz wniósł do witryny, przyjrzyjmy się 10 najlepszym autorom i liczbie przypisywanych im artykułów ( Rysunek 27 ).

Następnie skonfigurowałem pobieranie API z GA API, aby pobierać comiesięczne strony docelowe i sesje dla wszystkich użytkowników. Ponadto zebraliśmy dane dotyczące odsłon stron i linków zewnętrznych.

Po zebraniu wszystkich danych zauważyłem, że seroundtable.com używa AMP, co oznacza dwa zestawy adresów URL dla wielu artykułów. Patrząc na ślimaki (np. /category/this-is-a-slug.html), na szczęście wszystkie były wyjątkowe.

Musiałem wyeliminować kategorie, strony autorów i inne strony, których tematu nie można było wywnioskować z tytułu – ograniczając się do miejsca, w którym Screaming Frog znalazł autorów. Autorzy z łatwością to wyczyścili.

Stamtąd wyczyściłem ścieżki URL do unikalnych ślimaków i użyłem tego jako mojego dopasowania między indeksowanymi danymi URL a danymi GA.

Warto zauważyć, że dane seroundtable.com zaczynają się w GA w 4 kwartale 2005. Pierwszy post był z 4 kwartału 2003. Jak zaznaczył Patrick Stox, 14 listopada 2005 r. był oficjalnym startem GA, czyli nasze dane obejmują wszystkie dane poprzez narodziny i śmierć AH, jakie wszyscy znaliśmy.

Wcześniej witryna korzystała z Urchin Analytics, które stało się GA. Z 27 309 unikalnych ślimaków znalezionych podczas indeksowania tylko 0,2% nie zostało znalezionych w danych GA. Większość była po zamknięciu danych 30 czerwca 2023 r.

Przetwarzanie języka naturalnego (NLP)

Po upewnieniu się, że mam czyste dane strony i dane Analytics, przepuściłem tytuły stron przez proces, który przenosi je na ngramy. Ngram to n-terminowe ugrupowania. Na przykład „zielona żaba” składałaby się z: „the”, „green”, „żaba” jako 1 gram oraz „zielona”, „zielona żaba” jako 2 gramy. Przeprowadzenie tego przez tytuły i policzenie częstotliwości każdego poziomu gramów pozwala na pojawienie się ważnych koncepcji.

Następnie przepuściliśmy wszystkie ważne ngramy przez duży model językowy (LLM), aby zobaczyć, jak dobrze może on wybrać ważne tematy i dalej łączyć je w odpowiednie kategorie. W tym miejscu widzimy ograniczenia LLM w tematach niszowych. Chociaż modele pomogły w tym procesie, było sporo ręcznego przeglądania różnych ngramów w poszukiwaniu koncepcji, które mogłyby zbudować kategorię.

Co więcej, w zbiorze danych znajduje się wiele jednostek i pojęć, takich jak „Google” i „wyszukiwanie organiczne”, które są obecne w wielu postach, podczas gdy tematy ważne czasowo, takie jak „koliber”, trwają tylko przez kilka postów i piekielnie mylą modele językowe .

Możesz przejrzeć dane kategorii tutaj i przejrzeć główne oznaczenia kategorii na poniższym wykresie. Dopasowaliśmy kategorie do tytułów, używając dopasowywania odwrotnego sortowania długości słów, aby zapewnić dopasowanie bardziej szczegółowych fraz przed szerszymi (krótszymi) frazami. Warto zauważyć, że podzieliliśmy każdy temat na szeroką kategorię i bardziej szczegółową podkategorię.

Poniższy wykres ( Rysunek 28 ) zawiera ogólne kategorie z sesjami powyżej 25 percentyla. Należy również zauważyć, że proces klasyfikacji jest bardzo subiektywny. Z pewnością widzowie znajdą tematy, które sklasyfikowaliby inaczej.

Dane linków zewnętrznych i wzmianki o narzędziach SEO były obsługiwane za pomocą oddzielnych indeksowań ukierunkowanych tylko na części każdej strony poświęcone głównej treści.

Dane narzędzia SEO różnią się od danych skategoryzowanych, ponieważ uwzględniają tytuł i treść. Kategoryzacja postów została dokonana tylko na podstawie tytułu.

Tabela, kategoryzacja oraz historyczne (roczne) dane dotyczące odsłon i sesji są dostępne na stronie Śledzenie danych wyszukiwania z 20 lat.