Monitoraggio di 20 anni di ricerca

Sei un nuovo marketer di ricerca che desidera conoscere la storia della ricerca?

Vuoi rimanere aggiornato sulle ultime novità del search marketing?

Se è così, c'è solo una persona che devi “seguire” per conoscere il 90% dei cambiamenti interessanti nel settore.

Questa persona ha un sito web; il suo primo post sul blog è stato pubblicato il 2 dicembre 2003. Il codice Google Analytics (GA) del sito è significativamente breve: UA-67314-1.

Diversi mesi fa, dopo una breve interazione su Mastodon, mi è stato concesso l'accesso al suo account GA per vedere se potevo raccontare una storia sulla storia della ricerca attraverso il suo lavoro come detentore dei registri del marketing di ricerca.

Osservando i suoi schemi di pubblicazione ( Figura 1 ), è chiaro che il volume non è una sfida. (Ho anche ricontrollato più volte questo grafico per assicurarmi che fosse corretto. Wow!)

Negli ultimi 20 anni, questa persona ha pubblicato, in media:

• 3,81 volte al giorno.
• 26,67 volte a settimana.
• 116,20 volte al mese.
• 1.437 volte all'anno.

Sono sicuro che ormai l'avete indovinato, ma sto parlando di Barry Schwartz e del suo sito Web, Search Engine Roundtable.

Questo articolo copre i punti chiave e i risultati della mia analisi dei dati storici di Google Analytics di seroundtable.com.

(Se sei interessato a come ho analizzato i dati e quali strumenti ho utilizzato, puoi consultare la metodologia di seguito.)

Copertura dei motori di ricerca nel corso degli anni

Poiché disponevamo di dati del 2003 e di un prolifico poster, abbiamo pensato che sarebbe stato interessante osservare la copertura dell'argomento che menzionava vari motori nei titoli dei post ( Figura 2 ).

Questa cifra racconta la stessa storia che tutti conosciamo, Google è il motore di ricerca più coperto negli ultimi due decenni.

Ma è anche interessante notare la morte di Yahoo e la rinascita di Microsoft Bing. (Sebbene Microsoft Bing abbia registrato un aumento della copertura, non è chiaro che ciò stia aiutando dal punto di vista dell'utilizzo, come riportato a maggio.)

Guardando la prospettiva di una persona di coprire l '"interesse" di questi prodotti è un modo unico di comprendere la loro storia.

In particolare, la maggior parte dei principali motori di ricerca statunitensi ha ricevuto menzioni minime negli ultimi 13 anni, ad eccezione di Microsoft Bing, che ha guadagnato improvvisamente importanza di recente grazie all'integrazione di Microsoft con OpenAI.

Osservando il numero medio di sessioni per post e la frequenza dei post nel tempo per coorte di motori di ricerca ( Figura 2 ), è chiaro che l'ampia copertura delle notizie contribuisce notevolmente all'importanza di Google per il pubblico di questo sito.

Una parte importante dei motori di ricerca è la frequenza con cui migliorano i loro risultati. Possiamo guardare indietro alla cronologia degli "aggiornamenti dell'algoritmo" coperti insieme al volume di ricerca guidato ogni mese.

Noterai come i post aumentano dopo l'ondata iniziale di traffico con un annuncio di aggiornamento. Il grafico qui sotto dipinge una storia davvero interessante di:

• Quanto sono frequenti gli aggiornamenti (almeno quelli importanti).
• La connessione di Schwartz e la coerenza della sua copertura.

L'impatto e la popolarità degli aggiornamenti di Google nella community di ricerca

Abbiamo etichettato circa 20 aggiornamenti Google denominati. Gli otto mostrati di seguito sono i primi otto per sessioni complessive ( Figura 4 ). Abbiamo aggiunto la categoria "Rigore" a questo grafico, poiché questa era un'area tematica forte ai tempi di Penguin.

Sebbene l'argomento sia ancora discusso, la sua popolarità è diminuita, come si vede di seguito. Ciò dimostra l'enorme impatto degli aggiornamenti di Penguin sulla comunità di ricerca.

È interessante notare che seroundtable.com ha subito un'azione manuale da parte di Google dal 2007 circa fino a marzo 2013.

Schwartz ne ha scritto nel 2011 e possiamo vedere annotazioni nel suo account GA che indicano che è stato revocato a marzo e verificato tramite richiesta di riconsiderazione ad aprile.

La crescita della sua sessione Google/Organic (YoY) per il primo trimestre del 2013 è stata del 16%, rispetto al 25% del secondo trimestre ( Figura 5 ).

La crescita dei nuovi utenti è cresciuta di 22 punti percentuali. Nonostante ciò, l'impatto è dubbio a causa di picchi di interesse anomali a favore del secondo trimestre.

Schwartz, dal suo post sul rigore (e dai suoi link di sponsorizzazione), ha dichiarato:

• "Sono testardo e sono uno dei pochi blog SEO che ha deciso di non cambiare quando Google ha scatenato il suo rigore".

Anni dopo, ha riconsiderato. (Molti dettagli ora mancano in GA, ma la penalità manuale probabilmente non ha avuto un impatto drastico.)

Anche Seroundtable.com è stato vittima dell'aggiornamento Panda 4.1 nel 2014 ( Figura 6 ).

Come indicato da Schwartz nel 2015, le prestazioni hanno iniziato a migliorare leggermente con Panda 4.2 a metà del 2015 fino a maggio 2020, quando si è verificato un altro improvviso calo.

Membri del team di Google

Abbiamo identificato 10 dipendenti di Google menzionati nei titoli dei post ( Figura 7 ).

Dei 10, abbiamo ristretto l'elenco per mostrare solo quelli che comunicano regolarmente informazioni alla comunità SEO.

Questa è la mia vista preferita in quanto mostra chiaramente le epoche di Matt Cutts contro John Mueller.

Come Public Liaison per Google Search, Danny Sullivan non è così pronunciato nei post. È importante notare che qualsiasi menzione di lui prima della fine del 2017 si riferirebbe al suo ruolo precedente prima di assumere questa posizione.

In qualità di fondatore di Search Engine Watch e successivamente editore fondatore di Search Engine Land, Sullivan è senza dubbio parte integrante della storia della SEO.

Copertura degli strumenti SEO

L'industria SEO non ha carenza di strumenti. Esaminando i post di Schwartz, possiamo vedere che nel corso degli anni ha menzionato un'ampia gamma di aziende produttrici di utensili.

Sebbene i post dedicati a una particolare azienda siano piuttosto rari, Schwartz ha coperto studi sui dati e annunci di prodotti.

Di seguito ( Figura 8a ), possiamo vedere la frequenza di copertura nei post dal 2003. Questi dati differiscono dagli altri dati in questo articolo in quanto considerano le menzioni nel titolo e nel contenuto dell'articolo.

Storicamente, possiamo vedere il vantaggio per i fornitori di strumenti di creare metriche di ranking aggregate come Mozcast.

Menzioni frequenti e crescenti con ogni fluttuazione della classifica. È anche chiaro qui la capacità di resistenza che ha Moz.

Post più importanti

La tabella seguente ( Figura 9 ) mostra il primo post per ogni anno in base alle visualizzazioni di pagina uniche.

Esistono contenuti con un appeal più ampio (al di fuori della comunità SEO) e contenuti più mirati ai marketer dei motori di ricerca.

Mi chiedo come decide questo equilibrio? Sono rimasto un po 'sorpreso da questo elenco, ma ha senso.

Figura 9

Commenti

Seroundtable.com, per quanto ne so, ha sempre consentito i commenti e la comunità SEO ama condividere opinioni sugli imbrogli di Google.

Questa vista ( Figura 10 ), suggerita da John Mueller, mostra i post nel tempo per visualizzazioni di pagina e commenti univoci (dimensione della bolla).

Questo diventa interessante se guardiamo i dati per categoria tematica.

Ad esempio, confrontiamo i contenuti su "Google Updates" con i contenuti su "Paid Advertising" ( Figure 11a e 11b ).

È molto meno acceso sul lato a pagamento, ma mostra l'elevato livello di interesse, emozione e interazione per i post che riguardano cambiamenti che possono potenzialmente cancellare mesi o anni di sforzi.

Collegamenti

Schwartz non è timido nel collegarsi agli altri.

Come accennato in precedenza, Schwartz ha aggiunto con riluttanza un attributo nofollow ai link di sponsorizzazione anni dopo aver ricevuto una modesta penalità da Google nel 2007.

Schwartz ha collegato il contenuto del suo post a quasi 4.000 domini univoci negli ultimi 20 anni ( Figura 12 ).

Questo grafico mostra i primi 10 domini collegati dal set di dati, illustrando chiaramente il valore che Twitter ha fornito a Schwartz per la pubblicazione di informazioni di cui scrivere negli ultimi 10 anni.

Il grafico successivo rimuove Twitter e Google e fa la stessa cosa ( Figura 13 ).

Iniziamo a vedere alcuni siti di cui i nuovi SEO potrebbero non essere a conoscenza, ma molti potrebbero ricordare con vari gradi di affetto.

Ottieni la newsletter quotidiana su cui si affidano i marketer di ricerca.

Elaborazione in corso... Attendere.

SOTTOSCRIVI

Vedi termini.

Visualizzazione dei dati delle tendenze di ricerca nel tempo

Ecco un divertente grafico a barre da corsa che mostra le migliori categorie negli ultimi 20 anni ( Figura 14 ). Questo serve a ricordare l'afflusso di panico all'interno della comunità SEO durante gli aggiornamenti di Google.

In una certa misura, questo porta conforto, poiché anche se la SEO sta cambiando rapidamente, è sempre stato così.

Figura 14 ( Guarda l'animazione completa qui .)

Schwartz pubblica come un robot

Ho pensato che qualcosa di interessante qui potesse essere usato per indicare dove un determinato giorno aveva la priorità per la pubblicazione, ma no.

Pubblicare proprio come succede, e succede spesso.

Dico che Schwartz è un robot basato sulla straordinaria costanza che ha dimostrato nel postare per molti anni.

Ho avuto difficoltà a impegnarmi nello stesso progetto per più di sei mesi, quindi 20 anni sono più che sorprendenti ( Figura 15 ).

Per equilibrio, ecco il numero di sessioni per giorno della settimana ( Figura 16 ). Immagino che non abbia molta importanza, anche se metà settimana è il chiaro vincitore.

Osservando i tipi di post pubblicati negli ultimi anni, non sembra esserci una grande differenza tra i tipi di post nei giorni feriali ( Figura 17 ).

Dove vediamo differenze è il sabato e la domenica, che sono giorni che di solito coinvolgono eventi temporali di forte importanza.

Storicamente Schwartz ha postato raramente il sabato e la domenica, rispettivamente con lo 0,74% e lo 0,17% di tutti i post.

Questo ha senso intuitivamente poiché è più probabile che si interrompa dal suo fine settimana per articoli che sono davvero importanti da coprire.

Categorie importanti e conteggio delle parole

Queste sono le categorie principali tra quelle esaminate in base alla pendenza ( Figura 18 ). Per riferimento, una pendenza è una misura che descrive la direzione e la pendenza della linea.

Uno dei motivi per cui queste categorie si comportano così bene dal punto di vista del traffico potrebbe essere che questo tipo di contenuto esce dalla tipica bolla del mondo SEO e si inserisce nella popolazione generale di interesse intorno a Google.

Schwartz ha spesso affermato che gli importa più di diffondere la notizia che della profondità con cui viene trattata.

Ciò è supportato dai dati quando si osserva la relazione tra le sessioni e il conteggio delle parole ( Figura 19 ).

In che modo i lettori di Schwartz riflettono l'industria SEO e l'interesse per diversi segmenti

Sottosezioni SEO

È qui che le categorie possono mettermi nei guai.

Ad alto livello, ecco l'interesse relativo nel settore SEO rispetto ai follower e ai lettori di Schwartz per i quattro principali segmenti di SEO ( Figura 20 ).

Come sottolineato da Mueller, puoi vedere bene il decennio del mobile.

AI e SEO

OK, volevo solo fare una mappa ad albero, ma questa è una bella vista delle sessioni totali per post della categoria "Machine Learning" ( Figura 21 ).

Si prega di notare che queste sono le sessioni totali del miglior post in ogni categoria. Questo dovrebbe controllare la relativa novità di alcune delle categorie.

Trovo affascinante che l'ingresso nel lessico di BERT abbia avuto un impatto maggiore rispetto ai recenti cambiamenti nell'apprendimento automatico.

Eroe SEO

Per tutti voi guru on-page là fuori, ecco il livello comparativo di interesse per i membri di questa categoria basato sulle sessioni del post con le migliori prestazioni ( Figura 22 ).

Una nota qui che "Meta" potrebbe essere gonfiata a causa delle corrispondenze con l'azienda, Meta (Facebook).

Ecco le principali categorie per tattica ( Figura 23 ). Poiché questo è nell'arco di 20 anni, alcune di queste tattiche potrebbero effettivamente penalizzare un sito web.

Questo mostra bene il passato a scacchi del SEO e la natura delle spinte PR di Google per richiamare tattiche che tentano di ingannare il loro sistema o danneggiare gli altri.

Pagato

Per i miei amici a pagamento, ecco i membri del gruppo di post "Pubblicità a pagamento". ( Figura 24 ). Chi si ricorda l'ouverture?

Browser

Questo è stato sorprendente per me in base a quanto Google è coperto su questo sito Web e quanto sia sbilanciata la quota di mercato di Google (62,85%), ma tanto di cappello a Schwartz per la copertura uniforme ( Figura 25 ).

Eventi

Alcuni post precedenti nella storia promuovevano conferenze specifiche come SMX, ma si trattava di un periodo relativamente breve, quindi sono stati rimossi dal set di dati.

È interessante notare che i contenuti COVID-19 dominanti, che sono durati circa un anno, sono stati confrontati con altre categorie nell'arco di 20 anni ( Figura 26 ).

Inoltre, abbiamo sicuramente bisogno di più uova di Pasqua da Google. Schwartz mi ha detto che era solito fare eventi di blog dal vivo, ma si è fermato più di dieci anni fa.

Ho rimosso la maggior parte (tutti?) Dei titoli dal set di dati che non contenevano almeno una menzione di un argomento pertinente (ad esempio, l'episodio del vlog n. 1234 Weekly Roundup è un esempio di uno che verrebbe rimosso).

Schwartz ha anche affermato di aver smesso di coprire i loghi di Google quando altri editori hanno iniziato a coprirli.

"Hanno perso il loro divertimento."

Quanto è bello fare qualcosa di così guidato dalla passione e non dai clic?

La cronologia della ricerca in 32.926 post e oltre

È interessante tornare indietro e raccontare tutto ciò che è cambiato nel settore e conoscere i giorni della ricerca nel "selvaggio west".

E dobbiamo ringraziare Barry Schwartz per i 20 anni di copertura del settore senza fallo.

Se si tratta di marketing per la ricerca, sappiamo che Schwartz lo ha più che probabilmente visto o coperto.

Non è una novità.

Voglio ringraziare John Mueller e Patrick Stox per le loro raccomandazioni e controlli di integrità sulle informazioni e sui dati forniti qui. Danny Sullivan ha anche esaminato per un ulteriore controllo di sanità mentale.

I dati e la metodologia

Ho iniziato eseguendo la scansione di seroundtable.com in Screaming Frog, estraendo con cura i meta contenuti dei post come Autore, Data del post e Categoria utilizzando l'estrazione personalizzata. Ho anche estratto i dati GA, anche se poiché erano del 2005, sapevo che non sarebbero stati sufficienti. I dati HTML sono stati inviati a un CSV per un'ulteriore elaborazione.

Dato che ci sono molti autori su seroundtable.com, ho limitato il resto dell'analisi solo ai post scritti da Schwartz (ne ha scritti più di 32.000).

Per capire meglio quanto Schwartz abbia contribuito al sito web, ecco una rapida occhiata ai primi 10 autori e quanti articoli sono loro attribuiti ( Figura 27 ).

Ho quindi impostato un pull API dall'API GA per estrarre pagine di destinazione e sessioni mensili per tutti gli utenti. Inoltre, abbiamo estratto i dati sulle visualizzazioni di pagina e sui collegamenti esterni.

Dopo aver estratto tutti i dati, ho notato che seroundtable.com utilizzava AMP, ovvero due set di URL per molti degli articoli. Guardando le lumache (es./category/this-is-a-slug.html), per fortuna, erano tutte uniche.

Avevo bisogno di eliminare le categorie, le pagine dell'autore e altre pagine in cui l'argomento non era deducibile dal titolo, limitandomi a dove Screaming Frog trovava gli autori che lo risolvevano facilmente.

Da lì, ho pulito i percorsi URL in slug univoci e l'ho utilizzato come corrispondenza tra i dati dell'URL sottoposti a scansione e i dati GA.

Vale la pena notare che i dati di seroundtable.com iniziano in GA nel 4° trimestre del 2005. Il primo post risale al 4° trimestre del 2003. Come sottolineato da Patrick Stox, il 14 novembre 2005 è stato il lancio ufficiale di GA, il che significa i nostri dati comprendono tutti i dati attraverso la nascita e la morte di GA come tutti lo conoscevamo.

Prima di questo, il sito utilizzava Urchin Analytics, che è diventato GA. Dei 27.309 slug unici trovati durante la ricerca per indicizzazione, solo lo 0,2% non è stato trovato nei dati GA. La maggior parte erano dopo il taglio dei dati del 30 giugno 2023.

Elaborazione del linguaggio naturale (PNL)

Dopo essermi assicurato di disporre di dati di pagina e dati di Analytics puliti, ho eseguito i titoli delle pagine attraverso un processo che li trasforma in ngram. Un ngram è un raggruppamento di n termini. Ad esempio, "la rana verde" sarebbe composta da: "il", "verde", "rana" come 1 grammo e "il verde", "rana verde" come 2 grammi. L'esecuzione di questo sui titoli e il conteggio della frequenza di ogni livello di grammo consente di far emergere concetti importanti.

Abbiamo quindi eseguito tutti gli ngram importanti attraverso un modello linguistico di grandi dimensioni (LLM) per vedere quanto bene potesse individuare argomenti importanti e combinarli ulteriormente in categorie pertinenti. È qui che vediamo i limiti degli LLM su argomenti di nicchia. Sebbene i modelli abbiano aiutato nel processo, è stato necessario rivedere manualmente vari ngram per concetti che potessero costruire una categoria.

Inoltre, ci sono molte entità e concetti come "Google" e "ricerca organica" nel set di dati che sono presenti in molti post, mentre argomenti temporalmente importanti come "colibrì" durano solo pochi post e confondono i modelli linguistici .

È possibile rivedere i dati delle categorie qui e rivedere le principali designazioni delle categorie nel grafico sottostante. Abbiamo abbinato le categorie ai titoli utilizzando la corrispondenza ordinata in base alla lunghezza delle parole inversa per garantire che frasi più dettagliate corrispondano prima di frasi più ampie (più brevi). Vale la pena notare che abbiamo suddiviso ogni argomento in una categoria ampia e una sottocategoria più dettagliata.

Il grafico sottostante ( Figura 28 ) contiene le categorie generali con sessioni al di sopra del 25° percentile. Si noti inoltre che il processo di classificazione è molto soggettivo. A dire il vero, gli spettatori troveranno argomenti che avrebbero classificato in modo diverso.

I dati dei collegamenti esterni e le menzioni degli strumenti SEO sono stati gestiti tramite scansioni separate mirate solo alle parti di ciascuna pagina dedicate al contenuto principale.

I dati dello strumento SEO differiscono dai dati categorizzati in quanto considerano il titolo e il contenuto. La categorizzazione dei post è stata fatta solo sul titolo.

Tabella, categorizzazione e dati storici (annuali) sulle visualizzazioni di pagina e sulle sessioni sono disponibili su Tracking 20 Years of Search Data.