Acompanhando 20 anos de pesquisa

Você é um novo profissional de marketing de pesquisa que deseja aprender sobre o histórico da pesquisa?

Você quer ficar atualizado sobre as últimas notícias de marketing de busca?

Se assim for, há apenas uma pessoa que você precisa “seguir” para conhecer 90% das mudanças interessantes na indústria.

Este indivíduo tem um site; sua primeira postagem no blog foi publicada em 2 de dezembro de 2003. O código do Google Analytics (GA) do site é surpreendentemente curto: UA-67314-1.

Vários meses atrás, após uma breve interação no Mastodon, tive acesso à sua conta do GA para ver se poderia contar uma história sobre a história da pesquisa por meio de seu trabalho como o detentor dos registros do marketing de pesquisa.

Observando seus padrões de postagem ( Figura 1 ), fica claro que o volume não é um desafio. (Eu até verifiquei este gráfico várias vezes para garantir que estava correto. Uau!)

Nos últimos 20 anos, essa pessoa postou, em média:

• 3,81 vezes por dia.
• 26,67 vezes por semana.
• 116,20 vezes por mês.
• 1.437 vezes por ano.

Tenho certeza de que você já deve ter adivinhado, mas estou falando de Barry Schwartz e seu site, Search Engine Roundtable.

Este artigo aborda as principais conclusões e descobertas da minha análise dos dados históricos do Google Analytics de seroundtable.com.

(Se você estiver interessado em saber como analisei os dados e quais ferramentas usei, confira a metodologia abaixo.)

Cobertura do mecanismo de pesquisa ao longo dos anos

Como tínhamos dados de 2003 e um pôster prolífico, pensamos que seria interessante observar a cobertura do tópico que mencionava vários mecanismos nos títulos das postagens ( Figura 2 ).

Esta figura conta a mesma história que todos nós conhecemos, o Google é o motor de busca mais coberto nas últimas duas décadas.

Mas também é interessante observar a morte do Yahoo e o ressurgimento do Microsoft Bing. (Embora o Microsoft Bing tenha visto um aumento na cobertura, não está claro que isso esteja ajudando do ponto de vista do uso, conforme relatado em maio.)

Olhando para a perspectiva de uma pessoa de cobrir o “interesse” desses produtos é uma forma única de entender sua história.

Notavelmente, a maioria dos principais mecanismos de busca dos EUA recebeu menções mínimas nos últimos 13 anos, exceto para o Microsoft Bing, que ganhou destaque repentino recentemente devido à integração da Microsoft com o OpenAI.

Observando o número médio de sessões por postagem e a frequência de postagem ao longo do tempo por coorte de mecanismo de pesquisa ( Figura 2 ), fica claro que a extensa cobertura de notícias contribui muito para a importância do Google para o público deste site.

Uma parte importante dos mecanismos de pesquisa é a frequência com que eles melhoram seus resultados. Podemos olhar para o histórico de “atualizações de algoritmos” cobertos junto com o volume de pesquisa conduzido a cada mês.

Você notará como as postagens aumentam após o pico inicial de tráfego com um anúncio de atualização. O gráfico abaixo mostra uma história realmente interessante de:

• Quão frequentes são as atualizações (pelo menos as principais).
• A conexão de Schwartz e a consistência de sua cobertura.

O impacto e a popularidade das atualizações do Google na comunidade de pesquisa

Rotulamos cerca de 20 atualizações nomeadas do Google. Os oito mostrados abaixo são os oito melhores por sessões gerais ( Figura 4 ). Adicionamos a categoria “Penalty” a este gráfico, já que esta era uma área de tópico forte na época do Penguin.

Embora o assunto ainda seja discutido, sua popularidade diminuiu, como visto abaixo. Isso mostra o tremendo impacto das atualizações do Penguin na comunidade de pesquisa.

Curiosamente, o seroundtable.com teve uma ação manual do Google de aproximadamente 2007 até março de 2013.

Schwartz escreveu sobre isso em 2011, e podemos ver anotações em sua conta do GA que apontam para o levantamento em março e verificação do levantamento por meio de pedido de reconsideração em abril.

O crescimento da sessão Google/Orgânica (YoY) no primeiro trimestre de 2013 foi de 16%, em comparação com 25% no segundo trimestre ( Figura 5 ).

O crescimento de novos usuários cresceu 22 pontos percentuais. Apesar disso, o impacto é duvidoso devido a picos de juros atípicos que favorecem o segundo trimestre.

Schwartz, de sua postagem sobre o pênalti (e seus links de patrocínio), disse:

• “Sou teimoso e sou um dos poucos blogs de SEO que decidiu não mudar quando o Google lançou sua penalidade.”

Anos depois, ele reconsiderou. (Muitos detalhes estão faltando no GA, mas a penalidade manual provavelmente não teve um impacto drástico.)

O Seroundtable.com também foi vítima da atualização do Panda 4.1 em 2014 ( Figura 6 ).

Como Schwartz indicou em 2015, o desempenho começou a melhorar modestamente com o Panda 4.2 em meados de 2015 até maio de 2020, quando houve outro declínio repentino.

Membros da equipe do Google

Identificamos 10 funcionários do Google mencionados nos títulos das postagens ( Figura 7 ).

Dos 10, restringimos a lista para mostrar apenas aqueles que comunicam informações regularmente à comunidade de SEO.

Esta é a minha visão favorita, pois mostra claramente as eras Matt Cutts vs. John Mueller.

Como o contato público da Pesquisa do Google, Danny Sullivan não é tão pronunciado nas postagens. É importante observar que qualquer menção a ele antes do final de 2017 se referiria à sua função anterior antes de assumir este cargo.

Como fundador do Search Engine Watch e mais tarde editor fundador do Search Engine Land, Sullivan é, sem dúvida, parte integrante da história do SEO.

Cobertura da ferramenta de SEO

A indústria de SEO não tem escassez de ferramentas. Revendo as postagens de Schwartz, podemos ver que ele mencionou uma ampla gama de empresas de ferramentas ao longo dos anos.

Embora as postagens dedicadas a uma determinada empresa sejam bastante raras, Schwartz cobriu estudos de dados e anúncios de produtos.

Abaixo ( Figura 8a ), podemos ver a frequência de cobertura nas postagens desde 2003. Esse dado difere dos demais dados deste artigo por considerar as menções no título e no conteúdo do artigo.

Historicamente, podemos ver o benefício para os fornecedores de ferramentas na criação de métricas de classificação agregadas, como o Mozcast.

Menções frequentes e crescentes a cada flutuação no ranking. Também fica claro aqui o poder de permanência que a Moz tem.

Principais postagens

A tabela a seguir ( Figura 9 ) mostra a postagem principal de cada ano por exibições de página exclusivas.

Há conteúdo com apelo mais amplo (fora da comunidade de SEO) e conteúdo mais direcionado aos profissionais de marketing de mecanismos de pesquisa.

Eu me pergunto como ele decide esse equilíbrio? Fiquei um pouco surpreso com essa lista, mas faz sentido.

Figura 9

Comentários

O Seroundtable.com, até onde eu sei, sempre permitiu comentários, e a comunidade de SEO adora compartilhar opiniões sobre as travessuras do Google.

Essa exibição ( Figura 10 ), sugerida por John Mueller, mostra postagens ao longo do tempo por exibições de página únicas e comentários (tamanho da bolha).

Isso fica interessante se observarmos os dados por categoria de tópico.

Por exemplo, vamos comparar o conteúdo de “Atualizações do Google” com o conteúdo de “Publicidade Paga” ( Figuras 11a e 11b ).

É muito menos aquecido no lado pago, mas mostra o nível elevado de interesse, emoção e interação para postagens que cobrem mudanças que podem potencialmente apagar meses ou anos de esforço.

links

Schwartz não tem vergonha de fazer links para outras pessoas.

Como mencionado anteriormente, Schwartz relutantemente adicionou um atributo nofollow aos links de patrocínio anos depois de receber uma modesta penalidade do Google em 2007.

Schwartz criou links a partir de seu conteúdo de postagem para quase 4.000 domínios exclusivos nos últimos 20 anos ( Figura 12 ).

Este gráfico mostra os 10 principais domínios vinculados do conjunto de dados, ilustrando claramente o valor que o Twitter forneceu a Schwartz para trazer à tona informações sobre as quais escrever nos últimos 10 anos.

O próximo gráfico remove o Twitter e o Google e faz a mesma coisa ( Figura 13 ).

Começamos a ver alguns sites que os SEOs mais novos podem não conhecer, mas muitos podem se lembrar com vários graus de afeição.

Obtenha a newsletter diária em que os profissionais de marketing de busca confiam.

Processando ... Por favor aguarde.

SE INSCREVER

Consulte os termos.

Visualização de dados das tendências de pesquisa ao longo do tempo

Aqui está um divertido gráfico de barras de corrida mostrando as principais categorias nos últimos 20 anos ( Figura 14 ). Isso serve como um lembrete do influxo de pânico na comunidade de SEO durante as atualizações do Google.

Até certo ponto, isso traz conforto, pois, embora o SEO esteja mudando rapidamente, sempre foi assim.

Figura 14 ( Veja a animação completa aqui .)

Schwartz posta como um robô

Achei que algo interessante aqui poderia ser usado para apontar onde um determinado dia foi priorizado para postagem, mas não.

Postar exatamente como acontece, e acontece muito.

Menciono que Schwartz é um robô com base na extraordinária consistência que demonstrou ao postar ao longo de muitos anos.

Tive dificuldade em me comprometer com o mesmo projeto por mais de seis meses, então 20 anos é incrível ( Figura 15 ).

Para equilíbrio, aqui está o número de sessões por dia da semana ( Figura 16 ). Eu acho que realmente não importa, embora no meio da semana seja o vencedor claro.

Observando os tipos de postagens publicadas nos últimos anos, não parece haver uma grande diferença entre os tipos de postagens nos dias de semana ( Figura 17 ).

Onde vemos diferenças é no sábado e no domingo, que são dias que geralmente envolvem eventos temporais de grande importância.

Schwartz historicamente postou raramente no sábado e no domingo, com 0,74% e 0,17% de todas as postagens, respectivamente.

Isso faz sentido intuitivamente, pois é mais provável que ele interrompa seu fim de semana para itens que são realmente importantes para cobrir.

Categorias importantes e contagem de palavras

Estas são as principais categorias dentre as revisadas com base na inclinação ( Figura 18 ). Para referência, uma inclinação é uma medida que descreve a direção e a inclinação da linha.

Uma das razões pelas quais essas categorias têm um desempenho tão bom do ponto de vista do tráfego pode ser que esse tipo de conteúdo saia da típica bolha mundial de SEO e entre na população geral de interesse do Google.

Schwartz sempre afirmou que se preocupa mais em divulgar as notícias do que com a profundidade com que são cobertas.

Isso é suportado pelos dados ao observar a relação entre as sessões e a contagem de palavras ( Figura 19 ).

Como os leitores de Schwartz refletem a indústria de SEO e o interesse em diferentes segmentos

Subseções de SEO

É aqui que as categorias podem me causar problemas.

Em um nível alto, aqui está o interesse relativo na indústria de SEO em relação aos seguidores e leitores de Schwartz para os quatro principais segmentos de SEO ( Figura 20 ).

Conforme apontado por Mueller, você pode ver bem a década do celular.

IA e SEO

OK, eu só queria fazer um mapa de árvore, mas esta é uma exibição interessante do total de sessões por postagens da categoria “Aprendizado de máquina” ( Figura 21 ).

Observe que este é o total de sessões da melhor postagem em cada categoria. Isso deve controlar a relativa novidade de algumas das categorias.

Acho fascinante que a entrada no léxico do BERT tenha tido um impacto maior do que as mudanças recentes no aprendizado de máquina.

herói de SEO

Para todos os gurus on-page, aqui está o nível comparativo de interesse para os membros desta categoria com base nas sessões da postagem de melhor desempenho ( Figura 22 ).

Uma nota aqui que “Meta” pode ser inflado devido a correspondências com a empresa Meta (Facebook).

Aqui estão as principais categorias por tática ( Figura 23 ). Como isso ocorre ao longo de 20 anos, várias dessas táticas podem realmente levar um site a ser penalizado.

Isso mostra bem o passado duvidoso do SEO e a natureza dos impulsos de relações públicas do Google para apontar táticas que tentam burlar seu sistema ou prejudicar outras pessoas.

Pago

Para meus amigos do lado pago, aqui estão os membros do grupo de postagens “Publicidade Paga”. ( Figura 24 ). Quem lembra da Abertura?

navegadores

Isso foi surpreendente para mim com base em quanto o Google é coberto neste site e como a participação de mercado do Google é desigual (62,85%), mas tiro o chapéu para Schwartz pela cobertura uniforme ( Figura 25 ).

Eventos

Algumas postagens anteriores na história promoveram conferências específicas como SMX, mas isso ocorreu em um período relativamente curto, então elas foram removidas do conjunto de dados.

Curiosamente, o conteúdo dominante do COVID-19, que durou cerca de um ano, foi comparado a outras categorias ao longo de 20 anos ( Figura 26 ).

Além disso, definitivamente precisamos de mais ovos de Páscoa do Google. Schwartz me disse que costumava fazer eventos de blog ao vivo, mas parou há mais de uma década.

Eu removi a maioria (todos?) dos títulos do conjunto de dados que não tinham pelo menos alguma menção a um tópico relevante (por exemplo, o episódio do vlog #1234 Weekly Roundup é um exemplo de um que seria removido).

Schwartz também mencionou que parou de cobrir os logotipos do Google quando outros editores começaram a cobri-los.

“Eles perderam a diversão.”

Quão legal é fazer algo tão movido pela paixão e não por cliques?

O histórico de buscas em 32.926 posts e contando

É interessante voltar e contar tudo o que mudou no setor e conhecer os dias do “faroeste” da busca.

E temos de agradecer a Barry Schwartz por 20 anos cobrindo o setor sem falhar.

Se envolve marketing de busca, sabemos que Schwartz provavelmente o viu ou cobriu.

Isso não é novo.

Quero agradecer a John Mueller e Patrick Stox por suas recomendações e verificações de sanidade nas informações e dados fornecidos aqui. Danny Sullivan também revisou para uma verificação de sanidade adicional.

Os dados e a metodologia

Comecei rastreando seuroundtable.com no Screaming Frog, puxando cuidadosamente o meta conteúdo da postagem, como Autor, Data da postagem e Categoria usando extração personalizada. Também extraí dados do GA, embora, como eram de 2005, soubesse que não seria suficiente. Os dados HTML foram enviados para um CSV para processamento posterior.

Como existem muitos autores no seroundtable.com, limitei o restante da análise apenas aos posts escritos por Schwartz (ele escreveu mais de 32.000 deles).

Para entender melhor o quanto Schwartz contribuiu para o site, aqui está uma rápida olhada nos 10 principais autores e quantos artigos são atribuídos a eles ( Figura 27 ).

Em seguida, configurei uma extração de API da API do GA para obter páginas de destino e sessões mensais para todos os usuários. Além disso, extraímos dados sobre pageviews e links externos.

Depois de extrair todos os dados, notei que o seroundtable.com usava AMP, ou seja, dois conjuntos de URLs para muitos dos artigos. Olhando para slugs (por exemplo, /category/this-is-a-slug.html), felizmente, eles eram todos únicos.

Eu precisava eliminar as categorias, páginas de autor e outras páginas onde o tópico não era inferido a partir do título - limitando-se a onde o Screaming Frog encontrou os autores limparam isso facilmente.

A partir daí, limpei os caminhos de URL para slugs exclusivos e usei isso como minha correspondência entre os dados de URL rastreados e os dados do GA.

Vale a pena notar que os dados do seroundtable.com começam em GA no 4º trimestre de 2005. A primeira postagem foi do 4º trimestre de 2003. Conforme apontado por Patrick Stox, 14 de novembro de 2005 foi o lançamento oficial do GA, ou seja nossos dados abrangem todos os dados do nascimento e morte de GA como todos nós o conhecíamos.

Antes disso, o site usava o Urchin Analytics, que se tornou GA. Dos 27.309 slugs únicos encontrados no rastreamento, apenas 0,2% não foram encontrados nos dados do GA. A maioria ocorreu após o corte de dados de 30 de junho de 2023.

Processamento de linguagem natural (PNL)

Depois de garantir que eu tinha dados de página limpos e dados do Analytics, executei os títulos das páginas por meio de um processo que os transfere para ngrams. Um ngram é um agrupamento de n termos. Por exemplo, “o sapo verde” seria composto de: “o”, “verde”, “sapo” como 1 grama e “o verde”, “sapo verde” como 2 gramas. Executar isso sobre os títulos e contar a frequência de cada nível de grama permite que conceitos importantes surjam.

Em seguida, executamos todos os ngrams importantes por meio de um modelo de linguagem grande (LLM) para ver como ele poderia selecionar tópicos importantes e combiná-los ainda mais em categorias relevantes. É aqui que vemos as limitações dos LLMs em tópicos de nicho. Embora os modelos tenham ajudado no processo, houve bastante revisão manual de vários ngrams em busca de conceitos que pudessem criar uma categoria.

Além disso, existem muitas entidades e conceitos como “Google” e “pesquisa orgânica” no conjunto de dados que estão presentes em muitas postagens, enquanto tópicos temporariamente importantes como “beija-flor” duram apenas algumas postagens e confundem muito os modelos de linguagem .

Você pode revisar os dados da categoria aqui e revisar as designações da categoria principal no gráfico abaixo. Combinamos as categorias com os títulos usando correspondência de tamanho de palavra reversa para garantir que frases mais detalhadas correspondam antes de frases mais amplas (mais curtas). Vale a pena notar que dividimos cada tópico em uma categoria ampla e uma subcategoria mais detalhada.

O gráfico abaixo ( Figura 28 ) contém as categorias amplas com sessões acima do percentil 25. Observe também que o processo de classificação é muito subjetivo. Com certeza, os espectadores encontrarão tópicos que teriam categorizado de maneira diferente.

Dados de links externos e menções de ferramentas de SEO foram tratados por meio de rastreamentos separados visando apenas as partes de cada página dedicadas ao conteúdo principal.

Os dados da ferramenta de SEO diferem dos dados categorizados, pois consideram o título e o conteúdo. A categorização das postagens foi feita apenas pelo título.

Tabela, categorização e exibição de página histórica (anual) e dados de sessão estão disponíveis em Rastreamento de 20 anos de dados de pesquisa.