Отслеживание 20 лет поиска

Вы новичок в поисковом маркетинге и хотите узнать об истории поиска?

Хотите быть в курсе последних новостей поискового маркетинга?

Если да, то вам нужно «подписаться» только на одного человека, чтобы знать 90% интересных изменений в отрасли.

У этого человека есть веб-сайт; его первая запись в блоге была опубликована 2 декабря 2003 года. Код сайта Google Analytics (GA) очень короткий: UA-67314-1.

Несколько месяцев назад, после краткого общения с Mastodon, я получил доступ к его учетной записи GA, чтобы посмотреть, смогу ли я рассказать историю об истории поиска через его работу в качестве хранителя записей поискового маркетинга.

Глядя на его шаблоны постинга ( рис. 1 ), становится ясно, что объем — не проблема. (Я даже перепроверил этот график несколько раз, чтобы убедиться, что он верен. Вау!)

За последние 20 лет этот человек публиковал в среднем:

• 3,81 раза в сутки.
• 26,67 раз в неделю.
• 116,20 раз в месяц.
• 1437 раз в год.

Я уверен, что вы уже догадались, но я говорю о Барри Шварце и его веб-сайте Search Engine Roundtable.

В этой статье рассматриваются основные выводы и результаты моего анализа исторических данных Google Analytics от seroundtable.com.

(Если вам интересно, как я анализировал данные и какие инструменты использовал, вы можете ознакомиться с методологией ниже.)

Охват поисковых систем на протяжении многих лет

Так как у нас были данные за 2003 год и многочисленный постер, мы подумали, что было бы интересно взглянуть на освещение темы, в котором упоминались различные движки в заголовках постов ( рис. 2 ).

Эта цифра говорит о той же истории, которую мы все знаем: Google является самой популярной поисковой системой за последние два десятилетия.

Но также интересно отметить смерть Yahoo и возрождение Microsoft Bing. (Хотя охват Microsoft Bing резко вырос, неясно, помогает ли это с точки зрения использования, как сообщалось в мае.)

Глядя на точку зрения одного человека на прикрытие «интересности» этих продуктов — уникальный способ понять их историю.

Примечательно, что большинство основных поисковых систем США за последние 13 лет получили минимальное количество упоминаний, за исключением Microsoft Bing, которая недавно неожиданно приобрела известность благодаря интеграции Microsoft с OpenAI.

Глядя на среднее количество сеансов на публикацию и частоту публикации в зависимости от когорты поисковых систем ( рис. 2 ), становится ясно, что широкое освещение новостей в значительной степени способствует значимости Google для аудитории этого сайта.

Одной из важных характеристик поисковых систем является то, как часто они улучшают свои результаты. Мы можем оглянуться назад на историю «обновлений алгоритмов», охваченных вместе с объемом поиска, выполняемым каждый месяц.

Вы заметите, как количество сообщений увеличивается после первоначального всплеска трафика с объявлением об обновлении. График ниже рисует действительно интересную историю:

• Насколько часты обновления (по крайней мере крупные).
• Связь Шварца с его освещением и последовательность.

Влияние и популярность обновлений Google в поисковом сообществе

Мы пометили примерно 20 названных обновлений Google. Восемь, показанные ниже, являются восьмеркой лучших по общему количеству сессий ( рис. 4 ). Мы добавили на эту диаграмму категорию «Пенальти», так как во времена Пингвина это была сильная тема.

Хотя эта тема все еще обсуждается, ее популярность пошла на убыль, как видно ниже. Это показывает огромное влияние обновлений Penguin на поисковое сообщество.

Любопытно, что с 2007 по март 2013 года в отношении сайта seroundtable.com Google предпринимал действия вручную.

Шварц написал об этом в 2011 году, и мы можем видеть аннотации в его аккаунте GA, которые указывают на то, что он был отменен в марте и проверен, снят с помощью запроса на пересмотр в апреле.

Рост его сеансов Google/Organic (в годовом исчислении) в первом квартале 2013 года составил 16 % по сравнению с 25 % во втором квартале ( рис. 5 ).

Прирост новых пользователей вырос на 22 процентных пункта. Несмотря на это, влияние сомнительно из-за резких всплесков интереса в пользу второго квартала.

Шварц в своем посте о пенальти (и своих спонсорских ссылках) сказал:

• «Я упрямый, и я один из немногих SEO-блогов, которые решили не меняться, когда Google наложил свой штраф».

Спустя годы он передумал. (Многие детали теперь отсутствуют в GA, но ручное наказание, вероятно, не оказало существенного влияния.)

Serroundtable.com также стал жертвой обновления Panda 4.1 в 2014 году ( рис. 6 ).

Как указал Шварц в 2015 году, производительность Panda 4.2 начала незначительно улучшаться с середины 2015 года до мая 2020 года, когда произошло еще одно внезапное снижение.

Члены команды Google

Мы выявили 10 сотрудников Google, упомянутых в заголовках постов ( рис. 7 ).

Из 10 мы ограничили список, чтобы показать только тех, кто регулярно передает информацию сообществу SEO.

Это мой любимый вид, так как он ясно показывает эпохи Мэтта Каттса и Джона Мюллера.

Как представитель по связям с общественностью для Google Search, Дэнни Салливан не так ярко выражен в сообщениях. Важно отметить, что любые упоминания о нем до конца 2017 года будут относиться к его предыдущей роли до того, как он занял эту должность.

Как основатель Search Engine Watch, а позже редактор-основатель Search Engine Land, Салливан, несомненно, является неотъемлемой частью истории SEO.

Покрытие инструментов SEO

Индустрия SEO не испытывает недостатка в инструментах. Просматривая посты Шварца, мы видим, что за эти годы он упомянул широкий круг инструментальных компаний.

Хотя сообщения, посвященные конкретной компании, довольно редки, Шварц освещал исследования данных и анонсы продуктов.

Ниже ( Рисунок 8а ) мы можем увидеть частоту освещения в постах с 2003 года. Эти данные отличаются от других данных в этой статье, так как учитывают упоминания в заголовке и содержании статьи.

Исторически сложилось так, что поставщикам инструментов выгодно создавать агрегированные показатели ранжирования, такие как Mozcast.

Частые и растущие упоминания с каждым изменением рейтинга. Здесь также очевидна выносливость Моза.

Лучшие сообщения

В следующей таблице ( рис. 9 ) показана самая популярная публикация за каждый год по количеству уникальных просмотров страниц.

Есть контент с более широкой привлекательностью (за пределами SEO-сообщества) и контент, более узко ориентированный на маркетологов поисковых систем.

Интересно, как он решает этот баланс? Меня немного удивил этот список, но он имеет смысл.

Рисунок 9

Комментарии

Насколько мне известно, на сайте Serroundtable.com всегда разрешены комментарии, а SEO-сообщество любит делиться мнениями о махинациях Google.

Это представление ( рисунок 10 ), предложенное Джоном Мюллером, показывает сообщения с течением времени по уникальным просмотрам страниц и комментариям (размер кружков).

Это становится интересным, если мы посмотрим на данные по категориям тем.

Например, давайте сравним контент в «Обновлениях Google» с контентом в «Платной рекламе» ( рис. 11a и 11b ).

Платная сторона гораздо менее накалена, но показывает повышенный уровень интереса, эмоций и взаимодействия к сообщениям, посвященным изменениям, которые потенциально могут стереть месяцы или годы усилий.

Ссылки

Шварц не стесняется ссылаться на других.

Как упоминалось ранее, Шварц неохотно добавил атрибут nofollow к спонсорским ссылкам спустя годы после того, как в 2007 году получил скромный штраф от Google.

За последние 20 лет Шварц сделал ссылки из своего поста почти на 4000 уникальных доменов ( рис. 12 ).

На этом графике показаны 10 самых популярных связанных доменов из набора данных, что наглядно иллюстрирует ценность, которую Twitter предоставил Шварцу для всплывающей информации, о которой можно писать за последние 10 лет.

Следующая диаграмма удаляет Twitter и Google и делает то же самое ( рис. 13 ).

Мы начинаем видеть несколько сайтов, о которых новые SEO-специалисты могут не знать, но многие могут помнить их с разной степенью симпатии.

Получайте ежедневный информационный бюллетень, на который полагаются поисковые маркетологи.

Обработка… Пожалуйста, подождите.

ПОДПИСАТЬСЯ

См. условия.

Визуализация данных тенденций поиска с течением времени

Вот забавная гистограмма, показывающая лучшие категории за последние 20 лет ( рис. 14 ). Это служит напоминанием о наплыве паники в SEO-сообществе во время обновлений Google.

В какой-то степени это приносит утешение, так как хотя SEO быстро меняется, так было всегда.

Рисунок 14 ( Полную анимацию см. здесь .)

Шварц пишет как робот

Я подумал, что что-то интересное здесь можно использовать, чтобы указать, где определенный день был приоритетным для публикации, но нет.

Публикую просто так, как это происходит, а это случается очень часто.

Я упоминаю, что Шварц — робот, основанный на необычайной последовательности, которую он демонстрировал в публикациях на протяжении многих лет.

Мне было трудно заниматься одним и тем же проектом более шести месяцев, поэтому 20 лет — это больше, чем удивительно ( рис. 15 ).

Для баланса вот количество сеансов по дням недели ( рисунок 16 ). Я думаю, это действительно не имеет значения, хотя середина недели - явный победитель.

Глядя на типы постов, опубликованных за последние несколько лет, кажется, что нет большой разницы между типами постов в будние дни ( рис. 17 ).

Где мы действительно видим различия, так это в субботу и воскресенье, которые являются днями, которые обычно связаны с временными событиями большой важности.

Исторически Шварц редко публиковал сообщения в субботу и воскресенье, с 0,74% и 0,17% всех сообщений соответственно.

Интуитивно это имеет смысл, так как он, скорее всего, прервет свои выходные для действительно важных дел.

Важные категории и количество слов

Это высшие категории из рассмотренных на основе наклона ( рис. 18 ). Для справки, наклон — это мера, описывающая направление и крутизну линии.

Одна из причин, по которой эти категории так хорошо работают с точки зрения трафика, может заключаться в том, что этот тип контента вырывается из типичного мирового пузыря SEO и попадает в общую группу интересов вокруг Google.

Шварц часто заявлял, что его больше заботит распространение новостей, чем глубина их освещения.

Это подтверждается данными при рассмотрении взаимосвязи между сеансами и количеством слов ( рис. 19 ).

Как читатели Шварца отражают индустрию SEO и интерес к различным сегментам

SEO-подразделы

Вот где категории могут доставить мне неприятности.

На высоком уровне это относительный интерес к индустрии SEO по отношению к последователям и читателям Шварца по четырем основным сегментам SEO ( Рисунок 20 ).

Как отметил Мюллер, десятилетие мобильных устройств прекрасно видно.

ИИ и SEO

Хорошо, я просто хотел сделать древовидную карту, но это крутой вид общего количества сессий по постам из категории «Машинное обучение» ( рисунок 21 ).

Обратите внимание, что это общее количество сессий лучшего поста в каждой категории. Это должно контролировать относительную новизну некоторых категорий.

Я нахожу удивительным, что появление лексикона BERT оказало большее влияние, чем недавние изменения в машинном обучении.

SEO-герой

Для всех вас, гуру on-page, вот сравнительный уровень интереса для участников этой категории, основанный на сеансах самого эффективного поста ( рис. 22 ).

Обратите внимание, что «Мета» может быть завышена из-за совпадений с компанией «Мета» (Facebook).

Вот лучшие категории по тактике ( рис. 23 ). Поскольку это происходит в течение 20 лет, некоторые из этих тактик могут фактически привести к наказанию веб-сайта.

Это хорошо показывает пестрое прошлое SEO и характер PR-подталкивания Google к выявлению тактики, которая пытается обмануть их систему или навредить другим.

Оплаченный

Для моих друзей на платной стороне, вот участники группы постов «Платная реклама». ( Рисунок 24 ). Кто помнит Увертюру?

Браузеры

Для меня это было неожиданностью, учитывая, насколько Google освещается на этом веб-сайте и насколько неравномерной является рыночная доля Google (62,85%), но я снимаю шляпу перед Шварцем за равномерный охват ( рис. 25 ).

События

Некоторые более ранние публикации в истории продвигали определенные конференции, такие как SMX, но это было в течение относительно короткого периода времени, поэтому они были удалены из набора данных.

Интересно, что доминирующий контент о COVID-19, который длился год или около того, сравнивался с другими категориями более 20 лет ( рис. 26 ).

Кроме того, нам определенно нужно больше пасхальных яиц от Google. Шварц сказал мне, что раньше он проводил живые блог-мероприятия, но прекратил это более десяти лет назад.

Я удалил большинство (все?) заголовков из набора данных, в которых не было хотя бы некоторого упоминания соответствующей темы (например, эпизод влога № 1234 Weekly Roundup является примером того, что будет удалено).

Шварц также упомянул, что перестал размещать логотипы Google, когда их начали освещать другие издатели.

«Они потеряли удовольствие».

Насколько круто делать что-то настолько движимое страстью, а не кликами?

История поиска в 32 926 постах и ​​подсчете

Интересно вернуться назад и рассказать обо всем, что изменилось в индустрии, познакомиться с «дикими западными» днями поисков.

И мы должны поблагодарить Барри Шварца за 20 лет непрерывного освещения отрасли.

Если это связано с поисковым маркетингом, мы знаем, что Шварц, скорее всего, видел или освещал его.

Это не ново.

Я хочу поблагодарить Джона Мюллера и Патрика Стокса за их рекомендации и проверку достоверности информации и данных, представленных здесь. Дэнни Салливан также прошел дополнительную проверку на вменяемость.

Данные и методология

Я начал с обхода сайта seroundtable.com в Screaming Frog, тщательно извлекая метаконтент сообщений, такой как автор, дата публикации и категория, используя пользовательское извлечение. Я также вытащил данные GA, хотя, поскольку они были с 2005 года, я знал, что этого будет недостаточно. Данные HTML были выведены в CSV для дальнейшей обработки.

Поскольку на seroundtable.com много авторов, остальной анализ я ограничил только постами, написанными Шварцем (он написал их более 32 000).

Чтобы лучше понять, какой вклад Шварц внес в веб-сайт, кратко рассмотрим 10 ведущих авторов и количество статей, им приписываемых ( рис. 27 ).

Затем я настроил извлечение API из GA API, чтобы получать ежемесячные целевые страницы и сеансы для всех пользователей. Кроме того, мы получили данные о просмотрах страниц и внешних ссылках.

После извлечения всех данных я заметил, что seroundtable.com использует AMP, что означает два набора URL-адресов для многих статей. Глядя на слаги (например, /category/this-is-a-slug.html), к счастью, все они были уникальны.

Мне нужно было удалить категории, страницы авторов и другие страницы, где тема не была выведена из названия — ограничиваясь тем, где Screaming Frog нашел Авторы легко убрали это.

Оттуда я очистил пути URL-адресов до уникальных слагов и использовал это как соответствие между просканированными данными URL-адреса и данными GA.

Стоит отметить, что данные seroundtable.com начинаются в GA в 4-м квартале 2005 г. Первая публикация относится к 4-му кварталу 2003 г. Как указал Патрик Стокс, 14 ноября 2005 г. был официальным запуском GA, т.е. наши данные охватывают все данные о рождении и смерти ГА, как мы все это знали.

До этого сайт использовал Urchin Analytics, который стал GA. Из 27 309 уникальных слагов, найденных при сканировании, только 0,2% не были найдены в данных GA. Большинство из них были после прекращения сбора данных 30 июня 2023 года.

Обработка естественного языка (NLP)

Убедившись, что у меня есть чистые данные страницы и данные Analytics, я прогнал заголовки страниц через процесс, который переводит их в ngrams. Ngram - это n-членные группы. Например, «зеленая лягушка» будет состоять из: «the», «green», «frog» в виде 1 грамма и «the green», «зеленая лягушка» в виде 2 граммов. Запустив это по заголовкам и подсчитав частоту каждого уровня грамма, можно выделить важные концепции.

Затем мы прогнали все важные ngrams через большую языковую модель (LLM), чтобы увидеть, насколько хорошо она может выбирать важные темы и далее объединять их в соответствующие категории. Именно здесь мы видим ограничения LLM в нишевых темах. Хотя модели помогли в этом процессе, было довольно много ручного просмотра различных ngrams для концепций, которые могли бы создать категорию.

Кроме того, в наборе данных есть много сущностей и понятий, таких как «Google» и «обычный поиск», которые присутствуют во многих сообщениях, в то время как важные во времени темы, такие как «колибри», занимают всего несколько сообщений и чертовски запутывают языковые модели. .

Вы можете просмотреть данные о категориях здесь и просмотреть основные обозначения категорий на графике ниже. Мы сопоставили категории с заголовками, используя сопоставление с обратной сортировкой по длине слова, чтобы обеспечить сопоставление более подробных фраз перед более широкими (более короткими) фразами. Стоит отметить, что мы разбили каждую тему на широкую категорию и более подробную подкатегорию.

График ниже ( рис. 28 ) содержит общие категории с сеансами выше 25-го процентиля. Также обратите внимание, что процесс классификации очень субъективен. Безусловно, зрители найдут темы, которые они классифицировали бы по-другому.

Данные внешних ссылок и упоминания инструментов SEO обрабатывались с помощью отдельных обходов, нацеленных только на те части каждой страницы, которые посвящены основному контенту.

Данные инструмента SEO отличаются от классифицированных данных, так как учитывают заголовок и содержание. Категоризация постов производилась только по заголовку.

Таблицы, категории и исторические (годовые) данные о просмотрах страниц и сеансах доступны на странице «Отслеживание данных поиска за 20 лет».