Melacak 20 tahun pencarian

Apakah Anda seorang pemasar pencarian baru yang ingin belajar tentang sejarah pencarian?

Apakah Anda ingin terus mengikuti berita pemasaran pencarian terbaru?

Jika ya, hanya ada satu orang yang perlu Anda "ikuti" untuk mengetahui 90% perubahan menarik di industri ini.

Orang ini memiliki situs web; posting blog pertamanya diterbitkan pada 2 Desember 2003. Kode Google Analytics (GA) situs ini sangat singkat: UA-67314-1.

Beberapa bulan yang lalu, setelah interaksi singkat dengan Mastodon, saya diberi akses ke akun GA-nya untuk melihat apakah saya bisa bercerita tentang sejarah penelusuran melalui pekerjaannya sebagai pencatat pemasaran penelusuran.

Melihat pola postingannya ( Gambar 1 ), jelas bahwa volume bukanlah tantangan. (Saya bahkan memeriksa ulang grafik ini beberapa kali untuk memastikan kebenarannya. Wow!)

Selama 20 tahun terakhir, rata-rata orang ini memposting:

• 3,81 kali per hari.
• 26,67 kali per minggu.
• 116,20 kali per bulan.
• 1.437 kali per tahun.

Saya yakin Anda sudah menebaknya sekarang, tetapi saya berbicara tentang Barry Schwartz dan situs webnya, Search Engine Roundtable.

Artikel ini mencakup kesimpulan dan temuan utama dari analisis saya terhadap data historis Google Analytics seroundtable.com.

(Jika Anda tertarik dengan cara saya menganalisis data dan alat apa yang saya gunakan, Anda dapat melihat metodologi di bawah ini.)

Cakupan mesin pencari selama bertahun-tahun

Karena kami memiliki data dari tahun 2003 dan poster yang produktif, kami pikir akan menarik untuk melihat liputan topik yang menyebutkan berbagai mesin dalam judul postingan ( Gambar 2 ).

Angka ini menceritakan kisah yang sama yang kita semua tahu, Google adalah mesin pencari yang paling banyak diliput dalam dua dekade terakhir.

Namun menarik juga untuk mencatat kematian Yahoo dan kebangkitan Microsoft Bing. (Meskipun Microsoft Bing telah melihat lonjakan cakupan, tidak jelas ini membantu dari perspektif penggunaan, seperti yang dilaporkan pada bulan Mei.)

Melihat perspektif satu orang yang menutupi “ketertarikan” produk ini adalah cara unik untuk memahami sejarah mereka.

Khususnya, sebagian besar mesin pencari utama AS menerima sedikit penyebutan selama 13 tahun terakhir, kecuali Microsoft Bing, yang tiba-tiba menjadi terkenal baru-baru ini karena integrasi Microsoft dengan OpenAI.

Melihat jumlah rata-rata sesi per posting dan frekuensi posting dari waktu ke waktu oleh kelompok mesin pencari ( Gambar 2 ), jelas bahwa liputan berita yang luas sangat berkontribusi terhadap signifikansi Google untuk audiens situs ini.

Salah satu bagian penting dari mesin pencari adalah seberapa sering mereka meningkatkan hasil mereka. Kita dapat melihat kembali riwayat "pembaruan algoritme" yang tercakup bersama dengan volume pencarian yang didorong setiap bulan.

Anda akan melihat bagaimana postingan meningkat setelah gelombang awal lalu lintas dengan pengumuman pembaruan. Grafik di bawah ini melukiskan kisah yang sangat menarik tentang:

• Seberapa sering pembaruan (setidaknya yang utama).
• Koneksi Schwartz dan konsistensi liputannya.

Dampak dan popularitas pembaruan Google di komunitas pencarian

Kami memberi label sekitar 20 nama pembaruan Google. Delapan yang ditunjukkan di bawah ini adalah delapan besar berdasarkan sesi keseluruhan ( Gambar 4 ). Kami menambahkan kategori "Penalti" ke bagan ini, karena ini adalah area topik yang kuat di zaman Penguin.

Sementara topiknya masih dibahas, popularitasnya semakin berkurang, seperti yang terlihat di bawah ini. Ini menunjukkan dampak luar biasa dari pembaruan Penguin pada komunitas pencarian.

Yang cukup menarik, seroundtable.com mendapatkan tindakan manual dari Google sekitar tahun 2007 hingga Maret 2013.

Schwartz menulis tentang itu pada tahun 2011, dan kami dapat melihat anotasi di akun GA-nya yang menunjukkan bahwa itu dicabut pada bulan Maret dan diverifikasi dicabut melalui permintaan pertimbangan ulang pada bulan April.

Pertumbuhan sesi Google/Organik (YoY) untuk Q1 2013 adalah 16%, dibandingkan dengan 25% di Q2 ( Gambar 5 ).

Pertumbuhan pengguna baru tumbuh 22 poin persentase. Meskipun demikian, dampaknya meragukan karena lonjakan minat yang mendukung kuartal kedua.

Schwartz, dari jabatannya di penalti (dan tautan sponsornya), berkata:

• “Saya keras kepala dan saya adalah salah satu dari sedikit blog SEO yang memutuskan untuk tidak berubah ketika Google melepaskan hukumannya.”

Bertahun-tahun kemudian, dia mempertimbangkan kembali. (Banyak detail yang sekarang hilang di GA, tetapi penalti manual sepertinya tidak berdampak drastis.)

Seroundtable.com juga menjadi korban pembaruan Panda 4.1 pada tahun 2014 ( Gambar 6 ).

Seperti yang ditunjukkan Schwartz pada tahun 2015, kinerja mulai sedikit meningkat dengan Panda 4.2 pertengahan 2015 hingga Mei 2020, ketika tiba-tiba terjadi penurunan lagi.

Anggota tim Google

Kami mengidentifikasi 10 karyawan Google yang disebutkan dalam judul postingan ( Gambar 7 ).

Dari 10, kami membatasi daftar untuk hanya menampilkan informasi yang secara teratur berkomunikasi dengan komunitas SEO.

Ini adalah tampilan favorit saya karena jelas menunjukkan era Matt Cutts vs. John Mueller.

Sebagai Public Liaison for Google Search, Danny Sullivan tidak begitu menonjol dalam postingannya. Penting untuk dicatat bahwa penyebutan dia sebelum akhir 2017 akan merujuk pada peran sebelumnya sebelum mengambil posisi ini.

Sebagai pendiri Search Engine Watch dan kemudian editor pendiri Search Engine Land, Sullivan tidak diragukan lagi merupakan bagian integral dari sejarah SEO.

Cakupan alat SEO

Industri SEO tidak kekurangan alat. Meninjau posting Schwartz, kita dapat melihat bahwa dia telah menyebutkan berbagai perusahaan alat selama bertahun-tahun.

Sementara postingan yang dikhususkan untuk perusahaan tertentu cukup jarang, Schwartz telah meliput studi data dan pengumuman produk.

Di bawah ini ( Gambar 8a ), kita bisa melihat frekuensi pemberitaan di postingan sejak tahun 2003. Data ini berbeda dengan data lain di artikel ini karena mempertimbangkan penyebutan di judul dan isi artikel.

Secara historis, kita dapat melihat manfaat bagi vendor alat untuk membuat metrik peringkat gabungan seperti Mozcast.

Penyebutan yang sering dan berkembang dengan setiap fluktuasi peringkat. Di sini juga terlihat jelas daya tahan yang dimiliki Moz.

Posting teratas

Tabel berikut ( Gambar 9 ) menunjukkan postingan teratas untuk setiap tahun menurut tampilan halaman unik.

Ada konten dengan daya tarik yang lebih luas (di luar komunitas SEO), dan konten yang ditargetkan lebih sempit untuk pemasar mesin pencari.

Saya bertanya-tanya bagaimana dia memutuskan keseimbangan ini? Saya sedikit terkejut dengan daftar ini, tetapi masuk akal.

Gambar 9

Komentar

Seroundtable.com, sejauh yang saya tahu, selalu mengizinkan komentar, dan komunitas SEO suka berbagi pendapat tentang kejahatan Google.

Tampilan ini ( Gambar 10 ), disarankan oleh John Mueller, menampilkan posting dari waktu ke waktu dengan tampilan halaman dan komentar yang unik (ukuran gelembung).

Hal ini menjadi menarik jika kita melihat data berdasarkan kategori topik.

Misalnya, mari kita bandingkan konten di “Google Updates” dengan konten di “Iklan Berbayar” ( Gambar 11a dan 11b ).

Ini jauh lebih sedikit memanas di sisi berbayar, tetapi ini menunjukkan tingkat minat, emosi, dan interaksi yang tinggi untuk posting yang mencakup perubahan yang berpotensi menghapus upaya berbulan-bulan atau bertahun-tahun.

Tautan

Schwartz tidak malu untuk terhubung dengan orang lain.

Seperti yang disebutkan sebelumnya, Schwartz dengan enggan menambahkan atribut nofollow ke tautan sponsor bertahun-tahun setelah menerima penalti kecil dari Google pada tahun 2007.

Schwartz telah menautkan dari konten postingannya ke hampir 4.000 domain unik selama 20 tahun terakhir ( Gambar 12 ).

Grafik ini menunjukkan 10 domain tertaut teratas dari kumpulan data, dengan jelas menggambarkan nilai yang diberikan Twitter kepada Schwartz untuk memunculkan informasi untuk ditulis selama 10 tahun terakhir.

Bagan berikutnya menghapus Twitter dan Google dan melakukan hal yang sama ( Gambar 13 ).

Kami mulai melihat beberapa situs yang mungkin tidak disadari oleh SEO baru, tetapi banyak yang mungkin mengingatnya dengan berbagai tingkat kesukaan.

Dapatkan buletin pencarian harian yang diandalkan pemasar.

Memproses ... tunggu sebentar.

LANGGANAN

Lihat persyaratan.

Visualisasi data tren penelusuran dari waktu ke waktu

Berikut adalah bagan batang balap yang menunjukkan kategori teratas selama 20 tahun terakhir ( Gambar 14 ). Ini berfungsi sebagai pengingat masuknya kepanikan dalam komunitas SEO selama pembaruan Google.

Sampai batas tertentu, ini membawa kenyamanan, meskipun SEO berubah dengan cepat, selalu seperti itu.

Gambar 14 ( Lihat animasi selengkapnya di sini .)

Postingan Schwartz seperti robot

Saya pikir sesuatu yang menarik di sini dapat digunakan untuk menunjukkan di mana hari tertentu diprioritaskan untuk diposting, tetapi tidak.

Memposting seperti yang terjadi, dan itu sering terjadi.

Saya menyebutkan bahwa Schwartz adalah robot berdasarkan konsistensi luar biasa yang telah dia tunjukkan dalam postingan selama bertahun-tahun.

Saya mengalami kesulitan untuk melakukan proyek yang sama selama lebih dari enam bulan, jadi 20 tahun itu luar biasa ( Gambar 15 ).

Untuk keseimbangan, berikut adalah jumlah sesi berdasarkan hari dalam seminggu ( Gambar 16 ). Saya kira itu tidak masalah, meskipun pertengahan minggu adalah pemenang yang jelas.

Dilihat dari jenis postingan yang diterbitkan beberapa tahun terakhir, sepertinya tidak ada perbedaan yang besar antara jenis postingan di hari kerja ( Gambar 17 ).

Di mana kami melihat perbedaan adalah pada hari Sabtu dan Minggu, yang merupakan hari-hari yang biasanya melibatkan peristiwa-peristiwa duniawi yang sangat penting.

Schwartz secara historis jarang memposting pada hari Sabtu dan Minggu, masing-masing dengan 0,74% dan 0,17% dari semua posting.

Ini masuk akal secara intuitif karena dia lebih cenderung istirahat dari akhir pekannya untuk barang-barang yang sangat penting untuk dibahas.

Kategori penting dan jumlah kata

Ini adalah kategori teratas dari yang ditinjau berdasarkan kemiringan ( Gambar 18 ). Sebagai referensi, kemiringan adalah ukuran yang menggambarkan arah dan kecuraman garis.

Salah satu alasan kategori ini berkinerja sangat baik dari perspektif lalu lintas mungkin karena jenis konten ini keluar dari gelembung dunia SEO biasa dan masuk ke populasi umum yang diminati di sekitar Google.

Schwartz sering menyatakan bahwa dia lebih peduli untuk menyebarkan berita daripada kedalaman liputannya.

Hal ini didukung oleh data saat melihat hubungan antara sesi dan jumlah kata ( Gambar 19 ).

Bagaimana jumlah pembaca Schwartz mencerminkan industri SEO dan minat pada segmen yang berbeda

sub-bagian SEO

Di sinilah kategori dapat membuat saya mendapat masalah.

Pada tingkat tinggi, inilah minat relatif dalam industri SEO sehubungan dengan pengikut dan pembaca Schwartz untuk empat segmen utama SEO ( Gambar 20 ).

Seperti yang ditunjukkan oleh Mueller, Anda dapat melihat dekade seluler dengan baik.

AI dan SEO

Oke, saya hanya ingin membuat peta hierarki, tetapi ini adalah tampilan keren dari total sesi berdasarkan postingan dari kategori “Pembelajaran Mesin” ( Gambar 21 ).

Harap diperhatikan bahwa ini adalah total sesi dari postingan terbaik di setiap kategori. Ini harus mengontrol kebaruan relatif dari beberapa kategori.

Saya merasa menarik bahwa pintu masuk ke leksikon BERT memiliki dampak yang lebih besar daripada perubahan pembelajaran mesin baru-baru ini.

Pahlawan SEO

Untuk semua guru on-page Anda di luar sana, berikut adalah tingkat minat komparatif untuk anggota kategori ini berdasarkan sesi postingan dengan performa terbaik ( Gambar 22 ).

Catatan di sini bahwa "Meta" mungkin digelembungkan karena kecocokan dengan perusahaan, Meta (Facebook).

Berikut adalah kategori teratas berdasarkan taktik ( Gambar 23 ). Karena ini dalam rentang waktu 20 tahun, sejumlah taktik ini sebenarnya bisa membuat situs web dihukum.

Ini menunjukkan dengan baik masa lalu SEO yang kotak-kotak dan sifat PR Google mendorong untuk memanggil taktik yang mencoba mempermainkan sistem mereka atau merugikan orang lain.

Dibayar

Untuk teman-teman saya di sisi berbayar, berikut adalah anggota grup postingan "Iklan Berbayar". ( Gambar 24 ). Siapa yang ingat Overture?

Browser

Ini mengejutkan saya berdasarkan seberapa banyak Google dicakup di situs web ini dan seberapa miring pangsa pasar Google (62,85%), tetapi angkat topi ke Schwartz untuk cakupan yang merata ( Gambar 25 ).

Acara

Beberapa postingan sebelumnya dalam sejarah mempromosikan konferensi tertentu seperti SMX, tetapi ini berlangsung dalam waktu yang relatif singkat, sehingga dihapus dari kumpulan data.

Menariknya, konten COVID-19 yang dominan, yang bertahan sekitar satu tahun, dibandingkan dengan kategori lain selama 20 tahun ( Gambar 26 ).

Selain itu, kami pasti membutuhkan lebih banyak telur Paskah dari Google. Schwartz memberi tahu saya bahwa dia biasa melakukan acara blog langsung tetapi berhenti lebih dari satu dekade yang lalu.

Saya menghapus sebagian besar (semua?) judul dari kumpulan data yang setidaknya tidak menyebutkan topik yang relevan (misalnya, vlog episode #1234 Weekly Roundup adalah contoh salah satu yang akan dihapus).

Schwartz juga menyebutkan bahwa dia berhenti meliput logo Google ketika penerbit lain mulai meliputnya.

“Mereka kehilangan kesenangan mereka.”

Seberapa keren melakukan sesuatu yang didorong oleh hasrat dan bukan klik?

Sejarah pencarian di 32.926 posting dan terus bertambah

Sangat menarik untuk kembali dan menceritakan semua yang telah berubah dalam industri ini dan mengetahui hari-hari pencarian "barat liar".

Dan kami berterima kasih kepada Barry Schwartz selama 20 tahun meliput industri ini tanpa gagal.

Jika ini melibatkan pemasaran pencarian, kami tahu Schwartz kemungkinan besar telah melihat atau menutupinya.

Itu bukan hal baru.

Saya ingin berterima kasih kepada John Mueller dan Patrick Stox atas rekomendasi dan pemeriksaan kewarasan mereka atas informasi dan data yang disediakan di sini. Danny Sullivan juga meninjau untuk pemeriksaan kewarasan tambahan.

Data dan metodologi

Saya mulai dengan merayapi seroundtable.com di Screaming Frog, dengan hati-hati menarik konten meta pos seperti Penulis, Tanggal pos, dan Kategori menggunakan ekstraksi khusus. Saya juga menarik data GA, meskipun sejak tahun 2005, saya tahu ini tidak akan cukup. Data HTML dikeluarkan ke CSV untuk diproses lebih lanjut.

Karena ada banyak penulis di seroundtable.com, saya membatasi sisa analisis hanya untuk posting yang ditulis oleh Schwartz (dia menulis lebih dari 32.000).

Untuk lebih memahami seberapa besar kontribusi Schwartz pada situs web ini, berikut sekilas 10 penulis teratas dan berapa banyak artikel yang dikaitkan dengan mereka ( Gambar 27 ).

Saya kemudian menyiapkan penarikan API dari GA API untuk menarik halaman arahan dan sesi bulanan untuk semua pengguna. Selain itu, kami mengambil data tentang tampilan halaman dan tautan eksternal.

Setelah menarik semua data, saya perhatikan bahwa seroundtable.com menggunakan AMP, artinya dua set URL untuk banyak artikel. Melihat siput (misalnya,/category/this-is-a-slug.html), untungnya, ini semua unik.

Saya perlu menghilangkan kategori, halaman penulis, dan halaman lain yang topiknya tidak dapat disimpulkan dari judulnya – membatasi tempat Screaming Frog menemukan Penulis dengan mudah membersihkannya.

Dari sana, saya membersihkan Jalur URL ke siput unik dan menggunakannya sebagai kecocokan saya antara data URL yang dirayapi dan data GA.

Perlu dicatat bahwa data seroundtable.com dimulai di GA pada kuartal ke-4 tahun 2005. Posting pertama adalah dari kuartal ke-4 tahun 2003. Seperti yang ditunjukkan oleh Patrick Stox, 14 November 2005 adalah peluncuran resmi GA, artinya data kami mencakup semua data melalui kelahiran dan kematian GA seperti yang kita semua ketahui.

Sebelumnya, situs tersebut menggunakan Urchin Analytics, yang menjadi GA. Dari 27.309 siput unik yang ditemukan dalam perayapan, hanya 0,2% yang tidak ditemukan dalam data GA. Sebagian besar setelah batas data 30 Juni 2023.

Pemrosesan bahasa alami (NLP)

Setelah memastikan saya memiliki data halaman bersih dan data Analytics, saya menjalankan judul halaman melalui proses yang mentransisikannya ke ngram. Ngram adalah pengelompokan istilah-n. Misalnya, "katak hijau", akan terdiri dari: "si", "hijau", "katak" sebagai 1 gram, dan "si hijau", "katak hijau" sebagai 2 gram. Menjalankan ini di atas judul dan menghitung frekuensi setiap level gram memungkinkan konsep-konsep penting meluap.

Kami kemudian menjalankan semua ngram penting melalui model bahasa besar (LLM) untuk melihat seberapa baik itu dapat memilih topik penting dan menggabungkannya lebih lanjut ke dalam kategori yang relevan. Di sinilah kami melihat batasan LLM pada topik khusus. Meskipun model membantu dalam prosesnya, ada sedikit peninjauan manual berbagai ngram untuk konsep yang dapat membangun kategori.

Selain itu, ada banyak entitas dan konsep seperti "Google" dan "pencarian organik" dalam kumpulan data yang ada di banyak postingan, sementara topik penting untuk sementara seperti "burung kolibri" hanya bertahan untuk beberapa postingan dan membingungkan model bahasa .

Anda dapat meninjau data kategori di sini dan meninjau penunjukan kategori utama dalam grafik di bawah ini. Kami mencocokkan kategori dengan judul menggunakan pencocokan urutan kata terbalik untuk memastikan frasa yang lebih detail dicocokkan sebelum frasa yang lebih luas (lebih pendek). Perlu dicatat bahwa kami membagi setiap topik menjadi kategori yang luas dan sub-kategori yang lebih detail.

Grafik di bawah ( Gambar 28 ) berisi kategori luas dengan sesi di atas persentil ke-25. Perhatikan juga bahwa proses klasifikasi sangat subyektif. Yang pasti, pemirsa akan menemukan topik yang akan mereka kategorikan secara berbeda.

Data tautan eksternal dan penyebutan alat SEO ditangani melalui perayapan terpisah yang hanya menargetkan bagian dari setiap halaman yang dikhususkan untuk konten utama.

Data alat SEO berbeda dari data yang dikategorikan karena mempertimbangkan judul dan konten. Pengkategorian postingan dilakukan pada judul saja.

Data tabel, kategorisasi, dan tampilan halaman historis (tahunan) dan sesi tersedia di Data Penelusuran 20 Tahun Pelacakan.