Kemanjuran perayapan: Cara meningkatkan pengoptimalan perayapan

Tidak dijamin Googlebot akan merayapi setiap URL yang dapat diaksesnya di situs Anda. Sebaliknya, sebagian besar situs kehilangan sebagian besar halaman.

Kenyataannya adalah, Google tidak memiliki sumber daya untuk merayapi setiap halaman yang ditemukannya. Semua URL yang telah ditemukan Googlebot, tetapi belum dirayapi, bersama dengan URL yang ingin dirayapi ulang diprioritaskan dalam antrean perayapan.

Ini berarti Googlebot hanya merayapi yang diberi prioritas cukup tinggi. Dan karena antrean perayapan bersifat dinamis, antrean perayapan terus berubah saat Google memproses URL baru. Dan tidak semua URL bergabung di belakang antrian.

Jadi bagaimana Anda memastikan URL situs Anda adalah VIP dan melompati batas?

Perayapan sangat penting untuk SEO

Agar konten mendapatkan visibilitas, Googlebot harus merayapinya terlebih dahulu.

Tetapi manfaatnya lebih bernuansa dari itu karena semakin cepat halaman di-crawl dari saat itu:

• Dibuat , semakin cepat konten baru dapat muncul di Google. Ini sangat penting untuk strategi konten dengan waktu terbatas atau pertama ke pasar.
• Diperbarui , semakin cepat konten yang disegarkan dapat mulai memengaruhi peringkat. Ini sangat penting untuk strategi penerbitan ulang konten dan taktik SEO teknis.

Dengan demikian, perayapan sangat penting untuk semua lalu lintas organik Anda. Namun terlalu sering dikatakan bahwa optimasi perayapan hanya bermanfaat untuk situs web besar.

Tapi ini bukan tentang ukuran situs web Anda, frekuensi konten yang diperbarui atau apakah Anda memiliki pengecualian "Ditemukan – saat ini tidak diindeks" di Google Search Console.

Pengoptimalan perayapan bermanfaat untuk setiap situs web. Kesalahpahaman tentang nilainya tampaknya memacu dari pengukuran yang tidak berarti, terutama anggaran perayapan.

Anggaran perayapan tidak masalah

Terlalu sering, perayapan dinilai berdasarkan anggaran perayapan. Ini adalah jumlah URL yang akan dirayapi Googlebot dalam waktu tertentu di situs web tertentu.

Google mengatakan itu ditentukan oleh dua faktor:

• Batas kecepatan perayapan (atau apa yang dapat dirayapi Googlebot): Kecepatan di mana Googlebot dapat mengambil sumber daya situs web tanpa memengaruhi kinerja situs. Pada dasarnya, server responsif mengarah ke tingkat perayapan yang lebih tinggi.
• Permintaan perayapan (atau apa yang ingin dirayapi Googlebot): Jumlah URL yang dikunjungi Googlebot selama perayapan tunggal berdasarkan permintaan untuk pengindeksan ulang, yang dipengaruhi oleh popularitas dan kedaluwarsa konten situs.

Setelah Googlebot “menghabiskan” anggaran perayapannya, ia berhenti merayapi situs.

Google tidak memberikan angka untuk anggaran perayapan. Yang paling dekat adalah menunjukkan total permintaan perayapan dalam laporan statistik perayapan Google Search Console.

Begitu banyak SEO, termasuk saya di masa lalu, telah berusaha keras untuk mencoba menyimpulkan anggaran perayapan.

Langkah-langkah yang sering disajikan adalah sesuatu di sepanjang baris:

• Tentukan berapa banyak halaman yang dapat dirayapi di situs Anda, sering kali merekomendasikan untuk melihat jumlah URL di peta situs XML Anda atau menjalankan perayap tak terbatas.
• Hitung perayapan rata-rata per hari dengan mengekspor laporan Statistik Perayapan Google Search Console atau berdasarkan permintaan Googlebot di file log.
• Bagilah jumlah halaman dengan perayapan rata-rata per hari. Sering dikatakan, jika hasilnya di atas 10, fokuslah pada optimasi anggaran perayapan.

Namun, proses ini bermasalah.

Bukan hanya karena mengasumsikan bahwa setiap URL dirayapi sekali, padahal kenyataannya beberapa dirayapi beberapa kali, yang lain tidak sama sekali.

Bukan hanya karena mengasumsikan bahwa satu perayapan sama dengan satu halaman. Ketika pada kenyataannya satu halaman mungkin memerlukan banyak perayapan URL untuk mengambil sumber daya (JS, CSS, dll) yang diperlukan untuk memuatnya.

Tetapi yang paling penting, karena ketika disaring ke metrik yang dihitung seperti perayapan rata-rata per hari, anggaran perayapan tidak lain adalah metrik yang bagus.

Taktik apa pun yang ditujukan untuk "optimasi anggaran perayapan" (alias, bertujuan untuk terus meningkatkan jumlah total perayapan) adalah tugas yang bodoh.

Mengapa Anda harus peduli dengan peningkatan jumlah total perayapan jika digunakan pada URL tanpa nilai atau laman yang belum diubah sejak perayapan terakhir? Perayapan seperti itu tidak akan membantu kinerja SEO.

Plus, siapa pun yang pernah melihat statistik perayapan tahu bahwa mereka berfluktuasi, seringkali sangat liar, dari satu hari ke hari lainnya tergantung pada sejumlah faktor. Fluktuasi ini mungkin atau mungkin tidak berkorelasi dengan pengindeksan cepat (ulang) halaman yang relevan dengan SEO.

Naik atau turunnya jumlah URL yang dirayapi tidak secara inheren baik atau buruk.

Kemanjuran perayapan adalah KPI SEO

Untuk halaman yang ingin Anda indeks, fokusnya bukan pada apakah halaman tersebut dirayapi, melainkan seberapa cepat halaman tersebut dirayapi setelah dipublikasikan atau diubah secara signifikan.

Pada dasarnya, tujuannya adalah untuk meminimalkan waktu antara halaman yang relevan dengan SEO yang dibuat atau diperbarui dan perayapan Googlebot berikutnya. Saya menyebut waktu ini menunda kemanjuran crawl.

Cara ideal untuk mengukur kemanjuran perayapan adalah dengan menghitung perbedaan antara waktu pembuatan atau pembaruan basis data dan perayapan Googlebot berikutnya dari URL dari file log server.

Jika sulit untuk mendapatkan akses ke titik data ini, Anda juga dapat menggunakan sebagai proxy tanggal mod terakhir peta situs XML dan URL kueri di API Inspeksi URL Google Search Console untuk status perayapan terakhirnya (hingga batas 2.000 kueri per hari).

Plus, dengan menggunakan API Inspeksi URL, Anda juga dapat melacak kapan status pengindeksan berubah untuk menghitung kemanjuran pengindeksan untuk URL yang baru dibuat, yang merupakan perbedaan antara publikasi dan pengindeksan yang berhasil.

Karena perayapan tanpa memiliki aliran yang berdampak pada status pengindeksan atau pemrosesan penyegaran konten halaman hanyalah sia-sia.

Kemanjuran perayapan adalah metrik yang dapat ditindaklanjuti karena semakin berkurang, semakin banyak konten penting SEO yang dapat ditampilkan ke audiens Anda di seluruh Google.

Anda juga dapat menggunakannya untuk mendiagnosis masalah SEO. Telusuri pola URL untuk memahami seberapa cepat konten dari berbagai bagian situs Anda dirayapi dan apakah ini yang menghambat kinerja organik.

Jika Anda melihat bahwa Googlebot membutuhkan waktu berjam-jam atau berhari-hari atau berminggu-minggu untuk merayapi dan dengan demikian mengindeks konten yang baru Anda buat atau yang baru saja diperbarui, apa yang dapat Anda lakukan?

7 langkah untuk mengoptimalkan perayapan

Pengoptimalan perayapan adalah tentang memandu Googlebot untuk merayapi URL penting cepat ketika mereka (kembali) diterbitkan. Ikuti tujuh langkah di bawah ini.

1. Pastikan respons server yang cepat dan sehat

Server yang berkinerja tinggi sangat penting. Googlebot akan melambat atau berhenti merayapi saat:

• Merayapi situs Anda memengaruhi kinerja. Misalnya, semakin mereka merangkak, semakin lambat waktu respons server.
• Server merespons dengan sejumlah besar kesalahan atau batas waktu koneksi.

Di sisi lain, meningkatkan kecepatan pemuatan halaman yang memungkinkan penyajian lebih banyak halaman dapat menyebabkan Googlebot merayapi lebih banyak URL dalam jumlah waktu yang sama. Ini adalah manfaat tambahan selain kecepatan halaman sebagai pengalaman pengguna dan faktor peringkat.

Jika Anda belum melakukannya, pertimbangkan dukungan untuk HTTP/2, karena memungkinkan kemampuan untuk meminta lebih banyak URL dengan beban serupa di server.

Namun, korelasi antara kinerja dan volume perayapan hanya sampai titik tertentu . Setelah Anda melewati ambang itu, yang bervariasi dari satu situs ke situs lainnya, setiap peningkatan tambahan dalam kinerja server tidak mungkin berkorelasi dengan peningkatan dalam perayapan.

Cara memeriksa kesehatan server

Laporan statistik perayapan Google Search Console:

• Status host: Menampilkan centang hijau.
• 5xx kesalahan: Merupakan kurang dari 1%.
• Bagan waktu respons server: Tren di bawah 300 milidetik.

2. Bersihkan konten bernilai rendah

Jika sejumlah besar konten situs kedaluwarsa, duplikat, atau berkualitas rendah, hal itu menyebabkan persaingan untuk aktivitas perayapan, berpotensi menunda pengindeksan konten segar atau pengindeksan ulang konten yang diperbarui.

Tambahkan bahwa membersihkan konten bernilai rendah secara teratur juga mengurangi pengasapan indeks dan kanibalisasi kata kunci, dan bermanfaat bagi pengalaman pengguna, ini adalah SEO no-brainer.

Gabungkan konten dengan pengalihan 301, ketika Anda memiliki halaman lain yang dapat dilihat sebagai pengganti yang jelas; memahami ini akan membebani Anda dua kali lipat perayapan untuk diproses, tetapi ini adalah pengorbanan yang berharga untuk ekuitas tautan.

Jika tidak ada konten yang setara, menggunakan 301 hanya akan menghasilkan 404 lunak. Hapus konten tersebut menggunakan kode status 410 (terbaik) atau 404 (dekat detik) untuk memberikan sinyal kuat untuk tidak merayapi URL lagi.

Cara memeriksa konten bernilai rendah

Jumlah URL di halaman Google Search Console melaporkan pengecualian 'dirayapi – saat ini tidak diindeks'. Jika ini tinggi, tinjau sampel yang disediakan untuk pola folder atau indikator masalah lainnya.

3. Tinjau kontrol pengindeksan

Rel=tautan kanonik adalah petunjuk kuat untuk menghindari masalah pengindeksan tetapi sering kali terlalu diandalkan dan akhirnya menyebabkan masalah perayapan karena setiap URL yang dikanonik memerlukan setidaknya dua perayapan, satu untuk dirinya sendiri dan satu untuk mitranya.

Demikian pula, arahan robot noindex berguna untuk mengurangi pengasapan indeks, tetapi sejumlah besar dapat berdampak negatif pada perayapan – jadi gunakan hanya jika diperlukan.

Dalam kedua kasus, tanyakan pada diri Anda:

• Apakah arahan pengindeksan ini merupakan cara optimal untuk menangani tantangan SEO?
• Bisakah beberapa rute URL digabungkan, dihapus, atau diblokir di robots.txt?

Jika Anda menggunakannya, pertimbangkan kembali AMP secara serius sebagai solusi teknis jangka panjang.

Dengan pembaruan pengalaman halaman yang berfokus pada vital web inti dan penyertaan halaman non-AMP di semua pengalaman Google selama Anda memenuhi persyaratan kecepatan situs, perhatikan baik-baik apakah AMP layak dirayapi ganda.

Cara memeriksa ketergantungan yang berlebihan pada kontrol pengindeksan

Jumlah URL dalam laporan cakupan Google Search Console yang dikategorikan dalam pengecualian tanpa alasan yang jelas:

• Halaman alternatif dengan tag kanonik yang tepat.
• Dikecualikan oleh tag noindex.
• Duplikat, Google memilih kanonik yang berbeda dari pengguna.
• Duplikat, URL yang dikirimkan tidak dipilih sebagai kanonis.

4. Beri tahu spider mesin telusur apa yang harus dirayapi dan kapan

Alat penting untuk membantu Googlebot memprioritaskan URL situs penting dan berkomunikasi saat laman tersebut diperbarui adalah peta situs XML.

Untuk panduan perayap yang efektif, pastikan untuk:

• Hanya sertakan URL yang dapat diindeks dan berharga untuk SEO – umumnya, 200 kode status, kanonik, halaman konten asli dengan tag robot “indeks, ikuti” yang Anda pedulikan dengan visibilitasnya di SERP.
• Sertakan tag stempel waktu <lastmod> yang akurat pada URL individual dan peta situs itu sendiri sedekat mungkin dengan waktu nyata.

Google tidak memeriksa peta situs setiap kali situs dirayapi. Jadi, setiap kali diperbarui, yang terbaik adalah melakukan ping ke perhatian Google. Untuk melakukannya, kirim permintaan GET di browser Anda atau baris perintah ke:

Selain itu, tentukan jalur ke peta situs di file robots.txt dan kirimkan ke Google Search Console menggunakan laporan peta situs.

Sebagai aturan, Google akan merayapi URL di peta situs lebih sering daripada yang lain. Tetapi meskipun sebagian kecil URL dalam peta situs Anda berkualitas rendah, hal itu dapat menghalangi Googlebot menggunakannya untuk saran perayapan.

Peta situs dan tautan XML menambahkan URL ke antrean perayapan reguler. Ada juga antrian perayapan prioritas, di mana ada dua metode entri.

Pertama, bagi mereka yang memiliki posting pekerjaan atau video langsung, Anda dapat mengirimkan URL ke API Pengindeksan Google.

Atau jika Anda ingin menarik perhatian Microsoft Bing atau Yandex, Anda dapat menggunakan IndexNow API untuk URL apa pun. Namun, dalam pengujian saya sendiri, itu berdampak terbatas pada perayapan URL. Jadi jika Anda menggunakan IndexNow, pastikan untuk memantau kemanjuran perayapan untuk Bingbot.

Kedua, Anda dapat meminta pengindeksan secara manual setelah memeriksa URL di Search Console. Meskipun perlu diingat ada kuota harian 10 URL dan perayapan masih bisa memakan waktu beberapa jam. Yang terbaik adalah melihat ini sebagai tambalan sementara saat Anda menggali untuk menemukan akar masalah perayapan Anda.

Cara memeriksa Googlebot penting untuk melakukan panduan perayapan

Di Google Search Console, peta situs XML Anda menunjukkan status "Berhasil" dan baru saja dibaca.

5. Beri tahu spider mesin pencari apa yang tidak boleh dirayapi

Beberapa halaman mungkin penting bagi pengguna atau fungsionalitas situs, tetapi Anda tidak ingin halaman tersebut muncul di hasil pencarian. Cegah rute URL tersebut agar tidak mengganggu perayap dengan larangan robots.txt. Ini dapat mencakup:

• API dan CDN . Misalnya, jika Anda adalah pelanggan Cloudflare, pastikan untuk melarang folder /cdn-cgi/ yang ditambahkan ke situs Anda.
• Gambar, skrip, atau file gaya yang tidak penting , jika halaman yang dimuat tanpa sumber daya ini tidak terpengaruh secara signifikan oleh kehilangan.
• Halaman fungsional , seperti keranjang belanja.
• Ruang tak terbatas , seperti yang dibuat oleh halaman kalender.
• halaman parameter . Terutama yang berasal dari navigasi segi yang memfilter (misalnya, ?price-range=20-50), menyusun ulang (misalnya, ?sort=) atau penelusuran (misalnya, ?q=) karena setiap kombinasi dihitung oleh perayap sebagai laman terpisah.

Berhati-hatilah untuk tidak sepenuhnya memblokir parameter pagination. Penomoran halaman yang dapat dirayapi hingga titik tertentu sering kali penting bagi Googlebot untuk menemukan konten dan memproses ekuitas tautan internal. (Lihat webinar Semrush tentang pagination ini untuk mempelajari lebih detail tentang alasannya.)

Dan dalam hal pelacakan, daripada menggunakan tag UTM yang didukung oleh parameter (alias, '?') gunakan jangkar (alias, '#'). Ini menawarkan manfaat pelaporan yang sama di Google Analytics tanpa dapat dirayapi.

Cara memeriksa panduan Googlebot jangan merangkak

Tinjau contoh URL 'Diindeks, tidak dikirim dalam peta situs' di Google Search Console. Mengabaikan beberapa halaman pertama pagination, jalur lain apa yang Anda temukan? Haruskah mereka dimasukkan dalam peta situs XML, diblokir agar tidak dirayapi atau dibiarkan?

Juga, tinjau daftar “Ditemukan - saat ini tidak diindeks” – memblokir di robots.txt semua jalur URL yang menawarkan nilai rendah atau tidak ada sama sekali bagi Google.

Untuk membawa ini ke tingkat berikutnya, tinjau semua perayapan ponsel cerdas Googlebot di file log server untuk jalur yang tidak bernilai.

6. Buat tautan yang relevan

Tautan balik ke halaman sangat berharga untuk banyak aspek SEO, dan perayapan tidak terkecuali. Tetapi tautan eksternal bisa jadi sulit didapat untuk jenis halaman tertentu. Misalnya, halaman dalam seperti produk, kategori pada tingkat yang lebih rendah dalam arsitektur situs atau bahkan artikel.

Di sisi lain, tautan internal yang relevan adalah:

• Secara teknis terukur.
• Sinyal yang kuat ke Googlebot untuk memprioritaskan halaman untuk dirayapi.
• Sangat berdampak untuk perayapan halaman dalam.

Breadcrumb, blok konten terkait, filter cepat, dan penggunaan tag yang dikuratori dengan baik adalah semua manfaat signifikan untuk kemanjuran perayapan. Karena mereka adalah konten yang kritis terhadap SEO, pastikan tidak ada tautan internal seperti itu yang bergantung pada JavaScript melainkan gunakan tautan <a> standar yang dapat dirayapi.

Mengingat tautan internal semacam itu juga harus menambah nilai aktual bagi pengguna.

Cara memeriksa tautan yang relevan

Jalankan perayapan manual situs lengkap Anda dengan alat seperti laba-laba SEO ScreamingFrog, dengan mencari:

• URL yatim piatu.
• Tautan internal diblokir oleh robots.txt.
• Tautan internal ke kode status non-200 apa pun.
• Persentase URL yang tidak dapat diindeks yang ditautkan secara internal.

7. Audit masalah perayapan yang tersisa

Jika semua pengoptimalan di atas selesai dan kemanjuran perayapan Anda tetap kurang optimal, lakukan audit mendalam.

Mulailah dengan meninjau contoh pengecualian Google Search Console yang tersisa untuk mengidentifikasi masalah perayapan.

Setelah masalah tersebut diatasi, masuk lebih dalam dengan menggunakan alat perayapan manual untuk merayapi semua halaman dalam struktur situs seperti yang dilakukan Googlebot. Rujuk silang ini terhadap file log yang dipersempit ke IP Googlebot untuk memahami halaman mana yang sedang dan tidak dirayapi.

Terakhir, luncurkan ke dalam analisis file log yang dipersempit menjadi IP Googlebot untuk setidaknya empat minggu data, idealnya lebih.

Jika Anda tidak terbiasa dengan format file log, manfaatkan alat penganalisis log. Pada akhirnya, ini adalah sumber terbaik untuk memahami bagaimana Google merayapi situs Anda.

Setelah audit Anda selesai dan Anda memiliki daftar masalah perayapan yang teridentifikasi, beri peringkat setiap masalah berdasarkan tingkat upaya yang diharapkan dan dampaknya terhadap kinerja.

Catatan : Pakar SEO lain telah menyebutkan bahwa klik dari SERP meningkatkan perayapan URL halaman arahan. Namun, saya belum dapat mengkonfirmasi ini dengan pengujian.

Prioritaskan kemanjuran perayapan daripada anggaran perayapan

Tujuan perayapan bukanlah untuk mendapatkan jumlah perayapan tertinggi atau agar setiap halaman situs web dirayapi berulang kali, ini adalah untuk menarik perayapan konten yang relevan dengan SEO sedekat mungkin dengan saat halaman dibuat atau diperbarui.

Secara keseluruhan, anggaran tidak masalah. Apa yang Anda investasikan yang diperhitungkan.

Pendapat yang diungkapkan dalam artikel ini adalah dari penulis tamu dan belum tentu Search Engine Land. Penulis staf tercantum di sini.