Apa Itu Anggaran Perayapan [Dan Bagaimana Mengoptimalkannya]?

Anggaran perayapan adalah salah satu istilah SEO yang mungkin pernah Anda dengar dibicarakan orang pemasaran.

Namun, apakah Anda tahu apa artinya dan apa itu semua?

Jangan khawatir, kami di sini bukan untuk menguji Anda. Sebaliknya, kami di sini untuk membantu Anda memahami semua tentang anggaran perayapan, mengapa itu penting, dan bagaimana Anda dapat memeriksa dan mengoptimalkannya.

Lagi pula, Anda harus belajar merangkak sebelum bisa berjalan, bukan?

Apa Itu Anggaran Perayapan?

Anggaran perayapan adalah jumlah halaman yang dapat dirayapi Google di situs web dalam jangka waktu tertentu.

Anda lihat, setiap kali Anda menerbitkan halaman di situs web Anda, Anda harus menunggu Google untuk mengindeks dan memberi peringkat, dan untuk dapat melakukannya, robotnya harus merayapinya terlebih dahulu.

Proses ini bisa terjadi lebih cepat atau lebih lambat tergantung pada keadaan seperti seberapa besar situs web Anda, seberapa populer topiknya, seberapa banyak lalu lintas ke halaman Anda, dll.

Tapi bagaimana cara kerja crawling?

Mari kita cari tahu.

Bagaimana Cara Kerja Crawler?

Lebih dari 10 tahun yang lalu, Google menyadari bahwa mereka memiliki sumber daya yang terbatas dan hanya dapat menemukan persentase terbatas dari konten online tanpa akhir yang terus-menerus dipublikasikan secara online.

Kemudian, pada tahun 2017, Google menerbitkan artikel resmi "Apa arti anggaran perayapan untuk Googlebot", di mana mereka menjelaskan definisi perayapan, dan detail terkait lainnya.

Berikut adalah fakta penting:

• Perayapan efisien, kecuali situs web Anda memiliki lebih dari beberapa ribu URL
• Halaman yang merespons dengan cepat meningkatkan batas perayapan
• Anda dapat mengurangi tingkat perayapan situs web Anda melalui Google Search Console
• URL populer cenderung lebih sering dirayapi
• Banyaknya URL bernilai rendah (konten duplikat, halaman kesalahan lunak, dll.) dapat berdampak negatif pada pengindeksan dan perayapan
• Merangkak bukanlah faktor peringkat langsung

Pada dasarnya, untuk memastikan kemampuan perayapan maksimum situs web Anda, Anda harus memiliki waktu pemuatan yang cepat, menghindari duplikat dan konten berkualitas rendah, dan membuat halaman Anda populer.

Namun, penting untuk dicatat bahwa mayoritas pemilik situs web tidak perlu terlalu memikirkan anggaran perayapan. Ini adalah situs web besar dengan ribuan halaman, seperti toko eCommerce, publikasi digital, dan blog populer, yang harus diperhatikan.

Mengapa Anggaran Perayapan Penting?

Anggaran perayapan sangat penting untuk upaya SEO Anda, terutama ketika Anda memiliki ribuan halaman dan terus-menerus menerbitkan banyak artikel baru setiap hari. Bot akan ingin merayapi konten baru Anda, tetapi mereka juga akan mengunjungi kembali situs web Anda secara bersamaan.

Jika mereka mengalami beberapa kemunduran dan/atau masalah yang membingungkan mereka, mereka akan terjebak membuang anggaran perayapan di halaman lama, alih-alih menginvestasikannya di konten baru yang Anda ingin mereka indeks. Ini dapat, berpotensi, membuat penundaan dan untuk sementara (atau bahkan permanen) membuat URL Anda tidak tersedia di SERP.

Misalnya, Anda menerbitkan berita atau informasi yang penting untuk mendapatkan visibilitas secepat mungkin.

Anda tidak ingin menunggu seminggu untuk posting Anda diindeks, bukan?

Lagi pula, Anda tidak dapat menentukan peringkat untuk SERP jika halaman Anda tidak diindeks. Dan katakanlah Anda sedang menulis tentang peristiwa dunia yang terjadi hari ini, tetapi halaman Anda dirayapi dalam waktu lima hari. Pada saat itu, sudah terlambat untuk mencapai tujuan awal Anda, karena acara tersebut tidak lagi relevan dan segar. Belum lagi, banyak situs web lain akan menulis tentangnya, dan diindeks tepat waktu.

Tidak jarang bot perayapan membutuhkan waktu hingga satu minggu untuk mengindeks halaman Anda, tetapi sejujurnya, ini akan memakan waktu lebih sedikit dari itu.

Selanjutnya, sementara itu Anda akan terus memposting halaman baru yang perlu dirayapi, diindeks, dan tersedia untuk audiens target Anda secara tepat waktu juga. Dan itulah resep untuk kemacetan pengindeksan.

Secara keseluruhan, jika Anda sering mencapai batas anggaran perayapan Anda, Anda berisiko beberapa halaman Anda tergelincir di antara celah-celah dan gagal mencapai SERP. Akibatnya, ini tidak akan mendapat manfaat dari lalu lintas organik, dan akan memiliki visibilitas yang jauh lebih rendah daripada konten Anda lainnya.

Dan jika Anda bertanya-tanya bagaimana cara memeriksa anggaran perayapan Anda – itu mudah. Buka saja Google Search Console dan centang Crawl → Crawl Stats.

Pengoptimalan Anggaran Perayapan

Penting untuk diingat bahwa anggaran perayapan bergantung pada tiga faktor utama: ukuran situs web, kesehatan situs web, dan popularitas situs web.

Ini berarti Anda tidak perlu khawatir tentang pemborosan anggaran perayapan, jika:

• Situs web Anda cukup kecil, artinya kurang dari beberapa ribu halaman.
• Situs web Anda bebas dari kesalahan kode status, dan memiliki kanonikalisasi yang tepat.
• Situs web Anda populer, artinya Anda telah mengembangkan pengikut media sosial, dan saluran lain untuk membagikan konten Anda dan menghasilkan lalu lintas.

Meliputi kriteria ini berarti Googlebot harus dapat merayapi situs web Anda secara efisien.

Jika Anda kekurangan salah satu dari ketiga faktor ini, ada risiko bahwa Anda mungkin mengalami berbagai tingkat masalah perayapan dan kehilangan visibilitas penelusuran organik untuk beberapa halaman Anda.

Berikut adalah beberapa praktik terbaik anggaran perayapan untuk diikuti:

Tingkatkan Kecepatan Situs Web Anda

Seperti disebutkan di atas, kecepatan situs web dan waktu pemuatan halaman dapat memengaruhi batas perayapan. Situs web yang sehat dan cepat berarti Googlebot dapat merayapi lebih banyak laman Anda, dan dalam waktu yang lebih singkat.

Di sisi lain, halaman yang memuat lebih lambat mengurangi tingkat perayapan dan, di situs web besar, ini dapat menyebabkan masalah pengindeksan secara keseluruhan.

Singkatnya, pastikan untuk mengoptimalkan kecepatan situs Anda. Ini tidak hanya akan memudahkan bot, tetapi juga meningkatkan pengalaman pengguna.

Terapkan Tautan Internal

Skenario kasus terbaik adalah memiliki backlink yang mengarah ke setiap halaman di situs Anda. Ini bukan hanya praktik SEO yang baik untuk mendatangkan pengunjung ke situs Anda dan menunjukkan kepada mesin telusur bahwa konten Anda penting, tetapi juga menarik Googlebot.

Sederhananya, backlink adalah anak emas SEO.

Tapi inilah kesepakatannya.

Selain backlink, Google juga menyukai tautan internal. Ini membantunya menemukan semua halaman Anda dan lebih memahami bagaimana mereka terkait. Dan sementara backlink mungkin sulit didapat, Anda memiliki kendali penuh atas yang internal dan dapat menambahkan sebanyak yang Anda inginkan (jangan berlebihan).

Menerapkan teknik pengoptimalan ini akan memastikan bahwa lebih banyak halaman Anda yang dirayapi.

Gunakan Arsitektur Web Datar

Popularitas sangat penting di mata Google. Inilah sebabnya mengapa akan bermanfaat untuk menggunakan arsitektur situs web datar. Arsitektur datar memungkinkan otoritas tautan memiliki proporsi yang sama di semua halaman Anda.

Ini akan membantu bot untuk mengikuti bagaimana tautan di situs web Anda terhubung dengan lebih mudah, dan juga memungkinkan Anda untuk mengelompokkan halaman terkait dengan lebih baik dan mendapatkan otoritas topikal.

Dalam praktiknya, ini berarti bahwa baik pengguna, dan mesin telusur dapat menjangkau halaman mana pun di situs web Anda dalam empat klik.

Hindari Halaman Yatim dan Konten Duplikat

Halaman yatim piatu adalah halaman yang tidak berisi satu pun eksternal, atau tautan internal. Hal ini membuat jenis laman ini terisolasi dari konten Anda yang lain, dan, secara logis, laman tersebut juga lebih sulit ditemukan oleh Googlebot.

Anda dapat dengan mudah menghindari halaman yatim piatu dengan menambahkan setidaknya satu tautan internal ke setiap artikel dan halaman yang Anda miliki.

Kelola Konten Duplikat

Konten duplikat menyebabkan banyak masalah. Memiliki banyak URL dengan parameter serupa membingungkan bot perayapan. Ini akan membuang waktu Googlebot, karena harus mencari tahu halaman mana yang utama dan mana yang merupakan versi duplikat, dan ini akan menyebabkan proses crawling yang lebih lambat.

Untuk situs seperti platform eCommerce, yang umumnya memiliki beberapa URL yang mirip, karena beberapa produk serupa dengan perbedaan kecil, seperti ukuran, dan warna, pastikan untuk menggunakan tag kanonik, yang akan memandu Googlebot ke halaman yang ingin Anda prioritaskan.

Larang Perayapan Untuk Beberapa Halaman

Setiap situs web memiliki halaman seperti login, formulir kontak, keranjang belanja, dan sebagainya. Ini tidak perlu dirayapi, dan, di atas itu, mereka tidak dapat dirayapi. Namun, Google akan mencoba, jadi sebaiknya beri tahu bot bahwa mereka harus melewatinya dan menghemat sumber daya.

Untuk melakukan tindakan ini, gunakan file robots.txt Anda untuk melarang perayapan halaman yang Anda inginkan.

Perbarui Konten Lama Dan Tulis Konten Baru

Apakah kami menyebutkan bahwa Google menyukai konten segar? Itu tidak.

Google bahkan mungkin berhenti merayapi halaman Anda, karena faktanya tidak ada yang baru di sana beberapa kali terakhir dirayapi.

Bayangkan, Googlebot mengunjungi situs Anda setiap dua hari sekali dan setiap kali menemukan konten baru untuk diindeks. Kemudian, tiba-tiba, karena suatu alasan, Anda berhenti memperbarui situs web Anda. Namun, Googlebot terus mengunjunginya dengan frekuensi yang sama. Setelah beberapa saat, bot memperhatikan bahwa tidak ada konten baru untuk diindeks dan, pada akhirnya, membuat kunjungan menjadi lebih jarang.

Dalam skenario sebaliknya, di mana Anda mulai lebih sering menyediakan konten segar, Googlebot dapat mulai mengunjungi situs web Anda lebih sering.

Sumber

Umumnya, ketika menetapkan halaman mana yang perlu diperbarui, perhatikan relevansinya – sebuah artikel dapat berumur dua tahun dan masih memiliki informasi yang berlaku (Anda tetap harus memperbaruinya). Atau bisa juga bahan berumur sebulan yang sudah kehilangan kesegarannya.

Kurangi Halaman Kesalahan

Yang satu ini mudah dipahami.

Googlebot membuang-buang waktu ketika mencoba merayapi laman dengan kode kesalahan 5xx (kesalahan server), kode kesalahan 4xx (kesalahan tidak dapat ditemukan), kode kesalahan 3xx (pengalihan), dll., dan akibatnya, ini menurunkan batas kecepatan perayapan Anda.

Sumber

Pada dasarnya, setiap halaman yang menghasilkan kode berbeda dari 200 adalah buang-buang waktu dan perayapan sumber daya. Dalam praktiknya, tidak perlu mengarahkan perhatian Google ke halaman yang telah Anda hapus atau arahkan ulang. Alih-alih, prioritaskan untuk memperbaiki URL aktif Anda.

Optimasi Anggaran Perayapan Singkatnya

Mari kita rekap langkah-langkah untuk mengoptimalkan anggaran perayapan Google:

1. Percepat situs web Anda
2. Tempatkan tautan internal di semua halaman
3. Terapkan arsitektur situs web datar
4. Hindari halaman yatim piatu dan duplikat konten
5. Cegah perayapan pada halaman tertentu
6. Perbarui konten lama dan tulis konten baru
7. Kurangi halaman kesalahan

Kiat Bonus

Anda dapat memeriksa seberapa sering situs web Anda dirayapi dengan melakukan analisis file log. Dengan cara ini, Anda dapat menentukan apakah halaman tertentu sedang dirayapi lebih sering daripada yang lain.

Selain itu, analisis file log dapat membantu Anda memahami apakah ada masalah di area tertentu situs web.

Selain itu, analisis file log dapat membantu Anda memahami apakah ada masalah di area tertentu situs web.

Intinya

Anggaran perayapan sangat penting untuk keseluruhan visibilitas mesin pencari situs web Anda. Jika Googlebot tidak dapat merayapi dan mengindeks halaman Anda, Anda praktis tidak ada online.

Pastikan untuk menerapkan semua teknik pengoptimalan anggaran perayapan yang kami bahas di artikel, dan Anda akan menuai hasilnya.

Google akan dapat menemukan dan mengindeks konten Anda lebih cepat, dan, pada akhirnya, situs web Anda akan menjadi yang terdepan dalam persaingan yang gagal atau lalai menerapkan pengoptimalan.

1:0 untukmu! Kerja yang baik!