Memahami dan menyelesaikan 'Ditemukan – saat ini tidak diindeks'

Jika Anda melihat "Ditemukan - saat ini tidak diindeks" di Google Search Console, itu berarti Google mengetahui URL tersebut, tetapi belum merayapi dan mengindeksnya.

Itu tidak berarti halaman tersebut tidak akan pernah diproses. Seperti yang tertulis dalam dokumentasi mereka, mereka mungkin akan kembali lagi nanti tanpa usaha ekstra dari Anda.

Namun faktor lain dapat mencegah Google merayapi dan mengindeks laman, termasuk:

• Masalah server dan masalah teknis di lokasi membatasi atau mencegah kemampuan perayapan Google.
• Masalah yang berkaitan dengan halaman itu sendiri, seperti kualitas.

Anda juga dapat menggunakan Google Search Console Inspection API untuk mengantri URL untuk status coverageState (serta titik data berguna lainnya) secara massal.

Minta pengindeksan melalui Google Search Console

Ini adalah resolusi yang jelas dan untuk sebagian besar kasus, ini akan menyelesaikan masalah.

Terkadang, Google lambat merayapi URL baru – itu terjadi. Tapi di lain waktu, masalah mendasar adalah penyebabnya.

Saat Anda meminta pengindeksan, salah satu dari dua hal mungkin terjadi:

• URL menjadi "Dirayapi - saat ini tidak diindeks"
• Pengindeksan sementara

Keduanya adalah gejala dari masalah yang mendasarinya.

Yang kedua terjadi karena meminta pengindeksan terkadang memberi URL Anda "peningkatan kesegaran" sementara yang dapat membuat URL di atas ambang kualitas yang disyaratkan dan, pada gilirannya, mengarah ke pengindeksan sementara.

Masalah kualitas halaman

Di sinilah kosakata bisa membingungkan. Saya pernah ditanya, "Bagaimana Google menentukan kualitas halaman jika belum dirayapi?"

Ini adalah pertanyaan yang bagus, dan jawabannya adalah tidak bisa.

Google membuat asumsi tentang kualitas halaman berdasarkan halaman lain di domain tersebut. Klasifikasi mereka juga didasarkan pada pola URL dan arsitektur situs web.

Akibatnya, memindahkan halaman ini dari "awareness" ke antrean crawl dapat diprioritaskan berdasarkan kurangnya kualitas yang mereka temukan di halaman serupa.

Ada kemungkinan bahwa halaman dengan pola URL yang mirip atau yang terletak di area yang serupa dari arsitektur situs memiliki proposisi bernilai rendah dibandingkan dengan konten lain yang menargetkan maksud dan kata kunci pengguna yang sama.

Kemungkinan penyebabnya meliputi:

• Kedalaman konten utama.
• Presentasi.
• Tingkat konten pendukung.
• Keunikan konten dan perspektif yang ditawarkan.
• Atau bahkan masalah yang lebih manipulatif (yaitu, konten berkualitas rendah dan dihasilkan secara otomatis, berputar, atau langsung menggandakan konten yang sudah ada).

Bekerja untuk meningkatkan kualitas konten dalam kluster situs dan halaman tertentu dapat memberikan dampak positif dalam membangkitkan kembali minat Google untuk meng-crawl konten Anda dengan tujuan yang lebih besar.

Anda juga dapat mengindeks halaman lain di situs web yang Anda akui tidak berkualitas tinggi untuk meningkatkan rasio halaman berkualitas baik dengan halaman berkualitas buruk di situs.

Perayapan anggaran dan efisiensi

Anggaran perayapan adalah mekanisme yang sering disalahpahami dalam SEO.

Sebagian besar situs web tidak perlu khawatir tentang hal ini. Faktanya, Gary Illyes dari Google telah mencatat bahwa mungkin 90% situs web tidak perlu memikirkan anggaran perayapan. Ini sering dianggap sebagai masalah bagi situs web perusahaan.

Efisiensi perayapan, di sisi lain, dapat memengaruhi situs web dari semua ukuran. Diabaikan, ini dapat menyebabkan masalah tentang cara Google merayapi dan memproses situs web.

Sebagai ilustrasi, jika situs web Anda:

• Gandakan URL dengan parameter.
• Diselesaikan dengan dan tanpa garis miring.
• Tersedia di HTTP dan HTTPS.
• Menyajikan konten dari beberapa subdomain (misalnya, https://website.com dan https://www.website.com).

…maka Anda mungkin mengalami masalah duplikasi yang memengaruhi asumsi Google tentang prioritas perayapan berdasarkan asumsi situs yang lebih luas.

Anda mungkin menghabiskan anggaran perayapan Google dengan URL dan permintaan yang tidak perlu. Mengingat bahwa Googlebot merayapi situs web dalam porsi tertentu, hal ini dapat menyebabkan sumber daya Google tidak menjangkau cukup jauh untuk menemukan semua URL yang baru diterbitkan secepat yang Anda inginkan.

Anda ingin merayapi situs web Anda secara teratur, dan memastikan bahwa:

• Halaman diselesaikan menjadi satu subdomain (sesuai keinginan).
• Halaman diselesaikan menjadi satu protokol HTTP.
• URL dengan parameter dikanonikalisasi ke root (sesuai keinginan).
• Tautan internal tidak menggunakan pengalihan yang tidak perlu.

Jika situs web Anda menggunakan parameter, seperti filter produk e-niaga, Anda dapat mengekang perayapan jalur URI ini dengan melarangnya di file robots.txt.

Server Anda juga penting dalam cara Google mengalokasikan anggaran untuk menjelajah situs web Anda.

Jika server Anda kelebihan beban dan merespons terlalu lambat, masalah perayapan mungkin muncul. Dalam hal ini, Googlebot tidak akan dapat mengakses halaman yang menyebabkan beberapa konten Anda tidak dapat di-crawl.

Akibatnya, Google akan mencoba kembali lagi nanti untuk mengindeks situs web, tetapi tidak diragukan lagi hal itu akan menyebabkan keterlambatan dalam keseluruhan proses.

Tautan internal

Saat Anda memiliki situs web, penting untuk memiliki tautan internal dari satu halaman ke halaman lainnya.

Google biasanya kurang memperhatikan URL yang tidak memiliki atau cukup tautan internal – dan bahkan mungkin mengecualikannya dari indeksnya.

Anda dapat memeriksa jumlah tautan internal ke halaman melalui perayap seperti Screaming Frog dan Sitebulb.

Memiliki struktur situs web yang terorganisir dan logis dengan tautan internal adalah cara terbaik untuk mengoptimalkan situs web Anda.

Namun jika Anda mengalami masalah dengan ini, salah satu cara untuk memastikan semua halaman internal Anda terhubung adalah dengan "meretas" kedalaman perayapan menggunakan peta situs HTML.

Ini dirancang untuk pengguna, bukan mesin. Meskipun sekarang dianggap sebagai peninggalan, mereka masih bisa berguna.

Selain itu, jika situs web Anda memiliki banyak URL, sebaiknya pisahkan di antara beberapa laman. Anda tidak ingin semuanya ditautkan dari satu halaman.

Tautan internal juga perlu menggunakan tag <a> untuk tautan internal alih-alih mengandalkan fungsi JavaScript seperti onClick() .

Jika Anda menggunakan kerangka kerja Jamstack atau JavaScript, selidiki bagaimana pustaka terkait menangani tautan internal. Ini harus disajikan sebagai tag <a>.