Dasar-dasar SEO Teknis: Perayapan, Pengindeksan, dan Pemeringkatan

Hari ini, kita akan berbicara tentang dasar-dasar SEO teknis. Kami akan menjelaskan perbedaan antara perayapan, pengindeksan, dan peringkat. Selain itu, kami akan menunjukkan cara memanfaatkan tautan internal, file robots.txt, dan peta situs XML Anda untuk membantu Google merayapi dan mengindeks toko Shopify Anda lebih cepat dan lebih efisien.

Ringkasan

• Cara kerja Google: Apa perbedaan antara perayapan, pengindeksan & peringkat
• Cara membuat struktur tautan internal yang kuat
• Shopify & robots.txt: Semua yang perlu Anda ketahui
• Shopify & sitemap.xml: Semua yang perlu Anda ketahui
• Mengirimkan peta situs Anda ke Google Search Console: Mengapa itu penting & Bagaimana melakukannya [Bonus]
• Kesimpulan

Cara kerja Google: Apa perbedaan antara perayapan, pengindeksan & peringkat

Perayapan adalah proses otomatis saat Googlebot menemukan data baru di web, yaitu halaman baru atau halaman lama yang diperbarui.

Bagaimana ini terjadi? Googlebot menggunakan dua sumber daya untuk merayapi web:

• Daftar URL dari perayapan sebelumnya, yaitu halaman yang telah dirayapi Googlebot
• Peta Situs

Kemudian, Google merayapi semua URL dari daftar dan semua URL yang termasuk dalam peta situs. Catatan: Selama proses perayapan, Google memberikan perhatian ekstra pada situs web baru, pembaruan laman web lama, dan tautan mati.

Googlebot dapat menemukan halaman baru dengan:

• Mengikuti tautan pada halaman yang telah dirayapi. Misalnya, jika Anda membuat halaman produk baru dan menambahkan tautan ke halaman itu di beranda Anda, saat berikutnya Googlebot merayapi beranda Anda (halaman yang sudah diketahuinya), itu juga akan merayapi halaman produk baru Anda.
• Membaca peta situs yang telah diperbarui dan berisi tautan ke halaman web yang baru dibuat.

Anda dapat melakukan beberapa hal untuk membantu Google merayapi (yaitu, menemukan) halaman web baru Anda lebih cepat. Sebagai contoh:

• Buat struktur tautan internal yang kuat
• Buat file robots.txt
• Buat file sitemap.xml dan kirimkan ke Google Search Console

Kami akan membahas masing-masing langkah ini secara lebih rinci di bawah ini.

Singkatnya, perayapan adalah proses menemukan data baru di web. Pengindeksan adalah proses mengkategorikan, mengatur, dan menyimpan data ini di Google Index.

Apa artinya ini? Setelah Googlebot menemukan halaman baru, ia mencoba menilai kontennya dan memahami isinya. Kemudian, ia mengatur dan menyimpan informasi ini dalam database besar - Indeks Google. Indeks Google berisi ratusan miliar halaman. Ini lebih dari 100 juta gigabyte. Google menggambarkannya sebagai indeks di bagian belakang buku - "dengan entri untuk setiap kata yang terlihat di setiap halaman web yang kami indeks. Saat kami mengindeks halaman web, kami menambahkannya ke entri untuk semua kata yang ada di dalamnya." (Sumber: Google, Cara kerja algoritme Penelusuran)

Singkatnya, ketika sebuah halaman diindeks, itu dapat muncul di SERPs. Kiat pro: Gunakan Laporan Cakupan Indeks untuk memeriksa halaman mana dari toko Shopify Anda yang telah diindeks dan mendeteksi masalah pengindeksan apa pun.

“Jadi, bukankah mengindeks dan memeringkat adalah hal yang sama?”, Anda mungkin bertanya.

Jawabannya adalah tidak." Inilah alasannya: ketika mengindeks sebuah halaman, Google hanya menambahkannya ke SERPs - halaman tersebut dapat muncul di halaman 1, halaman 101, halaman 1001, dll. Dalam hal peringkat, tujuan akhir Anda adalah mencapai posisi #1 di halaman #1 halaman SERP.

Jadi, apa sebenarnya peringkat itu?

Tujuan utama Google adalah mengembalikan hasil yang paling relevan dan berkualitas tinggi untuk setiap kueri penelusuran. Untuk mencapai ini, Google harus memeriksa semua informasi dalam Indeks Google dan menentukan hasil mana yang paling sesuai untuk permintaan pencarian. Ini terjadi setiap kali seseorang menggunakan Google Penelusuran - prosesnya disebut peringkat.

Untuk menemukan hasil yang paling relevan, algoritme peringkat Google memperhitungkan banyak faktor. Beberapa terkait dengan pengguna dan kueri mereka:

• Lokasi pengguna
• Riwayat peramban
• Pengaturan peramban
• Kata kunci
• Maksud pencarian

Lainnya terkait dengan situs web Anda:

• Keahlian
• Relevansi konten
• Kualitas konten
• kesegaran konten
• Jumlah backlink
• Otoritas domain (DA)
• Otoritas halaman web (PA)
• Kegunaan
• Dan banyak lagi

Singkatnya, peringkat adalah proses mengurutkan hasil pada SERP dari yang paling relevan (ditampilkan di tempat #1) hingga yang paling tidak relevan. Untuk menjadi lebih baik dalam mengambil hasil terbaik untuk setiap kueri (yaitu, pada peringkat), Google membuat penyesuaian algoritme kecil setiap hari. Mereka juga memiliki pembaruan algoritme inti yang luas, yang sangat memengaruhi SERP dan memengaruhi banyak industri.

Pada akhirnya, semakin tinggi peringkat halaman untuk permintaan pencarian:

• Semakin relevan halaman dengan permintaan pencarian
• Semakin tinggi kualitasnya (terutama dibandingkan dengan hasil lain di SERP)

Sejauh ini, kami belum menyebutkan SEO teknis. Jadi, tentu saja, Anda mungkin bertanya-tanya: “Apa hubungannya SEO teknis dengan perayapan, pengindeksan, dan peringkat?”

Jawabannya adalah "Semuanya!" Agar Google dapat merayapi, mengindeks, dan memberi peringkat pada toko Shopify Anda, itu harus dioptimalkan secara teknis.

Inilah yang perlu Anda ketahui tentang perayapan dalam hal SEO teknis:

• Googlebot harus dapat menjangkau dan merayapi situs web Anda. Ingatlah bahwa Googlebot mengakses web sebagai pengguna anonim. Dengan demikian, toko Shopify Anda tidak boleh dilindungi kata sandi. Pelajari cara menghapus kata sandi toko Shopify Anda
• Anda harus memiliki peta situs XML - file yang membantu Google mengindeks halaman web baru Anda lebih cepat dan lebih efisien. Ini juga membantu Google menilai pentingnya halaman web Anda dan memahami hubungan antara halaman dan sumber daya yang berbeda.
• Anda harus memiliki file robots.txt - file teks sederhana yang memberi tahu Google halaman mana dari toko Shopify Anda yang dapat diakses (yaitu, indeks) dan mana yang tidak.
• Anda harus memiliki strategi penautan internal antipeluru - tautan internal membantu Google menavigasi situs web Anda dan menemukan halaman baru lebih cepat.
• Toko Shopify Anda harus memiliki hierarki halaman dengan kedalaman rendah, yaitu, semua halaman penting di situs web Anda tidak boleh lebih dari tiga klik dari beranda Anda. Ini akan mengoptimalkan Anggaran Perayapan Anda (jumlah halaman yang dirayapi Google di situs web Anda dalam satu perayapan), yaitu, Anggaran Perayapan Anda akan dialokasikan ke halaman terpenting Anda.
• Situs web Anda harus memiliki struktur URL logis yang dapat dengan mudah dipahami dan diikuti oleh Google.
• Toko Shopify Anda harus memiliki navigasi intuitif.

Inilah yang perlu Anda ketahui tentang pengindeksan dalam hal SEO teknis:

• Anda harus menambahkan markup data terstruktur ke halaman Anda. Ingatlah bahwa saat mengindeks halaman, Google mencoba memahaminya - markup data terstruktur membuat proses ini lebih mudah. Di Shopify, Anda perlu menambahkan data terstruktur ke beranda, halaman koleksi, halaman produk, halaman blog, dan halaman artikel Anda. Pelajari lebih lanjut tentang markup data terstruktur → Data Terstruktur untuk Shopify: Panduan Definitif [2022]

Dan ketika menyangkut peringkat, segalanya menjadi lebih kompleks. Google memperhitungkan kesehatan teknis situs web Anda, serta kesehatan SEO secara keseluruhan (misalnya, apakah situs tersebut ramah seluler, apakah berisi konten segar dan relevan, apakah Anda mengikuti Pedoman Webmaster Google, dll.). Faktor SEO teknis yang paling penting untuk peringkat termasuk kecepatan halaman, konten duplikat, dan tautan rusak.

Dalam beberapa bulan mendatang, kita akan membahas masing-masing topik teknis SEO ini. Hari ini, kami hanya akan fokus pada langkah pertama yang perlu Anda ambil untuk membantu Google merayapi toko Shopify Anda:

• Buat strategi penautan internal yang kuat
• Miliki file robots.txt yang sempurna
• Miliki peta situs XML yang sempurna

Cara membuat struktur tautan internal yang kuat

Tautan internal adalah tautan di halaman web yang mengarah ke halaman lain atau sumber daya di domain yang sama.

Tautan internal adalah komponen kunci dari arsitektur toko Shopify Anda dan membantu Google lebih memahami struktur situs web Anda. Akibatnya, struktur tautan internal yang kuat membantu Google merayapi dan mengindeks halaman web Anda lebih cepat dan lebih efisien.

Untuk membangun struktur tautan internal yang kuat, Anda harus terlebih dahulu memahami perbedaan antara dua jenis tautan internal:

• Tautan internal navigasi - tautan yang membentuk navigasi toko Shopify Anda (mis., tautan di menu utama, menu bilah sisi, menu header dan footer, dll.). Mereka menetapkan hierarki halaman web Anda dan membantu pelanggan Anda dan Google menavigasi toko Anda. Juga, mereka melewati ekuitas tautan yang membantu Google memahami halaman mana yang paling penting di toko Anda. Akibatnya, Google dapat merayapi laman ini lebih sering.
• Tautan internal kontekstual - tautan dalam konten utama halaman web (misalnya, tautan ke halaman produk pada halaman kategori, tautan dalam artikel dan deskripsi produk, tautan pada halaman kebijakan, dll.). Tujuan dari tautan tersebut adalah untuk menyebarkan ekuitas tautan dan membantu Google menemukan halaman baru lebih cepat.

Membuat struktur tautan internal antipeluru dalam 10 langkah

Langkah 1: Pastikan tautan internal Anda dapat dirayapi.

Dengan kata lain:

• URL harus diformat dengan benar. Shopify menangani ini secara default. Namun, Anda dapat menggunakan Alat Inspeksi URL untuk memeriksa masalah apa pun.

• Jangan membuat tautan internal ke halaman yang diblokir oleh file robots.txt Anda (kecuali jika diperlukan).
• Jangan membuat tautan internal ke laman yang memiliki tag meta “tanpa indeks” (kecuali jika perlu).

Catatan: Kami akan membahas file robots.txt dan tag meta “tanpa indeks” secara lebih rinci di bawah ini.

Langkah 2: Pastikan tidak ada tautan internal yang rusak di situs web Anda.

Anda dapat menggunakan alat audit situs seperti Audit Situs SEMRush untuk melihat laporan tautan internal dan menemukan tautan internal yang rusak. Ada dua cara untuk memperbaiki tautan internal yang rusak - Anda dapat menghapusnya atau menggantinya dengan tautan internal lain yang relevan (dan berfungsi!).

Langkah 3: Hapus semua halaman yatim piatu dari toko Shopify Anda.

Halaman yatim piatu adalah halaman yang tidak ditautkan dari halaman lain mana pun di toko Shopify Anda. Karena Googlebot menggunakan tautan untuk merayapi web, lebih sulit untuk menemukan halaman yatim piatu (batas tidak mungkin jika halaman anak yatim tidak disertakan dalam peta situs Anda). Juga, pelanggan Anda tidak dapat benar-benar mencapai halaman yatim piatu. Dengan kata lain, mereka tidak benar-benar memiliki bobot SEO dan tidak menguntungkan Anda dengan cara apa pun.

Oleh karena itu, penting untuk mengetahui apakah situs web Anda berisi halaman seperti itu. Anda dapat menggunakan alat seperti Audit Situs Ahrefs untuk memeriksa halaman yatim piatu.

Jika situs web Anda berisi halaman yatim piatu, Anda harus menilai kepentingannya.

• Jika penting, tambahkan tautan ke halaman tersebut di halaman lain situs web Anda. Kiat pro: Jika halaman berisi konten tipis, coba temukan topik umum dan gabungkan halaman yang serupa - lebih baik memiliki satu halaman berkualitas tinggi daripada beberapa halaman berkualitas buruk.
• Jika tidak penting, hapus saja.

Langkah 4: Pastikan situs web Anda memiliki hierarki halaman dengan kedalaman rendah.

Pertama, identifikasi halaman paling penting di situs web Anda.

Secara umum, halaman terpenting di sebuah situs web adalah beranda - ini adalah halaman dengan otoritas halaman (PA) tertinggi.

Dalam e-commerce, halaman yang secara langsung berdampak pada bottom line juga sangat penting. Ini adalah halaman kategori dan halaman produk Anda.

Semua halaman ini harus saling terkait dengan benar. Ini terjadi jika situs web Anda memiliki arsitektur situs web yang dioptimalkan secara teknis.

Hal terpenting yang harus diingat di sini adalah bahwa halaman penting di situs web Anda tidak boleh lebih dari tiga klik dari beranda Anda (misalnya, beranda > halaman kategori > halaman produk). Dengan cara ini, beranda Anda akan memberikan lebih banyak ekuitas tautan ke halaman kategori Anda, dan halaman kategori Anda akan meneruskan ekuitas tautan ke halaman produk Anda, dll. Akibatnya, halaman kategori dan produk Anda akan mendapat peringkat lebih tinggi.

Juga, harus ada korelasi logis antara halaman yang saling terkait. Misalnya, halaman produk dalam satu kategori harus memiliki ciri yang sama, yaitu, tidak boleh ada celana dalam kategori "Kemeja" Anda.

Catatan: Kami akan membahas ini lebih detail di artikel kami berikutnya, jadi pantau terus!

Langkah 5: Gunakan tautan internal untuk membantu Googlebot menemukan halaman baru lebih cepat dan meningkatkan peringkatnya.

Katakanlah Anda baru saja menambahkan halaman produk baru ke toko Shopify Anda. Untuk membantu Google merayapi dan mengindeksnya lebih cepat, Anda dapat menambahkan tautan ke sana di beranda atau di entri blog yang berkinerja sangat baik. Sebagai manfaat tambahan, ini akan meneruskan ekuitas tautan ke halaman produk baru Anda, yang berarti akan memiliki peluang lebih baik untuk mendapatkan peringkat lebih tinggi di SERP - tentu saja, kita semua tahu apa artinya ini: lebih banyak visibilitas dan lebih banyak peluang penjualan.

Langkah 6: Manfaatkan produk yang direkomendasikan.

Bagian “Produk yang direkomendasikan” akan meningkatkan nilai pesanan rata-rata Anda dan membantu Anda memberikan pengalaman berbelanja yang lebih menarik. Selain itu, ini adalah peluang tautan yang bagus - tautan di bagian "Produk yang direkomendasikan" adalah tautan di halaman produk Anda yang mengarahkan pelanggan ke halaman produk lain di toko Shopify Anda.

Di Shopify, bagian “Produk yang direkomendasikan” menampilkan daftar rekomendasi produk yang dibuat secara otomatis.

Produk direkomendasikan berdasarkan algoritme yang memprediksi produk yang paling relevan berdasarkan produk yang berinteraksi dengan pelanggan. (Sumber: Shopify, Menampilkan rekomendasi produk di halaman produk)

Algoritme menggunakan data penjualan (untuk menentukan produk mana yang sering dibeli bersamaan) dan deskripsi produk (untuk menentukan produk mana yang serupa atau saling melengkapi). Algoritme mengaitkan hingga sepuluh produk serupa per produk dan menampilkannya dalam urutan relevansi.

Ada batasan tertentu yang perlu Anda waspadai. Misalnya, tergantung pada paket Shopify Anda, Anda dapat menampilkan berbagai jenis rekomendasi produk di halaman produk Anda. Selain itu, Anda tidak dapat menyesuaikan algoritme untuk mengecualikan produk tertentu (kecuali jika Anda menulis kode khusus). Pelajari lebih lanjut → Shopify, Rekomendasi produk

Beberapa tema Shopify mendukung rekomendasi produk secara default:

Sumber: Shopify, Tampilkan rekomendasi produk di halaman produk

Selain itu, Anda dapat membuat bagian "Produk terkait" yang dapat disesuaikan atau menggunakan aplikasi Shopify yang dapat membantu Anda menampilkan produk terkait di halaman produk Anda. Salah satu aplikasi tersebut adalah Produk Terkait - Juga Dibeli oleh Globo:

Aplikasi olahraga a - rating. Ini memiliki paket gratis dan versi berbayar dengan biaya $9,90/bulan (tersedia uji coba gratis 7 hari).

Langkah 7: Perhatikan teks jangkar.

Teks jangkar penting karena membantu Google memahami tentang halaman yang saling terkait dan apakah itu relevan dengan halaman yang berisi tautan.

Teks jangkar tautan internal Anda harus relevan, deskriptif, dan spesifik. Skenario kasus terbaik, harus mengandung kata kunci.

Sebagai aturan umum, hindari teks jangkar yang tidak jelas seperti "Baca lebih lanjut" atau "Klik di sini." Sebagai gantinya, lakukan sesuatu seperti ini: “Baca lebih lanjut → Internal-link-with-a-relevant-and-descriptive-anchor-text ”

Langkah 8: Hindari rantai pengalihan.

Rantai pengalihan terjadi bila ada beberapa pengalihan antara URL awal (yaitu, URL yang diminta) dan URL tujuan akhir. Misalnya, bayangkan X adalah URL awal dan Z adalah URL final. Rantai pengalihan adalah URL X > pengalihan ke URL Y > pengalihan ke URL Z. Akibatnya, URL Z membutuhkan lebih banyak waktu untuk dimuat.

Secara umum, Anda harus menghindari rantai pengalihan karena mengarah pada pengalaman pengguna yang buruk. Juga, mereka mempersulit Google untuk merayapi situs web Anda. Oleh karena itu, Google merekomendasikan untuk membatasinya sebanyak mungkin.

Bagaimana rantai pengalihan terjadi?

Katakanlah Anda mengubah URL halaman dan membuat pengalihan ke URL baru. Sekarang bayangkan halaman tersebut telah ditautkan, dan tautannya mengarah ke URL lama. Saat seseorang mengeklik tautan, mereka akan diarahkan terlebih dahulu ke URL lama, lalu ke URL baru yang diperbarui.

Rantai pengalihan juga dapat terjadi saat Anda memasang sertifikat SSL di situs web Anda - dalam hal ini, semua tautan HTTP lama akan secara otomatis dialihkan ke tautan HTTPS baru dan aman. Jadi, saat pengguna mengklik interlink yang telah Anda buat, mereka akan diarahkan ke versi HTTP halaman terlebih dahulu, lalu ke versi HTTPS.

Untuk meminimalkan rantai pengalihan:

• Pastikan semua tautan internal mengarah langsung ke halaman langsung.
• Perbarui pengalihan yang Anda terapkan selama peralihan dari HTTP ke HTTPS.
• Hindari menautkan ke URL yang mengarahkan ke URL lain.
• Audit pengalihan yang ada secara teratur dan hapus semua pengalihan yang tidak perlu. Anda dapat menggunakan Alat Audit Situs SEMRush untuk mendeteksi rantai pengalihan dan mendapatkan saran tentang cara memperbaikinya.

Langkah 9: Jangan berlebihan.

Tentu, interlink itu penting. Tapi ada yang namanya "terlalu banyak interlink", terutama jika mereka tidak memiliki tujuan, yaitu jika mereka tidak meningkatkan kualitas halaman dengan cara apa pun.

Sebuah halaman harus berisi tautan internal dalam jumlah yang wajar, dan semuanya harus masuk akal, yaitu, harus ada alasan logis bagi mereka untuk berada di halaman tersebut.

Dalam istilah awam, jangan membuat tautan internal hanya untuk kepentingan itu.

Langkah bonus: Bangun strategi konten.

Memiliki strategi konten penting karena beberapa alasan:

• Ini bagus untuk SEO dan membantu Anda menentukan peringkat untuk banyak kata kunci yang relevan. Ini meningkatkan visibilitas dan dapat membantu Anda meningkatkan kesadaran merek.
• Ini membantu Anda menetapkan diri Anda sebagai otoritas di niche Anda.
• Ini membangun kepercayaan pelanggan.
• Ini membantu Anda memberikan pengalaman berbelanja yang lebih terinformasi.
• Ini membantu Anda mempresentasikan produk Anda dengan cara yang lebih menarik dan menyeluruh.
• Ini menawarkan banyak peluang yang saling terkait.

Jadi, bagaimana Anda membangun strategi konten yang kuat?

Pertama dan terpenting, buat konten yang relevan dan berkualitas tinggi. Tulis tentang topik yang menjadi perhatian audiens target Anda - atasi masalah mereka, jawab pertanyaan mereka, dll.

Kedua, buat kelompok topik, yaitu, buat topik yang relevan dan buat lima atau sepuluh posting blog terpisah untuk setiap topik. Karena posting ini akan mencakup sudut pandang yang berbeda dari topik yang sama, kemungkinan untuk saling terkait akan sangat banyak. Juga, ketika Anda telah menerbitkan semua posting blog dari satu seri, Anda dapat membuat halaman pilar dan menghubungkan semuanya - ini adalah cara yang bagus untuk meningkatkan strategi penautan internal Anda.

Ketiga, gunakan posting blog Anda untuk menghubungkan halaman kategori dan produk Anda (misalnya, dalam panduan hadiah, posting tentang koleksi produk atau peluncuran produk, dan banyak lagi). Ini akan membantu Google menemukan mereka lebih cepat dan juga dapat meningkatkan peringkat mereka.

Shopify & robots.txt: Semua yang perlu Anda ketahui

Sederhananya, robots.txt adalah file teks sederhana yang memberi tahu Google halaman mana dari situs web Anda yang harus dirayapi dan mana yang tidak.

Secara umum, memiliki file robots.txt tidak diperlukan untuk SEO. Namun, memiliki robots.txt menawarkan beberapa manfaat yang tidak boleh Anda abaikan:

• Itu membuat Googlebot (dan perayap mesin telusur lainnya) dari merayapi dan mengindeks halaman yang berisi informasi sensitif (misalnya, halaman Masuk / Daftar, halaman akun, dll.).
• Itu membuat Googlebot tidak merayapi dan mengindeks halaman dan sumber daya yang tidak memiliki bobot SEO (misalnya, halaman "Terima kasih", halaman pratinjau, file pdf (misalnya, manual produk), dll.).
• Itu membuat Googlebot tidak merayapi halaman konten tipis atau halaman yang berisi konten duplikat.
• Ini membantu mesin pencari menemukan peta situs Anda dengan lebih mudah (file robots.txt Anda berisi tautan ke peta situs Anda).
• Ini membantu Google merayapi dan mengindeks situs web Anda lebih cepat dan lebih efisien.
• Ini mengoptimalkan Anggaran Perayapan Anda (dengan memastikan Google tidak merayapi halaman yang tidak boleh dirayapi dan diindeks).

Apa yang perlu Anda ketahui tentang Shopify & robots.txt:

Ini adalah file robots.txt dari Final Straw - salah satu toko Shopify favorit kami.

Sebelum kita melangkah lebih jauh, mari kita jelaskan apa arti setiap direktif (yaitu, setiap baris dalam file robots.txt):

• Arahan "User-agent" menentukan crawler mana yang dimaksudkan untuk instruksi tersebut. Dengan kata lain, jika agen pengguna ditentukan dalam arahan "Agen pengguna" (misalnya, "Agen pengguna: Googlebot"), agen pengguna ini (misalnya, "Googlebot") harus mengikuti petunjuk, tetapi agen yang berbeda ( misalnya, "Bingbot" - perayap Bing) harus melanjutkan dan mencari arahan yang lebih spesifik. Jika agen pengguna tidak ditentukan (seperti kasus di atas), instruksi harus diikuti oleh semua bot mesin telusur (atau perayap).
• Arahan "Izinkan" hanya berlaku untuk Googlebot. Ini memberi tahu Googlebot bahwa ia dapat mengakses halaman web atau subfolder tertentu meskipun halaman induk atau subfoldernya mungkin tidak diizinkan.
• Arahan "Larang" memberi tahu bot mesin pencari halaman mana yang tidak dirayapi dan diindeks.
• Arahan "Peta Situs" mengarahkan bot mesin pencari ke lokasi peta situs XML Anda.
• Arahan "Host" berisi URL beranda Anda (yaitu, domain utama Anda).

Sekarang setelah Anda memiliki pemahaman yang lebih baik tentang cara kerja robots.txt, inilah yang perlu Anda ketahui tentang file robots.txt dan Shopify:

• Shopify secara otomatis membuat file robots.txt Anda.
• File robots.txt Anda terletak di direktori akar nama domain utama situs web Anda. Untuk mengaksesnya, cukup tambahkan “/robots.txt” di URL beranda Anda, misalnya, “https://www.yourshopifystore.com/robots.txt”
• File robots.txt Anda dikelola oleh Shopify. Ini berarti Anda tidak dapat mengedit kontennya. Namun, jika Anda tidak ingin Google mengakses halaman tertentu yang tidak dilarang di file robots.txt, Anda dapat menyembunyikannya menggunakan tag meta “noindex” - baris kode yang memberi tahu mesin telusur untuk tidak mengindeks halaman tertentu. halaman. Menerapkan tag meta "noindex" membutuhkan pengetahuan teknis karena Anda harus menyesuaikan file tata letak theme.liquid Anda. Pelajari cara mengindeks halaman tertentu → Shopify, Menyembunyikan halaman dari mesin pencari

• Anda dapat memantau halaman mana yang telah diblokir oleh file robots.txt dengan mendaftar ke akun Google Search Console gratis.

Shopify & sitemap.xml: Semua yang perlu Anda ketahui

Peta situs XML Anda memberi Googlebot (dan bot mesin telusur lainnya) informasi tentang halaman web dan sumber daya (mis., file media, pdf, dll.) di toko Shopify Anda. Pada dasarnya, ini adalah daftar lengkap halaman dan sumber daya terpenting di situs web Anda. Peta situs Anda juga berisi informasi penting tentang halaman web Anda (misalnya, kapan terakhir diubah, berapa banyak gambar yang dikandungnya, apa hubungannya dengan halaman atau sumber lain, dll.).

Tujuan peta situs adalah untuk membantu Google merayapi situs web Anda lebih cepat dan lebih efisien.

Mirip dengan file robots.txt, memiliki peta situs tidak mutlak diperlukan - Google akan dapat merayapi situs web Anda tanpa bantuannya (terutama jika Anda memiliki strategi penautan internal yang kuat). Namun, memiliki peta situs tentu dapat menguntungkan Anda. Terutama dalam kasus-kasus berikut:

• Jika Anda memiliki toko katalog besar. Bayangkan harus menautkan 1000+ (atau bahkan hanya 100) halaman produk… tidak mungkin, bukan?
• Jika toko Shopify Anda baru dan masih memiliki sedikit backlink dan interlink.
• Jika toko Shopify Anda berisi banyak file media seperti video dan gambar.
• Jika Anda mengunggah banyak file pdf (mis., manual atau instruksi produk).
• Jika Anda memposting banyak artikel.
• Selain itu, memiliki peta situs berarti Googlebot (dan perayap mesin telusur lainnya) akan lebih sering merayapi situs web Anda.

Apa yang perlu Anda ketahui tentang peta situs Shopify & XML:

Ini adalah peta situs Rebel Nell - salah satu toko Shopify favorit kami. Ini adalah tampilan peta situs khas toko Shopify - ada satu peta situs induk yang menautkan ke peta situs tambahan (atau peta situs anak) untuk produk, koleksi, blog, dan halaman. Kategorisasi ini membantu Google menavigasi dan merayapi toko Shopify Anda dengan lebih mudah.

Setiap peta situs tambahan berisi daftar halaman yang ekstensif. Misalnya, jika kita melihat lebih dekat pada peta situs produk Rebel Nell, kita akan melihat bahwa peta itu berisi tautan ke semua halaman produk Rebel Nell, serta informasi tentang gambar, kapan halaman terakhir diubah, seberapa sering halaman itu dimodifikasi, dan lainnya.

Inilah yang perlu Anda ketahui tentang file sitemap.xml dan Shopify:

• Shopify secara otomatis menghasilkan file sitemap.xml untuk toko Anda. Ini berisi tautan ke semua produk, gambar produk, halaman, koleksi, dan posting blog Anda.

Jika Anda menggunakan paket Basic Shopify, maka hanya domain utama toko Anda yang memiliki file peta situs yang dihasilkan dan dapat ditemukan oleh mesin telusur. Jika Anda menggunakan paket Shopify, Shopify Lanjutan, atau Shopify Plus, maka Anda dapat menggunakan fitur domain internasional untuk membuat domain khusus wilayah atau negara tertentu. Saat Anda menggunakan domain internasional, file peta situs dibuat untuk semua domain Anda. Semua domain Anda dapat ditemukan oleh mesin telusur, kecuali jika dialihkan ke domain utama Anda. (Sumber: Shopify, Menemukan dan mengirimkan peta situs Anda)

• Peta situs Anda terletak di direktori akar domain toko Shopify Anda, yaitu, Anda dapat menemukannya dengan menambahkan “/sitemap.xml” ke URL beranda Anda (misalnya, “https://www.yourshopifystore.com/sitemap. xml"). Catatan: Anda juga dapat menemukan lokasi peta situs Anda di file robots.txt - ingat bahwa lokasi tersebut ditentukan dalam arahan “Peta Situs”.
• Shopify secara otomatis memperbarui peta situs Anda setiap kali Anda memperbarui toko Anda (misalnya, setiap kali Anda menambahkan produk baru atau menerbitkan posting blog baru).
• Anda tidak dapat mengedit peta situs Anda secara manual. Jika Anda ingin mengecualikan halaman tertentu dari peta situs toko Anda, Anda hanya dapat melakukannya melalui API Shopify (melalui kode). Untungnya, ada beberapa aplikasi yang dapat membantu Anda jika Anda tidak paham teknologi. Salah satu aplikasi tersebut adalah Smart SEO. Hanya dengan satu klik tombol, Anda dapat mengecualikan halaman yang tidak ingin Anda tampilkan di peta situs Anda. Ini juga akan menambahkan tag noindex ke mereka dan mengecualikannya dari halaman pencarian situs Anda.

Perhatikan kotak centang di sebelah setiap produk - jika kotak centang ditandai, status produk diatur ke "Aktif." Ini berarti bahwa produk tersebut termasuk dalam peta situs. Jika Anda ingin mengecualikan produk dari peta situs Anda, yang perlu Anda lakukan hanyalah menghapus tanda centang dari kotak centang.

Smart SEO memiliki peringkat yang luar biasa. Ini memiliki paket gratis dan tiga paket berbayar. Harga mulai dari $9,99/bulan (tersedia uji coba gratis 7 hari).

Sekarang setelah Anda mengetahui apa itu file sitemap.xml dan apa manfaatnya bagi Anda, mari beralih ke bagian terakhir panduan ini - mengirimkan peta situs Anda ke Google Search Console.

Mengirimkan peta situs Anda ke Google Search Console: Mengapa penting & Bagaimana melakukannya?

Anda dapat mengirimkan file sitemap.xml Anda ke Google Search Console kapan saja. Ini tidak mutlak diperlukan - Google akan dapat menemukan peta situs Anda meskipun Anda tidak mengirimkannya. Tetapi penting bagi Anda untuk melakukannya!

Mengapa? Karena mengirimkan peta situs Anda ke Google Search Console akan membantu Googlebot merayapi dan mengindeks halaman web dan sumber daya Anda lebih cepat. Selain itu, mengirimkan peta situs Anda ke Google Search Console akan meningkatkan peringkat Anda, meningkatkan upaya penautan internal Anda dan, pada akhirnya, memperluas jangkauan Anda. Sederhananya, mengirimkan peta situs Anda akan memberi Anda lebih banyak eksposur dan menghasilkan lebih banyak peluang penjualan.

Cara mengirimkan peta situs Anda ke Google Search Console:

• Pastikan situs web Anda tidak dilindungi kata sandi - Google tidak akan dapat mengakses peta situs Anda jika dilindungi kata sandi. Pelajari cara menghapus kata sandi toko Shopify Anda
• Buat akun Google Search Console gratis.
• Verifikasi domain Anda dengan Google Search Console dan konfirmasikan bahwa Anda adalah pemilik toko Shopify Anda. Catatan: Anda tidak akan dapat memverifikasi domain jika situs web Anda dilindungi sandi.
• Kirim file sitemap.xml Anda ke Google Search Console. Ikuti langkah-langkah yang tercantum di sini → Shopify, Menemukan dan mengirimkan peta situs Anda

Kesimpulan

Hari ini, kita berbicara tentang cara kerja pencarian. Kami menjelaskan perbedaan antara perayapan, pengindeksan, dan peringkat, serta apa yang harus dilakukan SEO teknis dengan masing-masing proses ini.

Selain itu, kami menunjukkan kepada Anda cara membantu Google merayapi dan mengindeks toko Shopify Anda lebih cepat dan lebih efisien dengan:

• Membuat strategi penautan internal yang kuat
• Memiliki file robots.txt yang sempurna
• Memiliki file sitemap.xml yang sempurna dan mengirimkannya ke Google Search Console

Jika Anda memiliki pertanyaan lebih lanjut, hubungi kami di bawah!

In our next article, we'll focus on website architecture. More specifically, we'll show you how to create a low-depth page hierarchy, a logical URL structure, and intuitive website navigation - these are key steps to building a technically optimized website (and, as you already know, it helps with crawling and indexing as well). So, stay tuned!