Peta situs XML dan SEO: Apa yang perlu Anda ketahui

Peta situs XML baru berusia 18 tahun pada bulan Juni, dan untuk menghormati pengenalan penuhnya ke masa dewasa, saya menguraikan cara kerja peta situs XML, cara membuatnya, dan mengapa peta situs XML menawarkan banyak sekali manfaat SEO.

Apa itu peta situs XML?

Singkatnya, peta situs XML adalah protokol dalam format XML yang memberi tahu mesin telusur tentang URL di situs web yang tersedia untuk dirayapi.

Peta situs XML dimaksudkan untuk berbagi informasi tentang setiap URL, seperti:

• Kapan terakhir diperbarui.
• Seberapa sering itu berubah.
• Betapa pentingnya kaitannya dengan URL lain di seluruh situs web Anda.

Peta situs XML memungkinkan mesin telusur merayapi situs web Anda dengan lebih efisien jika URL tertentu diisolasi.

Jika Anda seorang profesional SEO, Anda mungkin sudah menggunakan peta situs XML yang dibangun di dalam plugin Yoast WordPress Anda. Tetapi ada banyak tambahan yang mungkin Anda lewatkan.

Cara membuat peta situs XML dinamis

Jika Anda menggunakan WordPress, manfaatkan plugin SEO seperti Yoast dan RankMath untuk menghasilkan peta situs XML yang dinamis.

Jika Anda tidak menggunakan WordPress, ikuti langkah-langkah berikut untuk membuat peta situs XML dinamis.

Pahami struktur navigasi Anda

Kumpulkan daftar semua URL kami di situs web dan kelompokkan mereka untuk menyelaraskan dengan struktur navigasi dan pengelompokan konten.

Bermitra dengan tim pengembang Anda

Bagikan daftar URL yang dikelompokkan bersama dengan tim pengembang Anda untuk mendapatkan bantuan mereka dalam membuat peta situs XML dinamis menggunakan Python, PHP, atau JavaScript.

Berikut adalah contoh cara membuat kode peta situs XML dinamis menggunakan Python:

 import xml.etree.ElementTree as ET import datetime # List of URLs (replace these with your actual URLs) urls = [    "https://www.example.com/page1",    "https://www.example.com/page2",    "https://www.example.com/page3",    # Add more URLs here ] # Create the root element urlset = ET.Element("urlset") urlset.set("xmlns", "http://www.sitemaps.org/schemas/sitemap/0.9") # Loop through URLs and create URL entries for url in urls:    url_elem = ET.SubElement(urlset, "url")    loc_elem = ET.SubElement(url_elem, "loc")    loc_elem.text = url    lastmod_elem = ET.SubElement(url_elem, "lastmod")    lastmod_elem.text = datetime.datetime.now().isoformat()    changefreq_elem = ET.SubElement(url_elem, "changefreq")    changefreq_elem.text = "daily"  # You can set this to the desired frequency    priority_elem = ET.SubElement(url_elem, "priority")    priority_elem.text = "0.5"  # You can set this to a value between 0 and 1 # Create the XML tree tree = ET.ElementTree(urlset) # Save the XML to a file tree.write("sitemap.xml", encoding="utf-8", xml_declaration=True)

Saat bekerja dengan pengembang, saya memanfaatkan Flask dan Python bersama-sama untuk membuat peta situs XML yang benar-benar dinamis yang berubah setiap kali konten situs web berubah.

Jika kita dapat menentukan rute peta situs dinamis berdasarkan konten situs web menggunakan fungsi seperti get_dynamic_urls() , kita seharusnya dapat mengambil semua URL.

 @app.route('/sitemap.xml', methods=['GET']) def sitemap():    urls = get_dynamic_urls()  # Replace with your dynamic URL retrieval logic    urlset = ET.Element("urlset")    urlset.set("xmlns", "http://www.sitemaps.org/schemas/sitemap/0.9")    for url in urls:        url_elem = ET.SubElement(urlset, "url")        loc_elem = ET.SubElement(url_elem, "loc")        loc_elem.text = url        lastmod_elem = ET.SubElement(url_elem, "lastmod")        lastmod_elem.text = datetime.datetime.now().isoformat()        changefreq_elem = ET.SubElement(url_elem, "changefreq")        changefreq_elem.text = "daily"        priority_elem = ET.SubElement(url_elem, "priority")        priority_elem.text = "0.5"    xml_content = ET.tostring(urlset, encoding="utf-8")    return xml_content, {'Content-Type': 'application/xml'}

Jika Anda berbagi kode di beberapa properti domain, pastikan file dikodekan dengan benar di halaman HTML Anda.

Misalnya, file CSS dan JavaScript Anda harus ditautkan menggunakan tag <link> dan <script> .

Sebelum membagikan kode di berbagai domain, Anda harus membuat server terpusat untuk menghosting aturan peta situs XML bersama.

Anda akan memiliki beberapa fase peta situs XML dinamis dengan pengembang Anda hingga semua aturan dikonfirmasi.

Jangan lupa untuk memeriksa apakah URL dinamis benar-benar diambil dan diintegrasikan ke dalam logika peta situs Anda.

Unggah ke server Anda

Setelah peta situs XML Anda dikompresi, unggah peta situs XML dinamis Anda ke direktori akar situs web Anda.

Kirim ke mesin pencari  

Beri tahu mesin telusur tentang peta situs XML Anda dengan mengirimkannya melalui Google Search Console dan Alat Webmaster Bing.

Pemeliharaan berkelanjutan

Peta situs XML bukan hanya taktik SEO "atur dan lupakan". Sangat penting untuk memperbarui peta situs XML Anda saat situs web Anda berubah.

15 tips yang perlu diingat saat membuat peta situs XML

1. Peta situs XML bukanlah faktor peringkat

Ketika ditanya di X (sebelumnya Twitter) apakah ada keuntungan peringkat menggunakan peta situs XML, Gary Illyes dari Google menjawab:

• "Tidak, toh tidak langsung."

2. Google dapat menemukan halaman Anda tanpa peta situs

Situs web tidak memerlukan peta situs jika berukuran kecil dan ditautkan dengan benar, Daniel Waisberg, Advokat Penelusuran di Google, berbagi dalam video pelatihan Google Search Console.

Namun, dia melanjutkan dengan mengatakan peta situs mungkin sangat membantu jika:

• Situs ini sangat besar.
• Halaman situs diisolasi.
• Situs ini baru atau berubah dengan cepat.

Selain itu, penting untuk dicatat bahwa John Muller dari Google menyatakan di X (sebelumnya Twitter) bahwa memiliki peta situs XML adalah "baseline minimal untuk situs web serius mana pun".

3. Google memeriksa apakah peta situs XML Anda telah berubah sebelum diproses ulang

Google memang memeriksa untuk melihat apakah peta situs XML Anda telah berubah sebelum menghabiskan sumber daya untuk mem-parsing dan memproses file lagi, Illyes menegaskan.

Ia menyatakan dalam SEO Office Hours.

• “Segera setelah Anda mengubah sesuatu di peta situs Anda, baik itu elemen URL atau mod terakhir, peta situs akan diuraikan lagi dan umumnya diproses ulang. Itu tidak berarti bahwa URL akan dirayapi dengan pasti, tentu saja mereka masih tunduk pada evaluasi kualitas seperti URL lainnya. Perlu juga disebutkan bahwa jika Anda menghapus URL dari peta situs karena mungkin URL tersebut sudah tidak ada lagi, bukan berarti URL tersebut secara otomatis akan dihapus dari indeks atau bahkan diprioritaskan untuk perayapan sehingga dapat dihapus lebih cepat.”

4. Peta situs XML dapat membuat konten baru Anda diindeks lebih cepat

Mueller mengonfirmasi bahwa memberi tahu Google peta situs XML Anda diperbarui dapat membantu membuat konten baru Anda diindeks lebih cepat.

Dia berbagi:

• “Melakukan ping peta situs sedikit berbeda dari sekadar menyediakannya di robots.txt — dengan melakukan ping, Anda secara aktif menandai perubahan pada file peta situs. Jika Anda tertarik untuk membuat konten baru diindeks dengan cepat, itu praktik yang bagus.”

5. Peta situs XML harus disandikan UTF-8

Jika peta situs XML Anda tidak menggunakan UTF-8, mesin telusur tidak dapat membacanya.

6. Pertahankan ukuran file di bawah 50 MB (tidak terkompresi) atau 50.000 URL

Ada batasan ukuran untuk peta situs XML Anda. Simpan di bawah 50.000 URL per peta situs atau 50 MB (tidak terkompresi).

Jika Anda memiliki ukuran file yang lebih besar atau lebih banyak URL, gunakan beberapa peta situs XML.

7. Anda dapat memiliki beberapa peta situs XML

Google memungkinkan Anda mengirimkan beberapa peta situs. Membagi peta situs Anda menjadi beberapa bagian berbeda di situs web Anda untuk mengukur kinerja dapat bermanfaat.

Misalnya, jika Anda adalah situs web e-niaga besar, Anda dapat mengelompokkan peta situs XML menurut jenis produk (misalnya, sepatu wanita vs. sepatu pria).

Atau, jika Anda memiliki beberapa bahasa, Anda mungkin menginginkan hreflang terkait dengan peta situs XML <loc> Anda.

Jika Anda memiliki bahasa alternatif, itu tidak termasuk dalam jumlah maksimum 50.000 URL.

Atau, jika Anda memiliki banyak video atau gambar, Anda dapat memisahkan peta situs XML menjadi peta situs XML video dan peta situs XML gambar.

Tidak ada manfaat peringkat untuk memiliki beberapa peta situs XML.

8. Jika Anda memiliki beberapa peta situs XML, ingatlah untuk menggunakan file indeks peta situs

Jika Anda memiliki beberapa peta situs XML untuk situs besar, Anda perlu mengirimkan file indeks peta situs untuk mengirimkan banyak peta situs sekaligus.

9. Tag lastmod harus tanpa cacat

Tag <lastmod> adalah salah satu bagian terpenting dari peta situs XML Anda.

Misalnya, data terstruktur saya memanfaatkan tanggal <lastmod> peta situs XML saya.

Tag <lastmod> juga memberikan sinyal ke mesin telusur apakah Anda telah memperbarui konten lama atau meluncurkan konten baru.

Mueller membenarkan hal ini dengan menyatakan:

• “… Jika Anda hanya mengubah footer stempel waktu, tentu saja, halaman tersebut juga telah berubah secara teknis, tetapi apakah itu harus diprioritaskan – mungkin tidak.”

Bing bahkan telah membuat pernyataan resmi pada tag lastmod di peta situs XML, dengan menyatakan:

• “Untuk peta situs XML, salah satu tag paling penting yang dapat Anda sertakan dalam peta situs adalah tag “lastmod”.

10. Peta situs XML hanya boleh menyertakan 200 URL status yang semuanya dikanonikalisasi sendiri

Ingatlah untuk menyimpan hanya URL aktif, 200 status, dapat diindeks, dan dikanonikalisasi sendiri.

Jika Anda terus menampilkan 404 atau 301 halaman yang dialihkan, mesin telusur dapat berhenti merayapi peta situs XML Anda sepenuhnya.

Mueller menanggapi komentar di X (sebelumnya dikenal sebagai Twitter):

• “Kami akan berhenti mengambil file peta situs jika URL tidak valid, tetapi jika Anda mengembalikan konten atau mengalihkan (yang agak disarankan), kami akan terus mencobanya. Seharusnya tidak menimbulkan masalah, karena keseluruhan file peta situs hanyalah sebagian kecil dari semua URL yang diambil dari sebuah situs.”

11. Mesin pencari dapat memeriksa peta situs XML Anda setiap hari

Fabrice Canel dari Microsoft membagikan bahwa Microsoft memeriksa peta situs XML Anda setiap hari.

Sementara Mueller membagikan bahwa Google memeriksa peta situs XML Anda berdasarkan frekuensi (alias, tag <lastmod> Anda).

12. Kecepatan halaman secara tidak langsung memengaruhi peta situs XML Anda

Kita semua tahu betapa pentingnya kecepatan halaman untuk upaya SEO kami. Tetapi bagaimana situs web yang berkinerja lambat memengaruhi peta situs XML Anda?

Mueller telah mengonfirmasi bahwa kecepatan halaman seharusnya tidak memengaruhi peta situs XML Anda dengan menyatakan:

• “Selama tidak ada waktu habis, kamu seharusnya baik-baik saja. Mungkin cache versi terbaru untuk mencegah beban server yang tidak perlu?”

Sebenarnya, saya telah bekerja di situs web yang berkinerja lambat di mana peta situs XML tidak dimuat saat mesin telusur merayapi situs web yang menyebabkan fluktuasi peringkat yang besar.

Ada dampak tidak langsung pada peta situs XML Anda jika situs web Anda tidak dimuat dengan benar.

Inilah mengapa penting untuk menggunakan kompresi Gzip untuk mengurangi ukuran file dan mempercepat waktu pemuatan.

13. Hapus tag <priority> dari peta situs XML Anda

Illyes membandingkan tag <priority> di peta situs XML dengan “sekantong kebisingan”.

Jadi, jika Anda bergantung pada mesin telusur untuk merayapi URL Anda di peta situs XML berdasarkan prioritas, Anda akan menunggu lama.

Saya sarankan untuk menghapus tag ini dari peta situs XML Anda.

14. Jika Anda memiliki masalah struktur navigasi, pasangkan peta situs XML Anda dengan peta situs HTML

Selalu ada perasaan campur aduk tentang peta situs HTML.

Mueller berbagi bahwa peta situs HTML “seharusnya tidak pernah diperlukan.”

Dia melanjutkan:

• “Saya berubah pikiran tentang peta situs HTML selama bertahun-tahun, mereka seharusnya tidak pernah dibutuhkan. Situs kecil & besar harus selalu memiliki struktur navigasi yang jelas. Jika Anda merasa membutuhkan peta situs HTML, luangkan waktu untuk menyempurnakan arsitektur situs Anda. Peta situs HTML cocok dengan tempat sampah yang sama dengan pemintal pemuatan HTML.”

 <iframe src="https://mastodon.social/@johnmu/109477617298107922/embed" class="mastodon-embed" width="400" allowfullscreen="allowfullscreen"></iframe><script src="https://mastodon.social/embed.js" async="async"></script>

Saat mengerjakan situs web besar di tingkat perusahaan, sering kali terdapat banyak lapisan pembuat keputusan pada struktur navigasi situs web. Dan seringkali, praktik terbaik SEO dipertimbangkan.

Saya memasangkan kedua peta situs XML saya dengan peta situs HTML sampai saya yakin dengan navigasi situs web dan hierarki penautan internal kami.

15. Jangan lupa untuk menyertakan semua peta situs XML Anda di file robots.txt

Jangan lupa untuk menyertakan peta situs XML Anda (semuanya) sebagai tautan di file robots.txt Anda.

Ini contohnya:

Jangan khawatir tentang di mana letak file robots.txt ini. Tidak ada dampak pada lokasi peta situs XML Anda di file robots.txt.

Mueller menegaskan ini:

Peta situs XML adalah cetak biru situs web Anda untuk mesin telusur

Apakah Anda meluncurkan halaman web baru atau hanya menambahkan tag kanonis ke halaman duplikat, peta situs XML Anda adalah sesuatu yang harus Anda perbarui 24/7.

Tapi lakukan dengan hati-hati.

Meskipun Anda tidak boleh paranoid, peta situs XML Anda adalah cetak biru rumah Anda untuk mesin telusur.

Jadi jangan lupa untuk mengirimkan peta situs XML Anda ke Google Search Console dan Bing Webmaster Tools.