Kami telah membuat alat yang memungkinkan kami memeriksa berapa banyak laman di situs tertentu yang diindeks di Google .

Sejauh ini, kami telah memeriksa ratusan situs web dan alat tersebut membantu kami mendiagnosis masalah SEO yang dihadapi klien kami, seperti yang terkait dengan anggaran perayapan dan pengindeksan.

Kami sering menemukan anomali data saat menyelidiki masalah ini dan melihat banyak situs web dengan kesalahan parah di peta situs mereka.

Bagaimana hal ini dapat memengaruhi situs web Anda?

Jika peta situs Anda tidak diterapkan dengan benar, Googlebot dapat menghabiskan banyak waktu untuk merayapi URL berkualitas rendah, yang merupakan pemborosan anggaran perayapan. Akibatnya, banyak URL berharga di situs web Anda mungkin tidak diindeks di Google , karena tidak memiliki sumber daya yang cukup untuk merayapinya.

Kesalahan apa yang dibuat situs web populer di peta situs mereka, dan bagaimana Anda menghindarinya untuk memastikan Google tidak membuang anggaran perayapan untuk konten yang tidak relevan?

Mari kita menggali.

Berapa anggaran perayapan?

Pertama, izinkan saya menjelaskan apa itu anggaran perayapan dan bagaimana sebenarnya relevansinya untuk pengindeksan situs web.

Google dapat merayapi banyak konten, tetapi sumber dayanya tidak terbatas – sehingga perlu membuat pilihan dengan sumber daya yang dimilikinya.

Itulah sebabnya Googlebot menentukan anggaran perayapan untuk semua situs web – jumlah URL yang dapat dan ingin dirayapi.

Anggaran perayapan situs bergantung pada dua metrik :

• Batas kapasitas perayapan – dihitung untuk merayapi semua konten penting di situs web tanpa melampaui batas servernya – dan,
• Permintaan perayapan – ditentukan oleh ukuran situs web, popularitas, dan frekuensi pembaruan.

Jika situs melambat atau merespons dengan kesalahan server, batas akan berkurang dan Googlebot merayapi lebih sedikit.

sumber: dokumentasi Google

Karena kemampuan Googlebot yang terbatas, Anda harus merencanakan URL mana yang dirayapi Googlebot di situs web Anda.

Kunci untuk menyesuaikan URL mana yang dirayapi dijelaskan dalam dokumentasi Google:

Kelola inventaris URL Anda: Gunakan alat yang sesuai untuk memberi tahu Google halaman mana yang harus dirayapi dan mana yang tidak. Jika Google menghabiskan terlalu banyak waktu untuk merayapi URL yang tidak sesuai untuk indeks, Googlebot mungkin memutuskan bahwa tidak ada gunanya melihat sisa situs Anda.

sumber: dokumentasi Google

Untuk rekap – inilah yang kita ketahui sejauh ini:

• Jika situs web Anda lambat, Google mungkin merayapi lebih sedikit URL, sehingga lebih sedikit URL yang akan masuk ke indeks Google,
• Jika Google dapat menemukan banyak URL berkualitas rendah saat merayapi situs Anda, Google mungkin memutuskan bahwa kualitas keseluruhan situs Anda rendah.

Berikut adalah takeaway penting:

Dengan banyaknya URL berkualitas rendah untuk dirayapi Google, Googlebot mungkin kehilangan banyak waktu untuk merayapinya dan mungkin tidak dapat merayapi banyak URL berkualitas tinggi di situs web Anda.

Ini memegang bobot paling besar untuk situs web besar atau cepat berubah karena mereka harus sering dirayapi dan ekstensif untuk menarik lalu lintas.

Seberapa penting peta situs untuk anggaran perayapan Anda?

Seperti yang telah saya jelaskan, mengoptimalkan anggaran perayapan Anda adalah langkah yang sangat penting untuk pengindeksan situs Anda.

Salah satu cara untuk mengelola inventaris URL Anda adalah dengan membuat dan memelihara peta situs yang dioptimalkan dengan baik.  

Peta situs adalah file tempat Anda memberikan informasi tentang halaman, video, dan file lain di situs Anda, dan hubungan di antara mereka […]. Peta situs memberi tahu Google halaman dan file mana yang menurut Anda penting di situs Anda, dan juga memberikan informasi berharga tentang file ini. Misalnya, kapan halaman terakhir diperbarui dan versi bahasa alternatif apa pun dari halaman tersebut.

sumber: dokumentasi Google

Namun, banyak situs web gagal membuat peta situs yang dioptimalkan dengan baik. Untungnya, kita bisa belajar dari kesalahan mereka.

Kesalahan apa yang harus Anda hindari di peta situs Anda?

Saya menganalisis banyak situs populer dan menemukan bahwa banyak dari mereka membuat kesalahan dalam peta situs mereka yang berdampak negatif pada anggaran perayapan mereka, yang dapat menyebabkan masalah dengan cakupan indeks mereka.

Berikut adalah rincian kesalahan yang harus saya hindari saat membuat peta situs.

1. Mengirimkan URL yang salah format

Salah satu kesalahan yang saya temukan berkaitan dengan struktur URL di peta situs.  

Mari kita menganalisisnya dengan melihat contoh spesifik.

wiski.de

Ketika saya melihat statistik yang dikumpulkan oleh perangkat lunak kami, saya terkejut: ini menunjukkan bahwa 0% halaman wiski.de yang dikirimkan di peta situs diindeks di Google.

Saya tahu ini tidak mungkin benar, jadi saya menyelidiki data lebih lanjut.

Sebagian besar URL di peta situs whisky.de tampaknya valid:

• Mereka kanonik,
• Mereka tidak diblokir oleh tag meta robot noindex,
• Mereka tidak diblokir oleh perintah disallow di robots.txt,
• Mereka merespons dengan kode status 200.

Tapi kemudian saya perhatikan bahwa semua URL memiliki garis miring ganda mengikuti domain tingkat atas – lihat contoh ini:

• https://www.whisky.de//wissen/herstellung/hintergrundwissen/fasstypen/whisky-in-marsala-weinfaessern.html
• https://www.whisky.de//wissen/herstellung/hintergrundwissen/jim-beam-fassfabrik.html
• https://www.whisky.de//presse/pressespiegel/playboy.html

Garis miring ganda tampak seperti kesalahan program yang jelas saat membuat peta situs dan mudah diperbaiki.

Namun, halaman yang disertakan dalam peta situs memiliki tag kanonik yang menunjuk ke masing-masing URL – versi yang benar dengan satu garis miring.

Akibatnya, kemungkinan besar Google mengunjungi URL dua kali lebih banyak dari yang dimaksudkan: URL dengan garis miring tunggal dan garis miring ganda.

Google memiliki mekanisme untuk menemukan pola yang salah di URL, dan secara teknis, mungkin saja Google melihat kesalahan tersebut. Jadi, itu bisa saja merayapi whisky.de dan mengindeks URL yang terstruktur dengan benar. Tetapi tidak ada cara bagi kami untuk memeriksanya tanpa akses ke akun Google Search Console atau log server situs web.

Dalam praktiknya, Anda tidak boleh bergantung pada algoritme Google untuk memperbaiki kesalahan Anda – praktik seperti yang saya jelaskan dapat membebani anggaran perayapan Anda dan bahkan membuat halaman Anda keluar dari indeks Google.

Mengirimkan URL konten tipis

Ada wabah situs web yang menyertakan halaman konten tipis di peta situs mereka.

Mari saya tunjukkan sebuah contoh.

AnnTaylor

Saya menemukan kesalahan ini di AnnTaylor.com, toko pakaian wanita dengan peringkat teratas.

Saya ingin memeriksa berapa banyak kategori produk mereka yang diindeks di Google, jadi saya menyelidiki peta situs mereka yang didedikasikan untuk halaman kategori.

Pemeriksaan awal menunjukkan bahwa hanya 46% dari halaman kategori yang diindeks di Google.

Jadi, saya melihat ini lebih detail dan mengetahui bahwa sebagian besar halaman kategori mereka adalah soft 404s.

Secara khusus, halaman ini menampilkan pesan berikut:

Tidak mengherankan bahwa Google tidak ingin mengindeksnya!

Langkah logis berikutnya adalah mengecualikan soft 404 dari sampel saya. Untuk tujuan itu, saya memeriksa status pengindeksan peta situs yang sama, tetapi menggunakan pemicu yang mengecualikan halaman yang berisi frasa "Kami mencari dengan gaya dan tidak berhasil" seperti yang dicontohkan pada gambar di atas.

Ternyata setelah mengecualikan soft 404 URL, sebanyak 82% halaman dalam peta situs kategorinya diindeks.  

Namun, 18% halaman kategori tidak diindeks di Google – itulah yang harus difokuskan oleh SEO mereka untuk diselidiki.

Situasi AnnTaylor serius karena alasan berikut:

• Pertama-tama, Google membuang-buang anggaran perayapan untuk merayapi konten tipis.
• Selain itu, bukan misteri bahwa Google menilai kualitas pada tiga tingkatan: halaman, bagian, dan seluruh situs. Google dapat memutuskan bahwa halaman kategori, secara umum, berkualitas rendah dan semuanya dapat dideindeks . Dulu, itu terjadi pada situs web seperti Giphy, Instagram, atau Pinterest, seperti yang saya jelaskan di salah satu artikel saya. Mari kita berharap itu tidak akan terjadi pada AnnTaylor.

Melewati URL yang berharga

Seperti yang sudah saya sebutkan, peta situs membantu Google memahami situs web Anda dengan lebih baik dan merayapinya dengan lebih cerdas.

Namun, saya perhatikan banyak situs web tidak menyertakan URL mereka yang paling berharga di peta situs.

Berikut ini salah satu contohnya.

Bacaan Bagus

Saya memeriksa sampel umum (diambil dari semua URL dari peta situs ) untuk GoodReads dan menemukan bahwa hanya 35% dari mereka yang diindeks.

Saya sangat terkejut, karena saya tahu bahwa ini adalah situs web yang sangat berkualitas tinggi. Saya tahu saya bukan satu-satunya yang mengunjungi GoodReads untuk membaca ulasan dan mengetahui apakah buku tertentu layak dibaca.

Kemudian, saya melihat sampel yang kami periksa tidak memiliki URL dengan buku yang disertakan. Jadi saya memutuskan untuk mengunduh semua peta situs mereka.

Hasilnya: tidak ada URL dengan buku di peta situs.  

Mengapa itu pertanda buruk?

Ada risiko bahwa Google memprioritaskan URL yang ditemukan di peta situs dan entah bagaimana, melewatkan mengunjungi halaman produk.

Penafian: GoodReads bukan klien kami. Jadi, secara teknis, ada kemungkinan mereka memiliki peta situs pribadi yang dikirimkan ke Google Search Console.

Terlalu sering menggunakan parameter <lastmod>

Salah satu parameter yang dapat Anda sertakan dalam file peta situs Anda adalah <lastmod>, yang menentukan kapan terakhir kali halaman diperbarui. Dengan cara ini, Google dapat dengan mudah memilih URL yang berubah baru-baru ini.

Namun, beberapa situs web terlalu sering menggunakan teknik ini. Dan melakukannya dapat memiliki efek yang merugikan karena, seperti yang kita baca dalam pedoman Google, “ Google menggunakan nilai <lastmod> jika secara konsisten dan dapat diverifikasi (misalnya dengan membandingkan dengan modifikasi terakhir halaman) akurat.”

Mari kita lihat contoh situs yang menggunakan parameter <lastmod> secara berlebihan.

Avon

Saya melihat peta situs produk Avon dan semua URL yang terdaftar memiliki parameter <lastmod> yang sama – hari ini:

Aman untuk mengasumsikan tidak semua URL Avon berubah setiap hari, jadi Google enggan mengindeks halamannya.

Menautkan ke lingkungan pementasan Anda dalam peta situs

Sangat umum bagi Google untuk mengindeks URL pementasan.  

Biasanya merupakan misteri bagaimana Google menemukan tautan ke halaman tersebut. Namun penjelasan umum adalah bahwa URL ini ditautkan langsung dari peta situs.

Acehardware.com

Perhatikan bahwa acehardware.com telah memperbarui peta situs dan mengatasi kesalahan di bawah ini.

Ini adalah contoh yang awalnya saya periksa.

Seperti yang Anda lihat, saya menemukan bahwa mereka menautkan ke situs pementasan dari peta situs mereka.

Mengapa memasukkan lingkungan pementasan Anda ke dalam peta situs itu buruk?

1. Google merayapi URL yang tidak perlu.
2. Jika URL pementasan diindeks, mereka membingungkan pengguna yang mencari informasi tertentu dan tersandung di hasil pencarian.

Praktik terbaik untuk diikuti di peta situs

Anda telah membaca ikhtisar saya tentang hal-hal yang harus dihindari saat membuat dan mengelola peta situs untuk situs web.

Jadi sekarang, apa saja amalan yang harus Anda ikuti?

Berikut adalah beberapa praktik terbaik yang saya rekomendasikan:

– Hanya sertakan URL kanonik di peta situs Anda.

– Ukuran peta situs maksimum harus 50.000 URL. Anda dapat memecahnya menjadi peta situs yang lebih kecil jika Anda memiliki lebih banyak URL.

– Jangan sertakan ID sesi dari URL Anda di peta situs – dengan cara ini, Anda dapat mengurangi perayapan duplikat dari URL yang diberikan.

– Gunakan URL yang konsisten dan lengkap – sertakan URL absolut daripada URL relatif.

Seperti yang telah saya sebutkan, pastikan peta situs Anda hanya menyertakan URL yang berharga. Anda dapat melakukan perayapan situs web lengkap untuk memeriksa apakah ada URL yang ditemukan dalam perayapan yang hilang dari peta situs Anda.

Ini hanyalah puncak gunung es dalam hal mengoptimalkan peta situs Anda – untuk rekomendasi lebih lanjut, baca panduan utama kami untuk peta situs XML.  

Membungkus

Peta Situs sangat berharga untuk setiap situs web.

Namun, seperti yang dapat Anda lihat dari contoh situs yang saya daftarkan, banyak situs web populer tidak memiliki peta situs yang dioptimalkan, yang memerlukan biaya – cakupan indeksnya sangat terpengaruh.

Juga, perlu diingat bahwa kesalahan SEO di peta situs dapat berdampak negatif pada anggaran perayapan Anda, yang sangat penting jika Anda memiliki situs web sedang atau besar.

Saya harap sekarang Anda tahu kesalahan apa yang harus dihindari dan Anda akan segera membuat peta situs yang membantu Google merayapi situs Anda dengan lebih efisien, yang mengarah pada peningkatan cakupan indeks.