Mesin pencari tidak dapat menemukan dan mengindeks setiap halaman di web – mereka perlu membuat pilihan dalam hal itu. Dan, meskipun semua mesin pencari memiliki tujuan yang sama, mereka menggunakan kriteria yang berbeda untuk halaman mana yang akan diindeks.

Karena itu, umumnya baik jika mesin pencari dapat merayapi dan mengindeks sebanyak mungkin konten berharga – ini meningkatkan kemungkinan bahwa itu akan menunjukkan kepada pengguna apa yang mereka cari.

Saya ingin tahu tentang mesin pencari mana – Bing atau Google – yang mengindeks lebih banyak konten secara umum.

Artikel ini menjelaskan berbagai aspek penelitian saya, dan meskipun saya membutuhkan lebih banyak data untuk menarik kesimpulan yang pasti, saya masih berhasil mengumpulkan banyak wawasan unik dan berharga.

Inilah yang saya temukan tentang bagaimana Bing dan Google mengindeks halaman web.

Menganalisis data pengindeksan: metodologi dan hasil

Cakupan indeks dari sampel acak situs WordPress

Langkah pertama penelitian saya adalah mengumpulkan sampel halaman untuk memeriksa statistik pengindeksan mereka.

Saya memutuskan bahwa titik awal yang baik adalah menggunakan contoh situs web yang menggunakan plugin Yoast SEO WordPress. Ada alasan praktis di balik pemilihan plugin ini: plugin ini membagi peta situs berdasarkan bagian, yang memungkinkan saya menganalisis bagian mana yang paling banyak diindeks.

Saya menemukan daftar situs web yang menggunakan plugin Yoast SEO di builtwith.com , sebuah situs yang melaporkan situs web menggunakan teknologi atau alat yang diberikan. Saya memilih sampel acak 200 situs web dari daftar situs yang menggunakan Yoast SEO.

Kemudian, saya memeriksa statistik pengindeksan situs web tersebut menggunakan ZipTie.dev , dan data yang keluar sangat menarik.

Bing mengindeks lebih banyak halaman web daripada Google.

Lihatlah bagan di bawah ini yang menunjukkan statistik pengindeksan untuk kategori peta situs yang diberikan:

Cakupan indeks sama untuk Bing dan Google untuk kategori cerita dan pers. Selain itu, Google mengindeks lebih banyak konten di panduan dan lokasi. Namun, di semua kategori peta situs yang tersisa, pengindeksan Bing melebihi Google – termasuk kategori penting, seperti posting, produk, dan gambar.

Tetapi apakah ini berarti Bing juga dapat merayapi lebih banyak halaman daripada Google? Atau apakah mereka merayapi jumlah konten yang sama tetapi memiliki preferensi yang berbeda dalam hal pengindeksan?

Data perayapan untuk sampel klien kami

Untuk memperluas temuan saya, saya memeriksa data untuk beberapa klien kami di Alat Webmaster Bing dan Google Search Console.  

Alat-alat ini menunjukkan halaman-halaman yang diketahui oleh mesin pencari masing-masing untuk domain tertentu.

Di Google Search Console, saya melihat semua halaman yang dikenal yang muncul di laporan Cakupan Indeks dan memeriksa jumlah URL untuk keempat status (Kesalahan, Valid, Valid dengan Peringatan, dan Dikecualikan).

Di Alat Webmaster Bing, di bagian Penjelajah Situs, yang berisi data pengindeksan untuk halaman pada domain tertentu, saya memfilter tampilan untuk menampilkan Semua URL.

Ini menunjukkan kepada saya semua URL yang ditemukan untuk setiap domain yang saya analisis.

Setelah membandingkan data yang saya dapatkan di kedua alat ini, saya perhatikan bahwa Google menemukan lebih banyak halaman daripada Bing.

Di sisi lain (dengan asumsi temuan ini konsisten di kedua sampel situs web yang diuji), kita sudah tahu bahwa halaman yang ditemukan oleh Google dan Bing lebih mungkin untuk diindeks oleh Bing.

Perlu diingat bahwa hasil ini hanya untuk contoh kecil situs dan mungkin tidak mewakili keseluruhan web.

Cakupan indeks dari sampel situs populer

Aspek ketiga dari penelitian saya adalah memeriksa status pengindeksan beberapa situs web populer menggunakan ZipTie untuk melihat perbedaannya antara Bing dan Google.

Saya belajar bahwa Bing jauh lebih bersemangat untuk mengindeks situs-situs ini daripada Google. Ini mengkonfirmasi temuan saya sebelumnya untuk sampel situs WordPress menggunakan YoastSEO.

Perhatikan data yang saya dapatkan:

Pengindeksan Bing vs. Google – pengamatan awal

Bisakah kita mengatakan bahwa Bing adalah mesin pencari yang lebih baik berdasarkan data?

Meskipun Bing mengindeks lebih banyak konten, kami tidak dapat menunjukkan satu pemenang hanya dengan melihat statistik pengindeksan. Kami tidak tahu mengapa Bing mengindeks lebih dari Google.

Hipotesis saya adalah bahwa Google mungkin "lebih pemilih" daripada Bing. Bukan misteri bahwa pemilihan indeks adalah suatu hal.

Kami telah mengatakannya selama bertahun-tahun – diindeks oleh Google menjadi semakin sulit.

Kita juga tahu bahwa mesin pencari merayapi halaman dengan kecepatan yang berbeda.

Inilah yang dikatakan John Mueller tentang seberapa sering Googlebot merayapi laman:

Saya pikir bagian yang sulit di sini adalah kami tidak merayapi URL dengan frekuensi yang sama sepanjang waktu. Jadi beberapa URL akan kami jelajahi setiap hari. Beberapa URL mungkin mingguan. URL lain setiap beberapa bulan, bahkan mungkin setiap setengah tahun sekali. Jadi ini adalah sesuatu yang kami coba temukan keseimbangan yang tepat, sehingga kami tidak membebani server Anda. […] Jadi, khususnya, jika Anda melakukan hal-hal seperti kueri situs, maka ada kemungkinan Anda akan melihat URL tersebut yang dirayapi seperti setiap setengah tahun sekali. Mereka akan tetap di sana setelah beberapa bulan. […] jika menurut Anda URL ini seharusnya tidak diindeks sama sekali, maka mungkin Anda dapat mencadangkannya dan berkata, nah, ini file peta situs dengan tanggal modifikasi terakhir sehingga Google mati dan mencoba menggandakan- periksa ini sedikit lebih cepat daripada yang lain.

sumber: John Mueller

Saya juga menemukan beberapa ide menarik dalam dokumentasi Bing:

Untuk mengukur seberapa pintar perayap kami, kami mengukur efisiensi perayapan bingbot. Efisiensi perayapan adalah seberapa sering kami merayapi dan menemukan konten baru dan segar per halaman yang dirayapi. Bintang utara efisiensi perayapan kami adalah merayapi URL hanya ketika konten telah ditambahkan (URL tidak dirayapi sebelumnya), diperbarui (konteks halaman baru atau tautan keluar yang berguna). Semakin sering kami merayapi duplikat konten yang tidak berubah, semakin rendah metrik Efisiensi Perayapan kami.

sumber: Seri Bingbot: Memaksimalkan Efisiensi Perayapan”

Bing mungkin tidak ingin masuk lebih dalam saat merayapi situs web karena hal itu dapat memberikan sedikit nilai dan menyebabkan KPI mereka turun.

Kami tahu bahwa Bing telah berupaya membuat perayapan lebih efisien. Misalnya, Bing berusaha mengoptimalkan perayapan konten statis dan mengidentifikasi pola yang akan mengurangi frekuensi perayapan di banyak situs web.

Juga, pertimbangkan perbedaan dalam cara Google dan Bing mengindeks situs WordPress acak – mereka jauh lebih kecil. Dalam kasus situs web yang sangat populer, mereka jauh lebih signifikan.

Ini membuat saya berpikir bahwa, sejalan dengan fakta bahwa Bing secara terbuka mengakui bahwa mereka menggunakan data perilaku pengguna dalam algoritme mereka, Bing sangat memprioritaskan pengindeksan situs web yang populer, sedangkan untuk Google, popularitas bukanlah faktor utama.

Memperkenalkan IndexNow

Baru-baru ini, Bing mengambil langkah lebih jauh dengan mengadopsi protokol IndexNow. Anda dapat menggunakan IndexNow untuk memberi tahu Bing dan Yandex tentang konten baru atau yang diperbarui.

Melalui pengujian kami, kami menemukan bahwa Bing biasanya akan mulai merayapi halaman antara 5 detik dan 5 menit sejak dikirimkan menggunakan IndexNow.

IndexNow adalah inisiatif untuk Internet yang lebih efisien: Dengan memberi tahu mesin telusur apakah URL telah diubah, pemilik situs web memberikan sinyal yang jelas untuk membantu mesin telusur memprioritaskan perayapan untuk URL ini, sehingga membatasi kebutuhan penjelajahan untuk menguji apakah konten telah berubah […].

Kami akan terus belajar dan meningkatkan pada [a] skala yang lebih besar dan menyesuaikan tingkat perayapan untuk situs yang menerapkan IndexNow. Tujuan kami adalah memberi setiap pengguna manfaat maksimal dalam hal pengindeksan, manajemen pemuatan perayapan, dan kesegaran konten bagi pencari.

sumber: Bing Blog, “IndexNow - Mengindeks konten web Anda secara instan di Mesin Pencari”

IndexNow memungkinkan situs web untuk mengindeks kontennya lebih cepat dan menggunakan lebih sedikit sumber daya untuk perayapan. Akibatnya, bisnis dapat menciptakan pengalaman yang lebih baik bagi pelanggan mereka dengan memberi mereka akses ke informasi yang paling relevan.

Kami membuat alat yang akan membantu Anda mengirimkan URL atau peta situs ke IndexNow dengan lebih cepat dan mudah.

Yang terpenting, IndexNow adalah peluang bagi mesin pencari yang lebih kecil seperti Bing dan Yandex untuk menambahkan indeks mereka dari basis data konten yang luas. IndexNow mengatasi masalah yang dihadapi mesin telusur, termasuk Google saat ini – harus merayapi dan merender konten dalam jumlah yang terus bertambah.

Waktu akan memberi tahu apakah Google mengadopsi protokol IndexNow atau membuat solusi alternatif yang memungkinkan pemilik situs mengirimkan halaman untuk pengindeksan.

Mengoptimalkan cara halaman dirayapi dan diindeks

Kesimpulan lain dari analisis pengindeksan saya adalah betapa pentingnya menyederhanakan perayapan dan pengindeksan untuk mesin telusur.

Pertama, Anda perlu membuat dan memelihara peta situs yang menyertakan URL berharga Anda. Peta Situs berguna bagi Bing dan Google untuk menemukan konten yang harus mereka indeks.

Mesin pencari akan berjuang untuk mengambil halaman mana yang relevan dan harus diindeks jika Anda gagal mengirimkan peta situs yang dioptimalkan. Untuk detail lebih lanjut tentang menyiapkan peta situs dan halaman apa yang harus disertakan, baca Panduan Utama kami untuk Peta Situs XML.

Selain itu, Anda harus memiliki file robots.txt yang berisi arahan yang benar untuk bot dan tag 'noindex' yang diterapkan dengan benar pada halaman yang tidak boleh diindeks.

Membungkus

Untuk menentukan pola yang jelas dalam pengindeksan Bing dan Google, saya harus memeriksa lebih banyak situs web, tetapi ada ide tertentu yang dapat kami peroleh dari sampel data saya:

• Bing mengindeks lebih banyak konten daripada Google.
• Google menemukan lebih banyak konten daripada Bing, menunjukkan bahwa Google lebih pemilih dengan pengindeksan. Prinsip panduan untuk Bing adalah mengurangi perayapan dan fokus pada konten yang telah ditambahkan atau diperbarui.
• Bing memprioritaskan pengindeksan situs web populer, sementara popularitas kurang menjadi faktor bagi Google.

Kami juga dapat melihat bahwa kualitas konten dan mengoptimalkan perayapan dan pengindeksan situs Anda adalah aspek penting dari SEO, dan mereka tidak dapat diremehkan atau diabaikan. Selain itu, faktor-faktor ini kemungkinan akan terus menjadi penting seiring dengan pertumbuhan web dan algoritme mesin telusur menjadi lebih canggih.