Wawasan Teratas dari “Batas Mesin Pencari & Cara Mengatasinya”

Pada 30 November 2021, Bartosz Goralewicz dan Tomasz Rudzki duduk bersama Fabrice Canel , Manajer Program Utama di Bing, untuk membahas tantangan yang dihadapi mesin telusur saat ini – cara terus merayapi dan mengindeks web yang terus bertambah berat dan besar ?

Jika Anda ingin tahu bagaimana keseluruhan percakapan itu, Anda dapat menonton webinarnya di sini.

Pada artikel ini, saya ingin menyajikan wawasan dan pengumuman paling menarik dari webinar.

IndexNow membantu mengoptimalkan anggaran perayapan

Percakapan dimulai dengan topik populer di industri SEO saat ini – masalah apa yang coba dipecahkan oleh IndexNow?

Mesin pencari memiliki sedikit petunjuk tentang apa yang terjadi di internet. Jadi mereka harus terus merayapi halaman untuk mengetahui apakah ada konten yang diperbarui atau baru. Akibatnya, mereka mungkin membuang anggaran perayapan pada laman berkualitas rendah atau laman yang belum diperbarui.

Kami percaya ada baiknya bagi industri untuk mengubah model ini. Ini akan membantu Anda mendapatkan konten terbaru yang diindeks di mesin telusur, dan Anda dapat membantu kami meminimalkan perayapan, yang bagus untuk seluruh industri.

sumber: Fabrice Canel

Mesin pencari tidak tahu kapan Anda akan memposting artikel blog Anda berikutnya – tetapi Anda tahu! Memberi tahu mereka tentang konten baru di situs Anda membawa manfaat bersama – konten Anda dapat muncul lebih cepat di SERP, dan mesin pencari dapat mengurangi jumlah sumber daya yang mereka butuhkan untuk merayapi dan mengindeks situs web.

Solusi untuk melakukan ping ke mesin pencari bukanlah ide baru. Beberapa tahun yang lalu, webmaster dapat mengirimkan URL ke mesin pencari. Masalahnya adalah mudah untuk hanya mengirim spam ke mesin pencari dengan kiriman yang tidak perlu, sehingga perlu perbaikan.

Dibandingkan dengan solusi lama dengan ping sederhana yang dikirim ke mesin pencari, IndexNow menambahkan lapisan kepercayaan. Anda perlu membuat kunci API dan menghostingnya di situs web Anda. Dengan cara ini, mesin pencari dapat memverifikasi bahwa URL yang dikirimkan adalah milik Anda, meminimalkan kebisingan dalam data yang dihasilkan.

Peta situs tidak cukup

Jika Anda bertanya-tanya mengapa peta situs yang dioptimalkan dengan baik tidak cukup untuk mendukung perayapan dan mengapa kami masih membutuhkan IndexNow , maka jawabannya adalah: peta situs saja tidak cukup!

Secara umum, Bing akan mencoba mengunduh peta situs kurang lebih sekali sehari. […] Tapi internet lebih dari sekali sehari. Anda tidak ingin menunggu suatu hari ketika Anda memiliki siaran pers yang akan datang. Mungkin Anda perlu segera memberi tahu mesin pencari.

sumber: Fabrice Canel

Jadi IndexNow membantu Anda mendorong konten Anda ke mesin telusur saat waktunya sensitif. Ini sangat penting untuk situs web berita, tetapi sangat penting bagi situs web mana pun untuk mendapatkan konten baru yang diindeks secepat mungkin.

Selain itu, peta situs sangat bagus untuk mencantumkan URL tetapi tidak terlalu bagus untuk memperbarui konten. Tag lastmod sering disalahgunakan dan diatur secara tidak benar.

IndexNow kurang bising dibandingkan peta situs. Fabrice menyatakan bahwa data yang berasal dari IndexNow sangat menjanjikan, dan terbukti memandu bot ke konten berkualitas tinggi dan meminimalkan perayapan.

Salah satu hal yang perlu diingat adalah jika Anda akan mengirimkan URL Anda meskipun tidak berubah, Bing mungkin kehilangan kepercayaan dan berhenti merayapi halaman setelah Anda menggunakan IndexNow.

Semua ini tidak berarti bahwa Anda harus berhenti menggunakan peta situs XML. Fabrice menunjukkan bahwa peta situs bekerja sangat baik ketika dipasangkan dengan menggunakan IndexNow – Anda tidak harus menggunakan satu atau yang lain.

Cloudflare sekarang mendukung IndexNow

Selama webinar, Fabrice mengumumkan bahwa Cloudflare sekarang mendukung IndexNow.

Cloudflare memiliki fitur yang disebut Crawler Hints, yang menyediakan data untuk mesin pencari tentang perubahan konten Anda. Dan sekarang, Crawler Hints mendukung IndexNow dan dapat langsung memberi tahu mesin pencari tentang konten baru, yang diperbarui, atau dihapus melalui protokol baru ini.

Lebih dari 60.000 situs web telah menyetel kemampuan Cloudflare untuk mendukung IndexNow. Ini berarti miliaran URL per hari yang datang untuk memberi tahu kami apa yang berubah di internet. […] Ini membawa manfaat bagi Bing dan mesin pencari lainnya, serta pemilik situs web.

sumber: Fabrice Canel

Yang perlu Anda lakukan adalah mengaktifkan Crawler Hints di situs web Anda dengan satu klik sederhana, dan Cloudflare akan mengurus sisanya! Anda dapat menemukan informasi lebih lanjut tentang cara mengaktifkan Crawler Hints di sini.

IndexNow tidak memberikan peningkatan peringkat

Bartosz bertanya kepada Fabrice tentang fakta bahwa banyak domain yang mulai menggunakan IndexNow tampaknya mendapatkan peningkatan lalu lintas dari Bing sekarang. Tapi tidak, IndexNow tidak memberi Anda peningkatan peringkat.

Kami tidak memprioritaskan berdasarkan IndexNow. Ini bukan sinyal peringkat. Mengaktifkan IndexNow tidak akan membantu Anda mendapatkan peringkat lebih tinggi.

sumber: Fabrice Canel

Namun, dengan jumlah konten Internet yang terus dibuat, semakin cepat Anda diindeks, semakin besar peluang Anda untuk tampil lebih tinggi di SERP.

Ini sangat penting untuk situs dengan rubrik berita. Sangat penting untuk diindeks sesegera mungkin. Jika mesin pencari terlambat merayapi dan mengindeks konten Anda, Anda mungkin tertinggal dari pesaing Anda.

Itu sebabnya situs web yang menggunakan IndexNow mungkin lebih baik di SERP. Webmaster paling tahu kapan konten mereka telah berubah dan dapat memberi tahu mesin telusur untuk merayapi dan mengindeks halaman dengan cepat.

IndexNow membebaskan sumber daya yang diperlukan untuk rendering

Seperti yang disebutkan Fabrice di webinar, rendering sangat penting bagi mesin pencari untuk memahami konten. Itu sebabnya Bing berusaha untuk membuat konten sebanyak mungkin.

Dengan mengadopsi IndexNow, Anda dapat membantu mesin telusur mengosongkan sumber daya untuk merayapi konten tambahan, seperti JavaScript, yang diperlukan untuk merender halaman.

Selain itu, rendering situs web tergantung pada ukurannya. Mesin pencari mungkin bekerja dengan baik dengan rendering jika Anda hanya memiliki beberapa halaman. Namun, jika Anda adalah situs web eCommerce besar dengan jutaan halaman yang penuh dengan konten kaya JavaScript, sumber daya mereka mungkin tidak cukup untuk merender semuanya. Dalam hal ini, sangat penting untuk memberi tahu bot mesin pencari tentang apa yang harus mereka jelajahi dan membantu mereka menghemat anggaran perayapan.

Dalam beberapa tahun, kami ingin dapat merender setiap konten di internet. Namun, masuk akal dengan membuat situs Anda – jika pelanggan perlu mengklik sesuatu pada halaman untuk mengakses beberapa konten, mesin pencari perlu melakukan hal yang sama, tetapi mereka belum lebih pintar dari pelanggan. Pastikan semua konten di halaman segera ditampilkan dan jangan disembunyikan.

sumber: Fabrice Canel

Kolaborasi mesin pencari masa depan

Di masa lalu, mesin pencari berkolaborasi dalam inisiatif penting seperti schema.org atau protokol robots.txt.

Selama webinar, Fabrice ditanya tentang area potensial di mana kerjasama tersebut dapat terjadi dalam waktu dekat. Dia menunjuk pada masalah tag hreflang dan bagaimana mereka bertanggung jawab untuk menghasilkan triliunan URL yang berlebihan yang menghasilkan limbah untuk mesin pencari dan internet secara keseluruhan.

Fabrice mengatakan keinginannya untuk bekerja dengan mesin pencari lain dalam menemukan cara baru untuk menargetkan pasar internasional yang juga akan memungkinkan mesin pencari untuk mengkonsolidasikan sinyal ke satu halaman untuk satu bahasa. Ini harus melibatkan solusi bagi pemilik situs web untuk mengarahkan pengguna dari bahasa yang sama ke konten yang ditujukan untuk pasar tertentu (misalnya, penutur bahasa Spanyol di Argentina dan Uruguay akan mendarat di halaman yang sama dan kemudian diarahkan ke konten khusus untuk Argentina dan Uruguay) .

Fabrice menyimpulkan bahwa seharusnya tidak perlu mengoptimalkan situs web Anda untuk mesin pencari tertentu di masa mendatang. Sebaliknya, mesin pencari harus mengikuti protokol umum dan menciptakan solusi untuk meningkatkan keterbatasan saat ini dan menguntungkan industri.