Apa itu Soft 404 dalam SEO?

Diterbitkan: 2022-02-17

Soft 404 bukanlah kode status HTTP resmi, tetapi algoritme lanjutan yang membantu Google mendeteksi jika halaman tidak ada (atau memiliki sedikit atau tanpa konten) bahkan jika kode status HTTP tidak menunjukkannya.

Namun, algoritmenya tidak sempurna, dan Google mungkin membuat kesalahan saat mengklasifikasikan halaman.

Apa pun alasan soft 404, mereka berdampak negatif pada situs web Anda dan mengurangi visibilitas Anda dalam penelusuran organik.

Dari artikel ini, Anda akan mempelajari bagaimana soft 404 memengaruhi situs Anda, apa penyebabnya, dan apa yang dapat Anda lakukan untuk memperbaikinya.

Isi sembunyikan

1 Apa itu soft 404?

2 Bagaimana Soft 404 memengaruhi situs web Anda

3 Bagaimana cara mendeteksi soft 404?

3.1 Deteksi 404 lunak di seluler vs. desktop

4 Apa yang dapat menyebabkan 404 lunak dan bagaimana cara memperbaikinya

4.1 404 halaman merespons dengan 200 kode status HTTP

4.2 Pengalihan yang tidak relevan

4.3 Halaman dengan sedikit atau tanpa konten

4.4 Halaman yang berisi 404 kata yang mirip

4.5 Masalah rendering

5 Penutup

Apa itu soft 404?

Server berkomunikasi dengan klien (misalnya, browser atau bot mesin pencari) melalui kode status HTTP.

Jika permintaan halaman berhasil, server mengembalikan kode status HTTP 200. Jika halaman hilang, server merespons dengan status 404 (Tidak Ditemukan).

Saat pengguna meminta halaman yang tidak ada, mereka melihat pesan di browser mereka yang menunjukkan bahwa ada yang tidak beres. Namun, pesan yang ditampilkan browser tidak selalu sesuai dengan kode status HTTP.

Di situlah soft 404 berperan.

Soft 404 adalah label yang diberikan Google pada halaman ketika sepertinya halaman tersebut tidak ada, dan pada saat yang sama, ia mengembalikan 200 kode status HTTP yang berhasil.

Jika Google memutuskan sebuah halaman adalah soft 404, itu memperlambat perayapannya.

Jika kami melihatnya [halaman] sebagai soft 404, itu akan menjadi seperti 404, dan kami akan memperlambat perayapan URL tertentu karena tidak ada apa-apa di sini – mengapa kami harus merayapinya setiap hari?
sumber: John Mueller

Mendeteksi soft 404 sangat penting dari sudut pandang mesin pencari karena dua alasan:

Google memiliki sumber daya yang terbatas. Web sangat besar, dan tidak mungkin untuk merayapi semua halaman. Itu sebabnya Google perlu memprioritaskan dan memilih halaman mana yang layak untuk dirayapi. Meninggalkan soft 404 memungkinkannya untuk fokus pada halaman yang lebih berharga, sehingga meningkatkan efisiensi perayapannya.
Google ingin menghadirkan halaman berkualitas kepada penggunanya. Jika Google mencurigai sebuah halaman tidak ada, jelas tidak ada yang ingin menemukannya, dan halaman itu seharusnya tidak muncul di halaman hasil pencarian.

Bagaimana Soft 404 memengaruhi situs web Anda

Konsekuensi untuk situs web Anda dapat bervariasi tergantung pada jenis halaman yang diklasifikasikan oleh Google sebagai soft 404s.

Jika Google benar dan laman tersebut benar-benar tidak ada, konsekuensi utamanya adalah pemborosan anggaran perayapan Anda .

Anggaran perayapan Anda menunjukkan jumlah halaman yang dapat dan ingin dirayapi Google di situs web Anda. Jika Anda memiliki, misalnya, 100.000 halaman, dan anggaran perayapan Anda memungkinkan untuk perayapan 50.000, penting untuk memastikan bahwa anggaran dihabiskan untuk halaman yang berharga. Jika Google menghabiskan anggaran perayapan Anda untuk perayapan soft 404, mungkin tidak cukup untuk laman yang paling penting bagi Anda dan memberi Anda lalu lintas.

Sisi lain dari koin adalah ketika Google membuat kesalahan saat menetapkan status dan menganggap halaman yang berharga adalah soft 404. Dalam hal ini, halaman tidak akan diindeks dan tidak akan menghasilkan lalu lintas organik.

Bagaimana Anda bisa mendeteksi soft 404?

Anda dapat memeriksa halaman mana yang dilaporkan Google sebagai soft 404 di Google Search Console dalam laporan Cakupan Indeks.

Akses laporan dengan mengeklik opsi “Cakupan” di bilah sisi.

Jika Google menganggap sebuah halaman adalah soft 404, Google dapat menetapkan salah satu dari dua status berikut:

Soft 404 (Kategori yang dikecualikan), atau
URL yang dikirimkan tampaknya merupakan Soft 404 (Kategori kesalahan).

Satu-satunya perbedaan antara status ini adalah cara Google menemukan URL.

Dalam kasus status "URL yang Dikirim tampaknya menjadi Soft 404", Google menemukannya di dalam peta situs Anda (file teks yang dibuat oleh pemilik situs web yang seharusnya hanya mencantumkan halaman yang ingin Anda indeks). Sementara itu, dalam kasus status "Soft 404", Google menemukan URL ini sendiri.

Anda dapat melihat daftar URL individual yang melaporkan soft 404 dengan mengklik salah satu dari status ini. Data ini tersedia untuk ekspor, tetapi ada batas 1.000 URL. Jika Anda ingin mengekspor lebih banyak dan memiliki lebih dari satu peta situs, Anda dapat mengunduh URL untuk setiap peta situs secara terpisah.

Laporan Cakupan Indeks bukan satu-satunya tempat Anda dapat melihat status URL.

Di alat Inspeksi URL di Google Search Console, Anda dapat memeriksa ulang setiap URL. Jika Anda ingin memeriksa lebih dari satu URL, Anda dapat menggunakan API Inspeksi URL dan memeriksa hingga 2.000 URL sekaligus.

Jika Anda melihat perbedaan antara status dalam laporan Cakupan Indeks dan alat Inspeksi URL, itu mungkin hanya penundaan dalam laporan Cakupan Indeks. Dalam hal ini, percayai alat Inspeksi URL karena alat ini menampilkan data yang lebih baru.

Ini karena data laporan Cakupan Indeks disegarkan dengan kecepatan yang berbeda (dan lebih lambat) daripada Inspeksi URL. Hasil yang ditampilkan di Inspeksi URL lebih baru, dan harus dianggap otoritatif jika bertentangan dengan laporan Cakupan Indeks. (2/4)
— Pusat Penelusuran Google (@googlesearchc) 11 Oktober 2021

Deteksi 404 lunak di seluler vs. desktop

Pada tahun 2021, Google memberikan pembaruan tentang cara mendeteksi soft 404 di ponsel dan perangkat desktop.

Ternyata statusnya mungkin ditetapkan secara berbeda untuk versi seluler dan desktop. Namun, karena Google Search Console melaporkan status berdasarkan versi seluler, itu tidak akan menunjukkan kepada Anda jika hanya versi desktop Anda yang diberi label sebagai soft 404.

Intinya, yang terjadi adalah terkadang kita melihat halaman yang di desktop terlihat seperti halaman 404, jadi kita katakan ini adalah soft 404 di desktop, kita tidak perlu mengindeksnya. Dan di seluler, ini terlihat seperti halaman biasa, jadi kami akan mengindeksnya di sana.
[…] di Search Console, kami menampilkan soft 404, tetapi kami menampilkannya untuk versi seluler. Jadi jika di versi seluler semuanya baik-baik saja dari sisi Anda, maka di Search Console akan terlihat seperti diindeks secara normal […], sedangkan untuk desktop, jika kami melihatnya sebagai soft 404 di sana, Anda tidak akan dapat melihatnya langsung di Search Console.

sumber: John Mueller

Apa yang dapat menyebabkan 404 lunak dan bagaimana cara memperbaikinya?

Ada beberapa alasan berbeda mengapa Google mengklasifikasikan halaman sebagai soft 404, termasuk:

404 halaman merespons dengan 200 kode status HTTP,
Pengalihan yang tidak relevan,
Halaman dengan sedikit atau tanpa konten,
Halaman yang berisi 404-seperti kata-kata,
Masalah rendering.

404 halaman merespons dengan 200 kode status HTTP

Jika suatu halaman sebenarnya adalah halaman 404, tetapi mengembalikan kode status HTTP 200, Google akan mengklasifikasikannya sebagai soft 404.

Ini adalah sesuatu yang harus diperhatikan jika Anda memiliki halaman 404 khusus.

Halaman 404 khusus dapat membantu pengguna Anda dan memungkinkan mereka menjelajahi situs web meskipun halaman yang mereka coba jangkau tidak ada. Namun, tidak jarang halaman ini mengembalikan kode status HTTP 200.

Anda harus menghindari situasi ini karena Google terus merayapi laman ini, yang menghabiskan anggaran perayapan Anda.

Solusi untuk masalah ini adalah mengkonfigurasi server Anda untuk mengembalikan kode status yang benar untuk halaman yang tidak ada (404 Not Found).

Pengalihan yang tidak relevan

Mengalihkan ke halaman yang tidak relevan adalah praktik buruk yang mungkin membingungkan pengguna. Itu sebabnya jika Google mendeteksi bahwa pengalihan mengarah ke halaman yang tidak terkait, mesin pencari mungkin tidak mengikutinya dan memperlakukan halaman tersebut sebagai 404 lunak.

Ya, ini bukan praktik yang bagus (membingungkan pengguna), dan kami kebanyakan memperlakukannya sebagai 404 (mereka lembut-404), jadi tidak ada untungnya. Ini tidak rusak parah/buruk, tetapi kompleksitas tambahan tanpa alasan yang baik – buat halaman 404 yang lebih baik sebagai gantinya.
— John (@JohnMu) 8 Januari 2019

Untuk mengatasi masalah, selalu arahkan ke halaman yang relevan.

Lihatlah konten dari perspektif pengguna. Misalnya, jika pengguna mencari sesuatu yang spesifik, apakah masuk akal jika mereka berakhir di halaman yang Anda alihkan? Apakah itu relevan secara tematis? Jika tidak, mungkin ada halaman yang lebih baik yang dapat menjawab maksud mereka, atau mungkin Anda harus menyiapkan halaman 404 alih-alih pengalihan.

Halaman dengan sedikit atau tanpa konten

Sedikit atau tidak ada konten di halaman mungkin membuat Google berpikir halaman itu kosong dan mengklasifikasikannya sebagai soft 404.

Contohnya adalah situs web eCommerce dengan produk yang sering masuk dan kehabisan stok, yang mengarah ke kategori produk kosong.

Solusi untuk masalah ini tidak sesederhana dua kasus sebelumnya.

Salah satu cara untuk mengatasi masalah itu adalah dengan memblokir pengindeksan halaman kosong. Lagi pula, jika itu adalah halaman kosong, itu tidak membantu pengguna Anda, dan tidak boleh diindeks. Anda dapat melakukannya dengan menambahkan tag meta noindex (tag HTML yang memberi tahu mesin pencari bahwa Anda tidak ingin halaman ini diindeks).

Selain itu, ada baiknya memikirkan kembali struktur seluruh situs web Anda.

Apakah Anda memiliki banyak kategori produk yang misalnya hanya memiliki satu produk? Jika demikian, Anda harus mempertimbangkan kembali apakah kategori ini diperlukan di situs web Anda. Laman seperti ini mungkin dianggap sebagai konten tipis, dan dapat berdampak negatif pada situs web Anda dalam dua cara:

Mereka dapat membuang anggaran perayapan Anda, dan
Jika Anda memiliki banyak laman berkualitas rendah yang dapat diindeks, Google mungkin berpikir bahwa seluruh situs web Anda kurang berkualitas dan memutuskan untuk berhenti merayapi situs web Anda sesering mungkin.

Jika Anda ingin mempelajari lebih lanjut tentang halaman mana yang harus dan tidak boleh diindeks, baca artikel kami tentang membuat strategi pengindeksan untuk situs web Anda.

Halaman yang berisi 404-like kata

Terkadang algoritme Google salah mengidentifikasi halaman jika berisi kata-kata yang biasanya muncul di halaman 404. Ini mungkin terjadi pada, misalnya, situs web eCommerce ketika halaman produk menggunakan istilah seperti “stok habis”, “produk tidak tersedia”, atau “kami tidak mengirim ke lokasi Anda”.

Semua halaman Kategori memiliki "Maaf kami tidak mengirim ke lokasi ini". Ini ditunjukkan kepada pelanggan yang memasukkan kode PIN yang tidak kami kirim, tetapi merupakan bagian dari halaman secara default. Menghapus teks ini dari halaman dan memperbaiki soft 404! #seo @JohnMu @methode @rustybrick https://t.co/j3UEsXXb3U
— Nikhil Raj. R (@nikhilrajr) 30 Desember 2021

Penulis posting di atas memperbaiki masalah hanya dengan menghapus kata-kata yang menunjukkan pengiriman tidak tersedia.

Masalah rendering

Rendering adalah langkah penting bagi Google untuk melihat konten Anda. Jika mesin pencari tidak dapat melihatnya, mungkin akan mengira halaman tersebut kosong dan mengklasifikasikannya sebagai soft 404.

Salah satu penyebab masalah rendering adalah memblokir sumber daya seperti CSS atau JavaScript di robots.txt. Robots.txt adalah file yang memungkinkan Anda menentukan halaman mana yang dapat dirayapi oleh bot mesin pencari dan mana yang tidak. Jika Google tidak dapat mengakses sumber daya yang diperlukan untuk rendering, Google tidak akan dapat melihat kontennya.

Untuk mengetahui apakah Google merender konten Anda dengan benar, gunakan alat Inspeksi URL di Google Search Console. Anda dapat memeriksa URL individual dan melihat bagaimana Google melihat halaman Anda. Jika konten tidak ada, ini menunjukkan masalah rendering.

Untuk memperbaiki masalah, pastikan Google memiliki akses ke sumber daya yang diperlukan untuk rendering. Tinjau file robots.txt Anda dan pastikan perayapan CSS dan JavaScript diizinkan.

Jika Anda ingin mempelajari lebih lanjut tentang cara kerja rendering, lihat manifesto Rendering SEO kami – mengapa JavaScript SEO tidak cukup.

Membungkus

Memantau soft 404 penting untuk memastikan mereka tidak merusak situs web Anda dengan membuang anggaran perayapan Anda atau meninggalkan halaman yang berharga dari indeks.

Berikut adalah kunci takeaways dari artikel untuk membantu Anda menghindari soft 404:

Jika halaman tidak ada, pastikan halaman tersebut mengembalikan kode status HTTP 404,
Saat membuat pengalihan, selalu pastikan Anda mengalihkan ke konten yang relevan,
Jangan blokir sumber daya yang penting untuk rendering seperti file CSS atau JavaScript di robots.txt Anda,
Jika Anda memiliki halaman kosong, tambahkan tag meta noindex atau hapus halaman ini dari situs Anda,
Berhati-hatilah saat menggunakan frasa mirip 404. Jika Anda melihat halaman Anda, dengan, misalnya, produk yang stoknya habis, ditandai sebagai soft 404, coba hapus kata-kata atau gunakan istilah yang berbeda.