Pengujian A/B dan Multivarian Master (Panduan Utama)

Saat ini, sebagian besar pemasar tahu bahwa mereka perlu mengintegrasikan pengujian A/B ke dalam proses mereka untuk mengembangkan promosi dan periklanan baru.

Namun, mengetahui Anda harus menggunakan tes A/B dan mengetahui cara menjalankan tes A/B adalah dua permainan bola yang berbeda.

Dunia pengujian A/B dapat membingungkan, karena banyak orang menggunakan istilah seperti 'pengujian A/B', 'pengujian A/B/n', atau 'Pengujian multivarian' secara bergantian.

Namun, ini semua adalah jenis tes yang berbeda. Berikut ini ikhtisar cepat:

Pengujian 'A/B' dan 'A/B/n' sangat mirip. Mereka berdua menguji satu perubahan variabel tertentu untuk melihat dampak dari perubahan itu. Pengujian A/B berarti Anda menjalankan dua versi promo – biasanya versi kontrol dan versi kedua dengan perubahan yang ingin Anda uji. Pengujian A/B/n berarti Anda menjalankan beberapa versi promo – masih menguji satu variabel tertentu, tetapi menjalankan beberapa variasi dari perubahan variabel tersebut. Sebagai contoh…

1. Tes A/B: Anda sedang menguji teks pada tombol CTA Anda. Satu versi mengatakan 'Daftar!' versi kedua mengatakan 'Gabung Sekarang!'
2. Tes A/B/n: Anda sedang menguji warna tombol CTA Anda. Satu versi berwarna merah, versi kedua berwarna biru, versi ketiga berwarna hijau, dan seterusnya.

Tes Multivariat adalah tes apa pun yang mengukur dampak beberapa perubahan variabel sekaligus. Petunjuknya ada pada namanya sendiri: multi (banyak) variate (variabel). Sebagai contoh…

1. Anda sedang menguji variasi warna tombol CTA DAN teks secara bersamaan.

Dalam artikel ini, kami akan membahas mengapa Anda harus menjalankan pengujian A/B, jenis pengujian apa yang harus Anda jalankan, dan kapan harus menjalankan pengujian A/B Anda. Ayo masuk!

Mengapa saya harus menjalankan pengujian A/B?

Untuk menjalankan pengujian A/B yang sukses, Anda harus memiliki alasan dan maksud yang tepat di balik pengujian tersebut.

Alasan umum untuk menjalankan pengujian adalah untuk mengoptimalkan konversi, tetapi Anda harus memiliki alasan yang lebih dalam dan mendetail jika ingin berhasil.

Mari selami alasan paling umum untuk menjalankan pengujian A/B.

1. Promosi saya kurang baik

Ini adalah alasan utama mengapa sebagian besar pemasar memulai proses menuju pengujian.

Promosi yang berkinerja buruk merupakan masalah nyata bagi pendapatan Anda dan merupakan sesuatu yang dapat Anda ukur.

Dengan menjalankan pengujian A/B, Anda dapat mengubah detail promosi Anda untuk meningkatkan efektivitasnya secara bertahap. Ini memungkinkan Anda untuk memberikan pengalaman yang lebih baik bagi pelanggan Anda, sekaligus meningkatkan laba Anda.

2. Pedoman merek saya berubah

Ini terjadi lebih sering daripada yang Anda kira. Setiap kali perusahaan melakukan penyegaran merek, biasanya promosi akan membutuhkan desain dan konten yang benar-benar baru.

Meskipun pengujian A/B adalah cara yang bagus untuk menerapkan perubahan ini dengan cepat, ini juga dapat membantu memandu penyegaran merek.

Dengan menguji berbagai warna, verbiage, dan gaya desain dengan pengujian A/B, Anda dapat membantu menginformasikan arah merek secara keseluruhan dengan menyajikan data pengguna nyata tentang apa yang paling ditanggapi oleh pelanggan Anda.

Dalam hal ini, Anda tidak akan menguji desain baru terhadap aslinya.

Dengan penyegaran merek, Anda biasanya memiliki panduan umum ke mana desain merek dan suara akan mengarah, tetapi Anda masih perlu mencari tahu detail untuk hal-hal seperti font, palet warna, dll. Anda memulai dari awal dan tes harus mencerminkan pembelajaran Anda dari kesuksesan promosi Anda sebelumnya.

Sebelum kamu memulai…

Sebelum Anda mulai menyiapkan pengujian A/B, ada beberapa hal yang perlu diingat. Terutama, beberapa jebakan yang harus dihindari…

Kesalahan #1: Tidak memeriksa kinerja promosi terhadap tolok ukur industri.

Tentu saja, Anda ingin promosi Anda mengungguli 'rata-rata', tetapi jika promosi Anda sudah mengungguli rata-rata industri sebesar 20%+, mungkin yang terbaik adalah menguji sesuatu yang lain untuk mencapai sasaran Anda.

Kabar baiknya adalah promosi Anda jauh di atas pesaing Anda. Berita buruknya adalah Anda dapat melakukan lebih banyak kerugian daripada kebaikan dengan menjalankan pengujian A/B pada promosi ini. Jika promosi sudah menjadi cita-cita pelanggan Anda, maka memperkenalkan variasi dapat membuat kinerja turun.

Kesalahan #2: Gagal mengidentifikasi KPI yang terukur.

Jika Anda 'hanya ingin promosi ini berjalan lebih baik', kemungkinan besar Anda belum mengaitkan promosi tersebut dengan KPI yang akan berdampak pada tujuan bisnis bottom line.

Untuk meningkatkan kinerja promosi, Anda perlu mengawasi KPI apa yang akan terpengaruh sehingga Anda dapat menilai perubahan secara akurat.

Jika KPI terlampir adalah untuk meningkatkan nilai pesanan rata-rata dan Anda menjalankan pengujian dan melihat keterlibatan yang meningkat tetapi nilai pesanan rata-rata menurun, maka pengujian tidak boleh dianggap berhasil.

KPI paling umum yang dilampirkan pada promosi adalah:

1. Tingkat konversi
2. Tingkat Pengabaian Keranjang
3. Tingkat pengambilan email
4. Nilai pesanan rata-rata

Anda harus menentukan KPI mana yang Anda targetkan sebelum meluncurkan pengujian apa pun untuk memastikan bahwa Anda dapat melacak perubahan dengan benar.

Apa yang harus diuji IA/B?

Sekarang setelah Anda memiliki pemahaman yang lebih baik tentang dasar-dasarnya, kami dapat menggali aspek pengujian yang paling penting dan paling sering disalahpahami – cara menyusun pengujian A/B yang andal.

Elemen Promosi

1. CTA – Panggilan untuk Bertindak
2. Tag Line – Salin untuk menarik perhatian pengunjung
3. Salinan Penawaran – Salinan yang menjelaskan penawaran Anda
4. Jumlah Penawaran – Nilai nyata dari penawaran
5. Aset gambar – Gambar yang digunakan untuk mewakili penawaran, merek, dll.
6. Jumlah langkah – Berapa banyak langkah yang dibutuhkan pengunjung untuk menyelesaikan keterlibatan

Di atas adalah elemen utama dari promosi dan oleh karena itu variabel pengujian utama Anda.

Salinan Penawaran dan Jumlah Penawaran dipisahkan karena Anda dapat mengubah jumlah penawaran tertentu tanpa benar-benar mengubah salinan di sekitarnya.

Berikut ini contohnya:

• 'Mulai hari ini untuk mendapatkan diskon 10% untuk langganan Anda!'
• 'Mulai hari ini untuk mendapatkan diskon 15% untuk langganan Anda!'

Dalam contoh di atas, 'salinan penawaran' adalah teks yang membungkus 'jumlah penawaran' Anda. Perbedaan ini penting untuk diingat saat Anda melangkah maju dalam membuat tes yang sebenarnya.

Jumlah Penawaran hampir selalu memiliki bobot paling signifikan. Jika Anda memikirkan hal ini secara praktis, Anda dapat melihat alasannya.

Misalnya, apakah Anda lebih suka mendapat potongan $5 untuk cuci mobil premium atau GRATIS cuci mobil premium?

Semua hal lain dianggap sama, lebih banyak orang akan lebih bersedia untuk mendapatkan cuci mobil gratis daripada hanya potongan $5.

Cara menyiapkan pengujian A/B

1. Identifikasi KPI

Langkah pertama yang paling penting dalam menyiapkan pengujian apa pun untuk mengoptimalkan konversi adalah mengidentifikasi KPI yang ingin Anda pengaruhi.

Ini dapat mengurangi pengabaian keranjang, meningkatkan pendaftaran email, meningkatkan keterlibatan, atau KPI khusus situs apa pun yang telah Anda dan tim Anda identifikasi.

Setelah Anda mengidentifikasi KPI Anda, ambil daftar komponen dari atas dan mulailah merumuskan hipotesis tentang elemen mana yang paling membantu Anda meningkatkan KPI yang Anda targetkan.

Mari buat sketsa ini untuk Anda dengan sebuah contoh sehingga Anda dapat melihat bagaimana ini dilakukan:

Dalam contoh ini ada banyak hal yang terjadi dan banyak yang harus dibongkar, jadi mari kita mulai dengan memecahnya menggunakan daftar dari atas.

1. Jumlah Penawaran – Dalam promosi khusus ini sebenarnya ada dua penawaran berbeda yang didorong — diskon 20% dan pengiriman gratis.
2. Jumlah langkah – 1
3. CTA – Gunakan kode.
4. Aset gambar – Tidak ada
5. Tag line – Penghematan instan
6. Salinan penawaran – Ambil (jumlah penawaran 1) dari item di keranjang Anda sekarang + (jumlah penawaran 2)

Merinci setiap bagian dari promosi secara visual akan memberi Anda pemahaman yang jelas tentang semua bagian yang bergerak dan memungkinkan Anda untuk memprioritaskan pengujian Anda.

Berpegang pada contoh ini, mari kita gunakan nilai pesanan rata-rata sebagai KPI utama kita. Ini adalah KPI yang jelas dan terukur yang tentunya akan berdampak pada bottom line perusahaan.

2. Identifikasi dan berhipotesis

Selanjutnya, Anda perlu mengidentifikasi elemen yang Anda yakini akan berdampak paling besar pada KPI yang Anda identifikasi. Untuk contoh ini, kami akan menggunakan Salinan Penawaran dan Jumlah Penawaran.

Untuk setiap promosi, penting untuk menuliskan hipotesis Anda sehingga Anda dapat melacak jalan pikiran Anda.

Berikut ini adalah contoh hipotesis:

Saya percaya bahwa mengubah Salinan Penawaran untuk memasukkan nilai pesanan minimum dan meningkatkan visibilitas Jumlah Penawaran akan meningkatkan Nilai Pesanan Rata-rata.

Seperti yang Anda lihat, hipotesis tipikal tidak terlalu rumit tetapi sangat spesifik tentang tindakan dan hasil.

3. Buat variasi

Sekarang setelah Anda merumuskan hipotesis dan mengidentifikasi elemen yang akan diuji, Anda dapat mulai membuat variasi berdasarkan elemen tersebut.

Untungnya, dengan Justuno, bagian ini biasanya sangat sederhana. Lihat variasinya di bawah ini:

Saat menyiapkan pengujian A/B, sebaiknya uji variasi hanya pada satu elemen dalam satu waktu. Dalam contoh di atas, Anda akan melihat bahwa hanya Salinan Penawaran yang berubah, sedangkan Jumlah Penawaran tetap sama.

Secara teori, setiap pengguna yang melihat pop-up ini harus segera memahami dasar-dasar promosi: diskon 20%, pengiriman gratis, saya harus membeli barang senilai $100.

Dalam contoh ini, kami juga secara visual tidak memprioritaskan 'penghematan instan' karena teks tersebut sebagian besar tidak relevan dengan tujuan.

4. Uji dan ulangi

Sekarang setelah Anda memiliki variasi, Anda dapat menyiapkan pengujian.

Lama waktu Anda harus menjalankan pengujian sepenuhnya bergantung pada berapa lama waktu yang dibutuhkan untuk mencapai signifikansi statistik – yang merupakan cara yang bagus untuk mengatakan, 'data yang Anda peroleh 90% dapat diandalkan'.

Dalam kebanyakan kasus, Anda akan membutuhkan setidaknya 1.200 tayangan untuk memiliki keyakinan yang wajar dalam hasil Anda.

Kapan menjalankan pengujian A/B

Salah satu bagian terpenting untuk pengujian apa pun adalah mencari tahu kapan waktu yang tepat untuk menguji.

Sangat mudah untuk mengatakan, 'Selalu'. Anda harus selalu menguji.

Saya sendiri terkadang masih jatuh ke dalam pola pikir ini, tetapi sebelum setiap ujian, penting untuk mundur selangkah dan bertanya pada diri sendiri beberapa pertanyaan:

Berapa banyak pengunjung yang akan melihat promosi ini selama minggu depan? Dua minggu? Bulan?

Jawaban atas pertanyaan ini sangat penting. Di dunia yang ideal, Anda akan memerlukan beberapa ribu titik data (yaitu pengunjung yang benar-benar menjalankan pengujian Anda).

Seperti yang dinyatakan di atas, setidaknya, pengujian Anda harus berjalan hingga memiliki 1.200 tayangan agar cukup yakin dengan hasilnya.

Dengan mengingat hal ini, langkah pertama Anda adalah mencari tahu berapa banyak pengunjung yang diprediksi akan disalurkan melalui pengujian Anda per hari.

Nomor ini akan mudah didapat dari dasbor Google Analytics atau Justuno Anda jika akun Analytics Anda ditautkan.

Saat melihat nomor lalu lintas Anda, penting untuk mengingat jenis promosi yang Anda jalankan dan aturan penargetan untuk promosi tersebut.

Misalnya, jika Anda menjalankan promosi Exit Intent, maka wajar untuk mengasumsikan bahwa setiap pengunjung situs Anda akan melihat ini. Jika Anda menjalankan promosi spanduk yang hanya ditampilkan di beranda, maka Anda harus melihat data pengunjung HANYA untuk beranda dan bukan untuk seluruh situs Anda.

Dengan aturan umum tersebut, Anda dapat masuk ke Google Analytics dan melihat halaman tempat promosi Anda akan ditayangkan dan menemukan informasi yang Anda inginkan. Buka tab Audiens dan atur rentang tanggal untuk melihat 3-6 bulan penuh terakhir, lalu urutkan berdasarkan minggu. Setiap titik data yang tersedia pada grafik akan menjadi jendela 7 ke lalu lintas Anda.

Masukkan setiap titik data ke dalam spreadsheet (Google Spreadsheet atau Excel akan bekerja dengan baik) lalu rata-ratakan angka tersebut. Anda sekarang memiliki rata-rata arus lalu lintas mingguan yang cukup akurat untuk situs Anda.

Setelah Anda memiliki jumlah pengunjung rata-rata per hari, Anda dapat menghitung waktu minimum yang Anda perlukan untuk menjalankan pengujian untuk mencapai 1.200 tayangan.

Lihat bagan praktis kami di bawah ini untuk panduan memulai:

Durasi minimum yang Anda inginkan untuk menjalankan tes adalah satu minggu penuh. Tes Anda harus dimulai dan dihentikan pada hari yang sama dan, idealnya pada waktu yang sama.

Ini karena meskipun Anda memiliki 10.000 pengunjung per hari, situs Anda akan mengalami perilaku pengguna yang berbeda pada hari yang berbeda dalam seminggu. Dengan memulai dan mengakhiri pengujian pada hari yang sama dalam seminggu, Anda dapat membantu memperlancar perilaku dan pola pengguna yang tidak biasa.

Ini sangat penting karena memungkinkan Anda mengontrol fluktuasi lalu lintas dan perilaku pengguna dari hari ke hari.

Beberapa kata peringatan:

• Hindari memulai tes pada hari Jumat. Jika ada yang tidak beres, Anda mungkin tidak menyadarinya sampai hari Senin.
• Mulai tes Anda di pagi hari. Untuk alasan yang sama di atas, cobalah untuk tidak memulai tes Anda di kemudian hari.
• Jangan menjalankan pengujian selama hari libur karena fluktuasi lalu lintas dan pola pembelian dengan membuang data Anda dan membuat pengujian menjadi tidak valid.

Secara umum, waktu maksimum yang Anda inginkan untuk menjalankan pengujian A/B adalah satu bulan.

Alasan pembatasan ini didasarkan pada alokasi sumber daya.

Jika dibutuhkan lebih dari sebulan untuk mencapai kelayakan minimum atau sekitar 1.000 pengunjung, maka Anda perlu memikirkan untuk menjalankan jenis pengujian yang berbeda.

Ringkasan yang boleh dan tidak boleh dilakukan:

Mengerjakan:

1. Temukan lalu lintas per hari Anda
2. Gunakan nomor lalu lintas untuk menentukan panjang tes
3. Mulai dan hentikan tes Anda pada hari yang sama dalam seminggu

Jangan:

1. Mulai pengujian A/B di akhir pekan
2. Jalankan pengujian A/B Anda selama lebih dari sebulan
3. Jalankan pengujian A/B Anda selama liburan
4. Mulai dan hentikan tes Anda pada hari yang berbeda, pada waktu yang berbeda

Seperti apa keberhasilan pengujian A/B

Jika Anda telah berhasil melewati seluruh artikel ini, selamat! Anda baru saja menerima kursus kilat dalam Pengujian A/B.

Sebelum Anda lepas landas dan menyiapkan pengujian A/B pertama Anda di akun Justuno Anda, lihat studi kasus terbaru yang dilakukan oleh pengecer perhiasan Shopify Plus, The GLD Shop.

Dalam Pengujian A/B ini, The GLD Shop mampu meningkatkan konversi sebesar 300%!