Mengapa pemasar harus menguji aplikasi seluler A/B

Membuat aplikasi seluler perusahaan dapat menjadi cara yang efektif bagi pemasar untuk memaksimalkan jangkauan mereka dengan pemirsa seluler yang berharga. Namun karena aplikasi seluler merupakan taktik baru, pemasar masih mencoba mencari cara terbaik untuk menangani aset iklan tersebut.

Tantangannya berkisar dari mendapatkan unduhan melalui kampanye pemasangan aplikasi seluler, hingga sekadar membuat dan meluncurkan aplikasi. Meskipun audiens yang memilih untuk terlibat dengan merek di aplikasi seluler, dapat dianggap sebagai inti perusahaan, terutama karena mereka kesulitan mengunduh aplikasi. Dan data yang dapat diperoleh dari audiens aplikasi khusus ini bisa sangat berharga.

Namun, perusahaan manajemen pengalaman seluler Apptimize CEO Nancy Hua sebelumnya menunjukkan kepada Marketing Dive bahwa banyak pemasar membuat kesalahan dengan menghabiskan terlalu banyak waktu untuk mencoba memperluas basis pengguna aplikasi alih-alih bekerja untuk meningkatkan aplikasi. Peningkatan tersebut dapat berasal dari umpan balik pengguna, menganalisis data pengguna aplikasi, dan apa yang mungkin menjadi cara paling ampuh untuk meningkatkan aplikasi, pengujian A/B.

Hua mengatakan satu aspek berharga lainnya dari pengujian aplikasi perusahaan yang harus diingat oleh merek adalah pesan dalam aplikasi.

“Pesan adalah bagian penting dari pengalaman aplikasi dan membutuhkan keputusan cerdas, tentang waktu dan konten,” katanya kepada Marketing Dive. “Konteks di mana Anda menampilkan pesan dalam aplikasi kepada pengguna dapat memiliki dampak dramatis pada pengalaman pengguna.”

Konteks itu dapat mencakup:

• Apakah saat mereka biasanya akan browsing?
• Atau saat mereka biasanya sudah siap untuk membeli sesuatu?
• Apakah mereka sedang dalam perjalanan, atau mereka di tempat tidur?
• Apa yang mereka lakukan terakhir kali mereka melihat pemandangan ini?

"Pertanyaan-pertanyaan ini dapat menginformasikan bagaimana Anda terhubung dengan pengguna Anda dan menyampaikan konten yang relevan dan menjadi perbedaan antara pengguna Anda yang membenci atau menyukai aplikasi Anda," jelas Hua.

Pengujian perpesanan dalam aplikasi – studi kasus

Aplikasi kencan seluler Paktor, yang menargetkan pasar Asia, telah melakukan pengujian pesan dalam aplikasi, berhasil meningkatkan pendapatan rata-rata per pengguna sebesar 17%. Anmol Mohan, kepala analitik data untuk Paktor, mengatakan kepada Marketing bahwa perusahaan tersebut ingin menguji langganan mengemudi dengan mengirimkan pesan pop-up kepada pengguna yang melihat lebih dari 10 calon pasangan.

Mohan mengatakan ada dua alasan utama untuk tes tersebut.

Pertama, untuk mengedukasi pengguna tentang manfaat keanggotaan yang dapat membantu profil mereka menonjol. Juga, gunakan kesempatan untuk memberi tahu mereka tentang Program Jaminan Paktor yang baru saja diluncurkan, yang memastikan bahwa pengguna yang membeli langganan tiga bulan dan enam bulan mendapatkan tanggal offline. Dan kedua, untuk meningkatkan pembelian langganan dengan menyorotnya untuk semua pengguna (sebelumnya hanya 60-70% pengguna yang mengunjungi halaman pembelian langganan).

Mohan menambahkan bahwa Paktor secara teratur menggunakan pengujian A/B pada produknya – tim pengembangan meluncurkan fitur baru rata-rata setiap minggu – serta pemasarannya dengan semua kampanye yang diuji A/B.

“Untuk kampanye email, kami menguji citra, materi iklan, dan bahkan baris subjek. Algoritme prediksi lanjutan kami mengidentifikasi peluang dari berbagai penawaran yang kami miliki di repositori kami. Kami secara teratur memperbarui kumpulan penawaran dan merekomendasikannya kepada pengguna yang sesuai dengan presisi, ”kata Mohan.

Untuk pengujian aplikasi seluler, katanya, proses Paktor melibatkan serangkaian langkah, dimulai dengan mengidentifikasi peluang dengan melihat data – dalam hal ini tentang berbagai layar pop-up dan pesan. Tim UX kemudian mengembangkan konsep yang dapat mencapai target yang ditentukan berdasarkan data tersebut. Sementara itu, tim pengembangan mengerjakan materi iklan yang dihasilkan oleh tim desain dan tim klien meluncurkan fitur tersebut dengan versi aplikasi terbaru.​

Paktor menggunakan Apptimize untuk mengaktifkan fitur, dan alat ini menangani pembagian pengguna ke dalam kelompok kontrol dan target. Setelah tes mencapai sejumlah besar data, itu dikumpulkan untuk menentukan hasil tes. Dengan hasil tersebut, tim produk memulai fitur yang diedit berdasarkan rekomendasi tim data.

Nilai pengumpulan data dalam pengujian aplikasi

Bagian dari tes apa pun adalah membuat hipotesis dan protokol pengujian.

Pada dua poin ini, Mohan mengatakan tim data menangani hipotesis dan penyiapan eksperimen dengan mengungkap area di mana aplikasi dapat ditingkatkan. Dari sana tim produk menjelaskan fitur baru yang akan diuji, dan tim data mendefinisikan prosedurnya. Ini membantu tim pengembangan memahami cara membuat kode fitur dan variasi. Tim data juga memberikan pedoman dan metrik untuk menganalisis hasil tes.

Setelah pengujian dimulai, data dikumpulkan di area metrik utama, termasuk monetisasi, interaksi, dan retensi untuk pengujian pesan dalam aplikasi.

"Berdasarkan pengamatan kami mencoba mengembangkan dan logika bisnis di balik perbedaan atau ketidakpedulian yang kami amati. Kami kemudian mencoba memverifikasi logika melalui titik data yang terpisah. Jika semuanya cocok, kami memutuskan nasib fitur itu," jelas Mohan.

Pengujian memang, bagaimanapun, datang dengan tantangan. Beberapa rintangan yang dijelaskan Mohan termasuk fitur yang diuji tidak dirasakan oleh pengguna dengan cara yang diinginkan dan perbedaan jangka pendek yang ditemukan oleh pengujian, yang tidak selalu diterjemahkan ke dalam manfaat jangka panjang. Dengan tantangan pertama, ini bisa berarti hasil yang miring sehingga sulit untuk memahami penyebab yang mendasari temuan tersebut.

Untuk tes perpesanan dalam aplikasi yang dibahas Mohan, pengguna disajikan pesan yang berbeda berdasarkan suka dan tidak suka yang ditunjukkan. Ada juga sejumlah indikator kinerja utama dalam masing-masing dari tiga area metrik utama yang dipilih untuk pengujian:

1. Monetisasi – nilai umur pelanggan, pendapatan rata-rata per pengguna, pendapatan rata-rata per pengguna yang membayar, tingkat konversi
2. Keterlibatan – durasi sesi, jumlah sesi, gesekan, suka, tidak suka, tingkat daya tarik, tingkat keramahan
3. Retensi – pengguna aktif, pengguna tidak aktif, pengguna yang diaktifkan kembali, retensi berjendela 1 hari/3 hari/7 hari, retensi MoM

Untuk pengujian ini, Paktor mengalami peningkatan langganan sebesar 10,35%. Dan meskipun pesan pop-up menghasilkan penurunan pembelian a la carte, hal itu masih menyebabkan peningkatan rata-rata pendapatan per pengguna sebesar 17%.

Hua Apptimize mengatakan tes semacam ini, seperti yang dilakukan Paktor dengan pesan dalam aplikasi, sangat berharga mengingat betapa personal dan menonjolnya ponsel bagi audiens. "Seluler membutuhkan pengujian paling banyak karena seluler adalah pengalaman paling rumit dan kritis bagi pengguna," katanya.

Untuk mendapatkan nilai maksimal, Hua merekomendasikan untuk memulai dari bagian atas corong dengan menguji on-boarding. Dan tujuan akhirnya?

"Pikat pengguna sejak awal ketika mereka berada pada titik tertinggi rasa ingin tahu dan kegembiraan tentang aplikasi Anda sambil skeptis tentang apa nilainya," katanya.