Tips Melakukan A/B Testing dan Menghindari Kesalahan-Kesalahan Umumnya

Untuk mendapatkan tingkat konversi yang maksimal dalam bisnis, perlu dilakukan A/B testing. Tentu, terdapat beberapa hal dan tips melakukan A/B testing secara khusus.

Pada artikel ini, saya akan menjelaskan kepada kamu mengenai apa itu A/B testing, serta beberapa tips dalam melakukannya.

Jika kamu sudah penasaran, yuk, simak penjelasan lengkapnya!

Pengertian A/B Testing

© picjumbo.com

Beberapa dari kamu mungkin masih asing dengan istilah A/B testing. Di sini, saya akan memberikan penjelasan singkat mengenai pengujian tersebut.

A/B testing bisa dikatakan sebagai merupakan eksperimen terhadap dua atau lebih variabel/asset yang dilakukan secara bersamaan untuk melihat variabel mana yang memberikan performa terbaik.

Tujuannya adalah untuk menentukan aset mana yang dapat memiliki conversion rate paling tinggi ataupun memberikan output teroptimal untuk mencapai objectives perusahaan.

Hal ini dapat dilakukan dengan membandingkan kedua aset pada audiens tertentu dan dilihat bagaimana pengaruhnya terhadap conversion rate.

Tujuan A/B Testing

Seperti yang telah disampaikan sebelumnya, A/B testing bertujuan untuk membandingkan dua variabel/asset sehingga mampu mendapatkan gambaran mengenai variabel/asset mana yang memberikan hasil paling optimal.

Tak hanya itu, kita juga akan lebih tahu seberapa berpengaruh perubahan tersebut terhadap conversion rate dari website atau konten yang dibuat.

Dengan melakukan A/B testing, perusahaan akan mendapatkan data yang jelas terhadap segala perubahan yang akan dilakukan.

Misalnya, sebuah perusahaan ingin merubah tampilan website atau algoritmanya.

Nah, dengan A/B testing, perubahan-perubahan tersebut jadi memiliki dasar, bagian mana yang harus diubah dan mengapa hal tersebut perlu dilakukan.

Sebenarnya, A/B testing tak hanya digunakan untuk tampilan website saja (front-end), tetapi juga dapat digunakan untuk mengetahui bagaimana suatu komponen berpengaruh pada komposisi hasil pencarian.

Sebagai contoh, pada hasil pencarian di situs layanan wisata, dengan adanya A/B testing, akan diketahui mengapa suatu hotel atau tempat wisata akan diletakkan pada posisi teratas.

Tentu ini berdasarkan pada pengujian yang dilakukan.

Selain itu, pengujian ini dapat digunakan untuk optimizing pricing. Dengan menggunakan A/B testing, dapat diketahui penentuan harga yang tepat untuk suatu wilayah dan memberikan revenue teroptimal.

Baca Juga: Split Test: Metode Pengujian Materi yang Harus Diketahui Digital Marketer

Faktor yang Memengaruhi

© Talentlyft.com

Dalam melakukan A/B test, terdapat beberapa faktor yang dapat memengaruhi hasilnya. 

1. Sampel

Tentu dalam melakukan pengujian, kamu harus mengetahui jumlah sampel yang akan kamu uji. Hal ini juga berlaku pada A/B testing.

Bukan hanya mengenai jumlahnya saja, namun ini juga dipengaruhi dengan bagaimana kamu memilih sampel tersebut.

Misalnya, apakah sampel tersebut dipilih secara acak (random sampling) atau dengan memiliki kriteria tertentu (purposive sampling).

2. Timing

Hal lain yang dapat memengaruhi A/B test adalah timing atau waktu pelaksanaannya, apakah waktu yang digunakan untuk melakukan pengujian mencukupi atau tidak.

Selain itu, A/B testing juga akan lebih baik jika tidak dilakukan secara overlapping.

Maksudnya, ketika melakukan A/B test terhadap suatu komponen, kamu juga tidak melakukan A/B test untuk komponen lain yang dapat berpengaruh langsung.

Misalnya, saat kamu melakukan A/B test untuk payment, hasilnya akan kurang baik jika hal tersebut dilakukan bersamaan dengan A/B testing untuk halaman checkout.

Di luar itu, penting pula untuk diperhatikan apakah pengujian dilakukan saat traffic sedang normal atau tidak.

Misalnya, jika pengujian dilakukan saat menjelang Lebaran, tentu traffic website akan lebih tinggi dari biasanya. Hal ini bisa membuat hasil pengujian dapat menjadi bias.

3. Sensitivity

Dalam melakukan A/B testing, tentu kamu harus mengetahui terlebih dahulu seperti apa effect size yang bisa diukur.

Hal ini bisa kamu ukur setelah mengetahui sampel dan timing yang akan kamu gunakan untuk melakukan pengujian.

Melalui kedua hal itu, kamu dapat mengukur bagaimana akurasi dalam pengukurannya. 

4. Metric dan hipotesis

Faktor lain yang dapat memengaruhi A/B test adalah seperti apa metric yang akan kamu gunakan dalam melakukannya. 

Berkaitan dengan itu, hipotesis awal terhadap suatu permasalahan juga akan menjadi faktor yang memengaruhi hasil pengujian.

Penting untuk mengetahui hipotesis apa yang ingin diuji dari A/B testing dan menentukan metric yang tepat untuk di ukur dalam mencapai tujuan A/B testing tersebut.

Hal yang Perlu Diperhatikan dalam Melakukan A/B Test

© Pexels.com

Dalam melakukan A/B test, terdapat tiga tahapan yang harus kamu lewati, yaitu pre-A/B test, during A/B test, dan post-A/B test.

Tiap-tiap tahapan tersebut memiliki komponen berbeda yang perlu kamu perhatikan.

Tahap pre-A/B test

Pada tahapan pre-A/B test atau sebelum melakukan A/B test, terdapat beberapa hal yang perlu kamu persiapkan.

Hal pertama adalah bagaimana komunikasi dengan stakeholder. Maksudnya, pada tahapan ini kamu harus bisa mengetahui apa sebenarnya objective atau tujuan dari adanya A/B testing tersebut.

Setelah mengetahui tujuan, selanjutnya kamu dapat melakukan pre-analysis.

Pada fase ini, kamu akan menggunakan metode statistik untuk menentukan durasi yang dibutuhkan, siapa saja audiens yang menjadi sampel, serta seberapa besar effect size yang dihasilkan.

Selain itu, pada pre-analysis juga ditentukan hipotesis seperti apa berdasarkan objective yang diinginkan. 

Tahap during A/B test

Selanjutnya pada saat pelaksanaan A/B test, kamu perlu mempersiapkan dashboard yang dibutuhkan untuk terlaksananya pengujian ini.

Dashboard ini digunakan untuk memantau apakah A/B test berjalan dengan baik.

Selain itu, hal tersebut berguna untuk memantau saat melakukan splitting sampel apakah splitting yang dilakukan sesuai dengan yang diharapkan.

Tahap post-A/B test

Post-analysis atau menganalisis hasil setelah dilakukan pengujian adalah bagian yang perlu diperhatikan dalam proses A/B testing.

Dengan ini, kamu akan mendapatkan data sebenarnya dari hasil yang diuji.

Analisis yang digunakan ini bisa berbeda dengan pre-analysis, bergantung pada besaran sampel yang diuji.

Jika sampel yang diuji kecil, saya biasanya menggunakan frequentist. Namun, jika sampel yang diuji besar, dapat digunakan metode Bayesian. 

Kapan Melakukan A/B Testing?

A/B test umumnya dilakukan ketika terdapat perubahan pada produk yang sudah ada.

Namun, hal tersebut tentu bergantung pada kebutuhan bisnis dan timeline development-nya.

Pastikan kamu tidak melakukan A/B test pada saat terjadi campaign besar, atau menjelang libur panjang.

Setelah kamu melakukan A/B testing, kamu tidak perlu melakukan pengujian lanjutan apabila telah mendapatkan hasil yang signifikan.

Akan tetapi, apabila ditemukan keraguan di tengah-tengah proses, kamu dapat melakukan A/B testing ulang.

Baca Juga: 5 Prinsip yang Harus Diketahui saat Membuat Iklan Online

Tips Melakukan A/B Test

© Pexels.com

Nah, setelah kamu mengetahui berbagai hal-hal yang perlu diperhatikan dalam A/B test, selanjutnya saya akan memberi tahu tips melakukan A/B testing yang baik.

Tips ini dapat berguna baik bagi perusahaan, ataupun pelaku A/B testing.

1. Harus memiliki cara merumuskan hipotesis

Tak hanya bagi yang melakukan A/B testing, seseorang yang meminta dilakukannya tes tersebut juga harus memahami bagaimana perumusan suatu hipotesis. 

Karena hipotesis dalam A/B testing merupakan faktor yang penting, mengetahui dasar perumusan hipotesis akan mempermudah komunikasi di antara kedua pihak tersebut. 

2. Harus mengetahui tujuan

Dengan mengetahui tujuan atau objective dari dilakukannya A/B testing, hipotesis yang dibuat serta hasil akhirnya akan terpengaruh.

3. Memahami metode statistik

Mengetahui metode statistik adalah sebuah keharusan, terutama bagi technical user.

Hal ini karena metode statistik merupakan hal yang menentukan bagaimana proses A/B testing dilakukan.

4. Memahami kesimpulan

Hal terakhir adalah kamu harus mengetahui bagaimana cara membuat kesimpulan terhadap hasil dari A/B testing tersebut. 

Kesalahan Umum yang Sering Terjadi

Dalam pelaksanaannya, ternyata masih sering terjadi kesalahan-kesalahan umum dalam A/B testing.

Beberapa kesalahan yang sering ditemui dalam melakukan A/B testing adalah:

1. Timing

Seperti yang disampaikan sebelumnya, pemilihan timing ini akan memengaruhi hasil akhir.

Contoh dari hal ini adalah pemilihan waktu jelang liburan.

Pada saat menjelang liburan, tentu orang-orang akan mengunjungi situs penyedia layanan wisata.

Hal ini akan berdampak pada traffic di website yang ujungnya akan memengaruhi perhitungan menjadi kurang akurat.

Selain itu, kesalahan pemilihan waktu ini bisa berupa pelaksanaan A/B test saat sedang dilakukan pengujian untuk komponen yang berkaitan. 

Intinya, jangan melakukan A/B test kala sedang ada event atau promo besar yang akan memengaruhi traffic.

Untuk itu, pastikan komunikasi dengan divisi lain agar tidak terjadi overlapping.

2. Sampel yang dipilih

Kesalahan umum yang menjadi tips dalam melakukan A/B testing lainnya adalah pemilihan sampel.

Perlu diingat bahwa syarat utama dalam memilih sampel dalam A/B test adalah sampel yang acak atau random.

Oleh karena itu, pastikan sampel yang kamu pilih adalah hasil dari proses tersebut.

3. Mengakhiri pengujian terlalu cepat

Dalam banyak kasus, stakeholder sering kali menghentikan proses pengujian karena dianggap terlalu lama atau telah melihat hasil sementara yang memuaskan.

Padahal, A/B testing haruslah dilakukan sesuai dengan periode waktu yang ditentukan sejak awal.

Oleh karena itu, pada tahap pre-A/B testing, perlu dilakukan analisis yang tepat mengenai waktu yang dibutuhkan.

4. Dilakukan tidak bersamaan

Pada dasarnya, A/B test bertujuan untuk mengetahui aset yang paling menunjukan conversion rate tertinggi.

Oleh karena itu, prosesnya haruslah dilakukan bersamaan. 

5. Perumusan hipotesis

Kamu harus lebih berhati-hati dalam merumuskan hipotesis agar tidak terjadi kesalahan.

Jika terjadi kesalahan dalam merumuskan hipotesis, kamu harus mengulang proses tersebut untuk mendapatkan hasil yang akurat.

6. Adanya komponen yang overlapping

Tak hanya masalah waktu, overlapping juga tidak boleh terjadi saat pengujian suatu komponen.

Misal, tim marketing akan menguji mengenai penempatan banner, dan tim accomodation akan melakukan pengujian terhadap tampilan halaman awal. 

Kedua hal tersebut melibatkan komponen pada landing page. Hal ini tentu harus dihindari dengan meningkatkan komunikasi antardivisi. 

Baca Juga: Marketing Analyst: Pengertian dan Tanggung Jawabnya

Nah, itulah uraian saya mengenai hal-hal yang harus diperhatikan dan tips melakukan A/B testing. Saya juga pernah berbagi soal topik ini di Glints ExpertClass berjudul “A/B Testing and How It Can Impact Product Success” pada Rabu, 19 Agustus 2020 lalu.

Kalau kamu ketinggalan, tak perlu khawatir. Di Glints ExpertClass, masih ada banyak kelas seputar produk yang diisi praktisi andal.

Jadi, tunggu apa lagi? Pilih kelas yang tepat untukmu dengan klik link ini. Jangan sampai kehabisan, karena kuotanya terbatas.