A/B Testi Tasarımı: Kazanan Ekranı İlan Etmeden Önce

Bir değişiklik ve bir karar tanımlayın

A/B testinin sorusu “yeni tasarım iyi mi?” kadar geniş olmamalıdır. Örneğin “teslimat bilgisini ürün seçiminin yanında göstermek, uygun ziyaretçilerin satın alma akışını tamamlamasını etkiliyor mu?” diye sorun. Aynı anda fiyat, kampanya ve gezinmeyi değiştiriyorsanız hangi unsurun etkili olduğunu ayırmak zorlaşır.

Başlamadan ana ölçütü, koruyucu ölçütleri ve deneyin kapsamını yazın. Sipariş tamamlaması artarken iade veya destek yükü yükseliyorsa karar farklı olabilir. Ana metrik yalnızca kolay ölçüldüğü için seçilmemeli; işletmenin gerçekten iyileştirmek istediği sonuca bağlanmalıdır.

Atama birimini iş modeline göre seçin

Tek bir kişinin iki farklı deneyimi aynı işlemde görmemesi gerekebilir. Kurumsal uygulamalarda aynı şirkette çalışanların farklı sürümler görmesi de iletişimi bozabilir. Kullanıcı, hesap veya başka bir birimin seçilmesi analiz ve ürün davranışı açısından birlikte değerlendirilmelidir. Kalıcı atama ile gerçek katılımın nasıl kaydedildiği ayrı konulardır.

Microsoft Research, planlanan örneklem oranıyla gözlenen oran arasındaki uyumsuzluğun çeşitli veri kalitesi sorunlarına işaret edebildiğini açıklıyor. Böyle bir sinyali anlamadan sonucu yorumlamak hatalı karara yol açabilir. [1] Her küçük oran farkı otomatik olarak sorun değildir; uygun istatistiksel kontrol ve bağlam gerekir.

Örneklem hesabını tahmine dönüştürmeyin

Gerekli büyüklük başlangıç oranına, önemsenen etki büyüklüğüne, değişkenliğe ve analiz yöntemine bağlıdır. “Her test üç gün sürer” gibi genel bir kural kullanmayın. Trafik düşükse çok küçük farkları ayırt etmeyi hedefleyen test pratik olmayabilir. Daha belirgin bir hipotez veya önce nitel araştırma tercih edilebilir.

Klasik sabit örneklem planında sonucu sürekli kontrol edip ilk olumlu anda durdurmak testin hata davranışını bozabilir. Ardışık analiz kullanılacaksa bunun yöntemi baştan belirlenmelidir. Test bitişini yalnızca pazarlama takvimine veya görünen en iyi güne bağlamayın. Analiz planı uzmanlık gerektiriyorsa uygun destek alın.

Yayından önce deney kontrol tablosu

Varsayımsal bir testte B grubunun daha fazla başarılı işlem göstermesi, B’de hata olaylarının hiç gönderilmemesinden kaynaklanabilir. Bu yüzden istatistiksel analizden önce ölçüm dizisini test edin. Teknik hatalı bir deneyin daha uzun çalışması onu güvenilir hale getirmez.

Sonucu etki ve belirsizlikle raporlayın

Yalnızca yüzde artışı değil başlangıç değerini, mutlak farkı, belirsizlik aralığını ve kapsamı gösterin. Sonuç “karar vermek için yetersiz” olabilir. Bu, varyantların eşit olduğunun kanıtı değildir. Planlanan hassasiyet ile eldeki verinin neyi söyleyebildiğini ayırın.

Raporun sonunda yayına alma, yeniden test, düzeltme veya durdurma kararının gerekçesi bulunsun. Kısa vadeli sonuçla uzun vadeli kullanıcı davranışını aynı kabul etmeyin. Deney sonrasında da hata, destek ve iş sonucu izlenmeli; iyi görünen bir ilk sonuç kalıcı garanti gibi sunulmamalıdır.

Sık sorulan sorular

Az trafiği olan sitede A/B testi yapılmaz mı?

Yapılabilir, ancak algılanabilecek etki ve süre değişir. Her durumda küçük farkları ölçmeye çalışmak yerine daha açık hipotezler ve nitel testler değerlendirilebilir.

İstatistiksel anlamlılık tek başına yeterli mi?

Hayır. Etkinin iş değeri, veri kalitesi, yan etkiler ve uygulanma maliyeti de kararın parçasıdır.