A/B Test Anlamlılık Hesaplayıcı

İstatistiksel Anlamlılık Ne Demek?

İki versiyon arasında gözlemlediğiniz fark, tamamen tesadüf eseri de ortaya çıkmış olabilir. %95 güven düzeyi, "bu büyüklükte bir farkın sadece şans eseri ortaya çıkma ihtimali %5'ten az" anlamına gelir. Bu eşiğin altındaki sonuçlara dayanarak karar vermek, gürültüyü sinyal sanmaktır.

En Yaygın Hata: Testi Erken Durdurmak

İlk günlerde B versiyonu önde görünür, siz de testi durdurup "kazandı" dersiniz. Bu, A/B testinde en pahalı hatadır. Küçük örneklemlerde oranlar aşırı dalgalanır; anlamlılık eşiğine ulaşana ve en az bir tam hafta dolana kadar bekleyin.

Neden En Az Bir Hafta?

Kullanıcı davranışı hafta içi ve hafta sonu belirgin şekilde farklılaşır. Sadece hafta içi süren bir test, hafta sonu davranışını hiç görmemiş olur. Tam hafta döngüleri halinde test yapmak bu yanlılığı ortadan kaldırır.

"Anlamlı Değil" Ne Anlama Gelir?

Bu sonuç, iki versiyonun aynı olduğunu kanıtlamaz. Sadece mevcut veriyle bir fark olduğunu söyleyemeyeceğinizi gösterir. Küçük gerçek farkları tespit etmek için çok daha büyük örneklem gerekir.

Testten Sonuca

Kazanan versiyonun iş sonuçlarına etkisini görmek için Dönüşüm Oranı Hesaplayıcımızı kullanın. Dönüşüm odaklı tasarım için UI/UX tasarım hizmetimize göz atabilirsiniz.

Hesaplayıcının Arkasındaki Formül

Araç önce her varyantın dönüşüm oranını hesaplar: dönüşüm sayısı bölü ziyaretçi sayısı. Ardından iki grubu birleştirerek ortak bir dönüşüm oranı bulur; bu, "iki versiyon aslında aynıysa beklenecek oran" anlamına gelir. Ortak orandan yola çıkılarak standart hata hesaplanır ve iki varyant arasındaki fark bu standart hataya bölünerek z-skoru elde edilir. Z-skoru, gözlenen farkın tesadüfi dalgalanmanın kaç katı büyüklükte olduğunu gösterir. Skor büyüdükçe farkın şansla açıklanması zorlaşır.

Z-skoru normal dağılım tablosu üzerinden p-değerine çevrilir. İki yönlü testte p-değeri 0,05'in altındaysa sonuç yüzde 95 güven düzeyinde anlamlı kabul edilir. Formülün pratik sonucu şudur: aynı yüzdesel fark, küçük örneklemde anlamsız, büyük örneklemde anlamlı çıkabilir. Bu yüzden "B versiyonu yüzde 20 daha iyi" cümlesi, kaç ziyaretçiyle ölçüldüğü söylenmeden hiçbir şey ifade etmez. Varyantların ayrı ayrı dönüşüm oranlarını kontrol etmek için dönüşüm oranı hesaplayıcıyı da kullanabilirsiniz.

Testten Önce Örneklem Büyüklüğünü Planlamak

Profesyonel bir A/B testi, sonuç hesaplanmadan önce planlanır. Planlamada üç değer belirlenir: mevcut dönüşüm oranınız, yakalamak istediğiniz en küçük anlamlı iyileşme ve kabul ettiğiniz hata payları. Mevcut oranınız düşükse ve küçük bir iyileşmeyi tespit etmek istiyorsanız, gereken ziyaretçi sayısı hızla büyür. Bu hesabı baştan yapmak, haftalarca sürüp hiçbir sonuç vermeyecek testleri hiç başlatmadan elemenizi sağlar. Planlama aşamasında testin kaç gün süreceğini de mevcut günlük trafiğinize bölerek kabaca öngörebilirsiniz; bu süre birkaç ayı aşıyorsa test edilecek değişikliği büyütmeyi düşünün.

Örneklem planlamasında genellikle yüzde 80 istatistiksel güç hedeflenir. Güç, gerçekten var olan bir farkı yakalama olasılığıdır; düşük güçlü bir test, işe yarayan bir değişikliği "anlamsız" diye çöpe atmanıza neden olabilir. Planladığınız ziyaretçi sayısına ulaşmadan sonuca bakmak cazip gelse de, hedef sayıya ve tam hafta döngülerine ulaşılmadan karar vermemek testin güvenilirliğini korur. Trafiğinizi artırmak için Google arama reklamları ile test sayfasına kontrollü ziyaretçi göndermek de bir seçenektir.

Neyi Test Etmeli: Güçlü Bir Hipotez Kurmak

Her test bir hipotezle başlamalıdır: "Ürün sayfasında kargo süresini fiyatın hemen altına taşırsak, sepete ekleme oranı artar; çünkü müşteri yorumlarında teslim süresi en sık sorulan konu." Bu yapı neyi değiştirdiğinizi, hangi metriği izlediğinizi ve neden böyle beklediğinizi netleştirir. Hipotezsiz yapılan testler, kazansa bile neyin işe yaradığını öğretmez ve bir sonraki adımı tahmine bırakır. Hipotezi test başlamadan önce yazılı hale getirmek, sonuç geldikten sonra hikâyeyi veriye uydurma eğilimini de engeller.

Düşük ve orta trafikli sitelerde buton rengi gibi küçük değişiklikler yerine, kullanıcı kararını gerçekten etkileyen büyük değişiklikleri test edin. Teklifin sunuluş biçimi, başlıkta vurgulanan fayda, form alanlarının sayısı, güven unsurlarının yeri ve fiyatlandırma gösterimi bu tür değişikliklerdir. Büyük etkiler daha az ziyaretçiyle tespit edilebildiği için öğrenme hızınız artar. Dönüşüm odaklı test sayfaları kurmak istiyorsanız landing page tasarımı hizmetimizle hipotezinize uygun varyantları birlikte hazırlayabiliriz.

Reklam Platformlarında A/B Testi Yapmak

Google Ads ve Meta reklam yöneticisi, kendi içlerinde deney ve A/B testi özellikleri sunar. Google Ads deneylerinde bir kampanyanın kopyası oluşturulur ve bütçe ile trafik iki sürüm arasında bölünür; teklif stratejisi, açılış sayfası veya reklam metni gibi değişkenler kontrollü biçimde karşılaştırılır. Meta'da ise kitleler birbirinden ayrılarak aynı kişinin iki varyantı birden görmesi engellenir. Bu ayrım, sonuçların birbirine karışmasını önleyen kritik bir detaydır.

Platform panellerindeki "kazanan" etiketlerini bu araçla bağımsız olarak doğrulamak iyi bir alışkanlıktır. Reklam panelinden her varyantın tıklama ve dönüşüm sayılarını alıp hesaplayıcıya girdiğinizde farkın gerçekten anlamlı olup olmadığını görürsünüz. Özellikle düşük bütçeli kampanyalarda platformlar erken sonuç ilan edebilir. Kreatif ve kitle testlerini sistemli yürütmek için Meta reklam yönetimi hizmetimiz test takvimini, varyant üretimini ve sonuç yorumlamasını birlikte planlar. Böylece bütçeniz kanıtlanmış varyantlara akar.

Sonucu Segmentler ve Yan Metriklerle Okumak

Genel sonuç anlamlı çıksa bile kararı vermeden önce segmentlere bakın. Yeni tasarım masaüstünde iyi, mobilde kötü sonuç veriyor olabilir; trafiğinizin çoğunluğu mobilden geliyorsa toplam sonuç bu dengesizliği gizleyebilir. Yine de her segmenti ayrı ayrı anlamlılık testine sokmak, yanlış pozitif bulma ihtimalini artırır. Segment analizini kesin hüküm için değil, sonraki testin hipotezini kurmak için kullanmak daha sağlıklı bir yaklaşımdır. Test öncesinde hangi segmentleri inceleyeceğinizi belirlemek bu riski azaltır.

Dönüşüm oranı tek başına yanıltıcı olabilir. İndirim vurgusu öne çıkarılan bir varyant daha fazla sipariş getirirken sepet tutarını düşürebilir ya da iade oranını artırabilir. Bu nedenle kazananı seçmeden önce ziyaretçi başına gelir, ortalama sipariş tutarı ve mümkünse sonraki haftalardaki iade oranını da karşılaştırın. Varyantların sipariş değerini kıyaslamak için sepet ortalaması hesaplayıcı pratik bir tamamlayıcıdır. Kârlılığı korumayan bir kazanç, uzun vadede kayıp anlamına gelir.