Araç 15 — Bedava, kayıt yok

Bir anlam ifade etmesi ne kadar sürer.

İki oranlı bir z-testi, iki yönlü. Bir CTR farkının gerçek olması için kreatif başına kaç gösterim gerektiği ve elindeki farkın gerçek olup olmadığı.

Testi planlamak

CTR, kurulum oranı, test neyle ilgiliyse o.
B'nin daha kötü çıkması gerçekten umurunda değilse tek yönlü seç; değilse çift yönlü kal.
Kontrol dahil. Fazladan varyantlar kontrole karşı Bonferroni ile düzeltiliyor.

Hassasiyetin bedeli

Varyant başına örneklem (her iki eksen de logaritmik)
Etki Hedef oran Varyant başına Toplam Süre

Saptamak istediğin etkiyi yarıya indirdiğinde örneklem kabaca dörde katlanır. Küçük artışlar üzerine kurulan küçük testlerin hiç bitmemesinin tek sebebi bu.

Çoktan yaptığın bir testi okumak

Varyant başına eşit örneklem varsayılıyor. Yukarıdaki güven düzeyi ve yön ayarı kullanılıyor.

—z istatistiği
—p değeri
—Fark
—Güven aralığı

Erken bakmak neden yanlış

Devam eden bir teste her bakıp durdurup durdurmayacağına karar verdiğinde, rastgele gürültüye anlamlılık çizgisini geçmesi için bir şans daha vermiş olursun; günlük kontrol edilen bir test, güven düzeyinin vaat ettiği %5'ten çok daha sık “kazanan” üretir. Örneklem büyüklüğünü başlamadan önce sabitle, ulaştığında bir kez bak; gerçekten erken durman gerekiyorsa bu sayfadaki sabit ufuklu matematiği değil, bunun için tasarlanmış bir ardışık yöntem kullan.

Nasıl çalışıyor / uyarılar

  1. Varyant başına örneklem = (zα√(2p̄(1−p̄)) + zβ√(p₁(1−p₁)+p₂(1−p₂)))² ÷ (p₂−p₁)²; p̄ iki oranın ortalaması.
  2. zα çift yönlü testte α/2 kullanır; Bonferroni için α, kontrole karşı yapılan karşılaştırma sayısına bölünür.
  3. Ters yöndeki test, havuzlanmış iki oranlı z-testidir; güven aralığı ise havuzlanmamış standart hatayı kullanır, ki alışılmış eşleşme budur.
  4. Normal kuantiller Acklam'ın rasyonel yaklaşımından, üstüne bir Halley düzeltmesiyle geliyor; CDF ise Abramowitz & Stegun 26.2.17. İkisi de gösterilen basamakların çok ötesinde doğru.
  5. Gösterimlerin bağımsız olduğu varsayılıyor. Değiller: aynı kullanıcının aynı kreatifi iki kez görmesi, tek bir kişinin görüşünün iki kez sayılmasıdır ve bu, gerçek testleri buradakinden biraz daha güçsüz yapar.
  6. Anlamlı bir CTR farkı, kurulum farkı değildir; retention farkı ise hiç değildir. CTR'de kazanan kreatifler bazen daha kötü oyuncu getirir.