A/B testing corect, cum testezi fără să irosești trafic

De ce majoritatea testelor A/B sunt inutile

Am văzut zeci de rapoarte de la clienți care pretind că au „testat" ceva. În 80% din cazuri, testul a durat 3 zile, a avut 200 de sesiuni și a declarat câștigătoare varianta cu 2% mai mult. Acesta nu e A/B testing - e zgomot statistic.

Un test A/B incorect e mai rău decât niciun test, îți dă false certitudini și te face să implementezi schimbări care nu funcționează sau să renunți la unele care ar fi funcționat.

Cerințele minime pentru un test valid

Semnificanță statistică de cel puțin 95%

Asta înseamnă că există cel mult 5% probabilitate ca rezultatul să fie întâmplător. Calculatoarele de semnificanță statistică (există gratuit online) îți spun dacă ai atins acest prag. Nu opri testul înainte.

Volum minim

Regula generală, ai nevoie de cel puțin 100 de conversii per variantă ca să tragi o concluzie validă. Dacă site-ul tău face 10 conversii pe săptămână, ai nevoie de 10 săptămâni per test, nu 3 zile.

Calculator rapid, dacă rata de conversie actuală e 2% și vrei să detectezi o îmbunătățire de 10% (2% → 2.2%), ai nevoie de aproximativ 10.000 de sesiuni per variantă. La 1.000 sesiuni/lună per variantă, testul durează 10 luni. Dacă traficul nu suportă asta, focusează-te pe optimizări evidente, nu pe testare.

O singură variabilă pe test

Testezi fie titlul, fie imaginea, fie butonul de CTA. Nu toate trei simultan. Dacă schimbi trei lucruri și varianta B câștigă, nu știi ce a produs diferența și nu poți replica sau scala.

Ce merită testat (și ce nu)

Focusează resursele pe elementele cu cel mai mare impact potențial:

• Merită testat. titlul hero, oferta principală (ce promiți), CTA-ul primar, forma de contact (număr de câmpuri), proba socială (poziționare și format), prețul sau structura de prețuri
• Nu merită testat cu volum mic. culoarea butonului (mitologia cu „butonul roșu" e exagerată), fontul, spațierea, animațiile

Tipuri de teste și când le folosești

A/B test clasic

50% din trafic vede varianta A, 50% varianta B. Ideal pentru schimbări majore, titlu nou, ofertă nouă, structură de pagină complet diferită. Necesită cel mai mult trafic.

Multivariate testing

Testezi combinații de variabile simultan (titlu × imagine × CTA = 8 combinații). Necesită de 4-8x mai mult trafic. Are sens doar pentru site-uri cu 50.000+ sesiuni/lună.

Split URL testing

Traficul e împărțit între două URL-uri diferite, nu variante ale aceleiași pagini. Potrivit pentru pagini complet redesenate sau landing pages noi.

Greșeli clasice

Oprirea prematură - dacă după 2 zile varianta B are 15% mai multe conversii, tentația e să o declari câștigătoare. Dar cu volum mic, o diferență de 15% e statistică, nu reală. Stabiliți durata testului înainte să îl începi și nu îl opri devreme indiferent de ce arată datele intermediare.

Testarea simultană a mai multor lucruri - fiecare test activ consumă din același trafic și poate interfera cu celelalte.

Sezonalitate ignorată - un test care rulează luni - joi vs. vineri - duminică nu e valid. Rulează testele minim 1-2 săptămâni complete pentru a acoperi variațiile de weekend.

Unde greșesc majoritatea testelor A/B

Logica e simplă. Execuția nu e. Ca să rulezi un test valid ai nevoie de trafic suficient, de un tool configururat corect, de o ipoteză clară și de disciplina de a nu opri testul înainte de a atinge semnificație statistică. Pe un site cu 3.000 de sesiuni pe lună poți valida un singur element pe trimestru. Pe un site cu 500 de sesiuni pe lună, practic nu poți testa nimic cu certitudine.

Și dacă testul iese negativ, interpretarea e la fel de grea. Varianta B a pierdut pentru că ipoteza era greșită, pentru că testul a rulat prea puțin, pentru că sezonalitatea a distorsionat datele sau pentru că segmentele de trafic s-au comportat diferit? Răspunsul la întrebarea asta determină dacă mai testezi sau dacă tragi concluzia greșită și revii la varianta A fără să înțelegi de ce.