Guida illustrata agli esperimenti web

Di Thomas Høgenhaven

SEOmoz

articolo orginale:

Illustrated Guide To Web Experiments

26 Marzo 2012

La sperimentazione Web è un ottimo strumento per aumentare il tasso di conversione e la capacità di attrarre clienti. Il principale punto di forza di un esperimento è la capacità di isolare le variabili per poi esaminare la causalità tra i diversi parametri, come il testo della proposizione di vendita e il tasso di conversione.

Gran parte della letteratura sul design basato sulla sperimentazione, fonda le sue radici nella statistica e questo è intimorisce non poco. Per rendere l’argomento più accessibile, vi presento la guida illustrata agli esperimenti web (con qualche aiuto da parte di mio fratello, Andreas Høgenhaven, che ha gentilmente prodotto le illustrazioni).Prima di iniziare gli esperimenti, dovete avere le basi giuste: testate i parametri che si allineano con i vostri obiettivi di business a lungo termine. Testate i grandi cambiamenti, non le piccole variazioni. E ricordate che il vincitore di un test non è la soluzione ottimale, ma solo la variazione che fornisce i migliori risultati, fra quelle che abbiamo testato; non vuol dire che avete trovato la soluzione migliore di tutti i tempi, potrete (quasi) sempre far di meglio in un altro test.

A/B o MVT

Una delle prime cose da considerare è il tipo di design sperimentale: un A/B test è di solito preferito quando vengono testati uno o due elementi, mentre un test multivariato (MVT), si utilizza quando vengono testati più fattori indipendenti. Tuttavia, è opportuno notare che con test di tipo A/B/n o con A/B test sequenziali, si possono testare due o più fattori insieme. Lo svantaggio di usare un A/B test per verificare svariati elementi, è che non cattura gli effetti di interazione fra di essi.

A-B-test-vs-MVT(1)

Confronto fra MVT: fattoriale completo o fattoriale frazionato

Così volete andare con il multivariato, eh? Aspettate un secondo. Ci sono diversi tipi di test multivariati. Se avete mai visitato, Which MVT, probabilmente vi sarete imbattuti in termini come fattoriale completo, fattoriale frazionato e Taguchi modificato. Prima di entrare nel merito di queste parole spaventevoli, cerchiamo di riportare il nostro test multivariato con i piedi sulla terra, con un semplice esempio. Nell’esempio che segue, abbiamo 3 diversi fattori, ed ognuno ha due possibili condizioni.

test-conditions-2x3

In questo caso ci sono 3 fattori, ciascuno con 2 combinazioni, per un totale di 23= 8. Nel progetto fattoriale completo, vengono testate tutte le combinazioni possibili. Questo significa che vengono create 8 varianti della pagina e gli utenti vengono ripartiti tra queste. Nella tabella che segue, +1 Indica condizione 1, mentre -1 indica condizione 2.

full-fractional-versus-fractional-factorial

Questo tipo di esperimento non è troppo male, quando abbiamo 3 fattori con 2 condizioni per ciascuno, ma se vogliamo testare 4 fattori ciascuno dei quali prevede 4 condizioni, avremo 44 = 256 gruppi. Oppure, se vogliamo provare 10 diversi fattori con 2 condizioni ciascuno, si finirà con 210 = 1.024 gruppi. Ci vorranno un sacco di visitatori per rilevare una qualche influenza significativa dei fattori. Questo non è un problema se si è Google o Twitter, ma invece lo è, se si vendono salsicce nei dintorni di Seattle (E’ possibile calcolare il tempo di durata del test con Google Calculator e VisualWebsiteOptimizers Calculator. Questi calcolatori sono però basati su dati molto imprecisi, in quanto la variazione del tasso di conversione è sconosciuta. Questo è un po’ il punto centrale dell’esperimento.

Ora veniamo al design fattoriale frazionato. Il design fattoriale frazionato fu reso popolare da Genichi Taguchi ed è talvolta chiamato ‘design Taguchi’. In questo genere di test, solo una frazione del numero totale di combinazioni viene inclusa nell’esperimento, da qui il nome. Invece di testare tutte le possibili combinazioni, il metodo fattoriale frazionato fa il test solo su un numero sufficiente di combinazioni, per determinare il tasso di conversione di tutte le combinazioni possibili.

In questo esempio, è sufficiente eseguire il test su 4 combinazioni diverse, e utilizzare l’interazione tra fattori inclusi, per calcolare la combinazione di fattori non inclusi nell’esperimento. I 4 gruppi inclusi sono ABC, A + (BC), B + (CA), C + (BA).

Invece di testare il fattore A 3 volte, viene testato soltanto una volta, mantenendo B e C costanti. Allo stesso modo, il fattore B viene testato una sola volta, mantenendo A e C costanti e il fattore C viene testato una sola volta, mantenendo A e B costanti. Non approfondisco troppo le implicazioni statistiche, poiché il software di sperimentazione fa i calcoli per noi.

Il test fattoriale frazionato assume che i fattori siano indipendenti l’uno dall’altro. Se ci fossero interazioni tra vari fattori (ad esempio immagini e titolo), questo pregiudicherebbe la validità del test. Un avvertimento sul design fattoriale frazionato: l’influenza di uno dei fattori (es. A) potrebbe essere confusa con le interazioni di due fattori (per esempio BC). Ciò significa che c’è un rischio di finire per non sapere se la varianza è causata da A o dall’interazione di BC. Quindi, se avete abbastanza tempo e visitatori, il progetto fattoriale completo è spesso preferibile al design fattoriale frazionato.

Verificare l’ambiente di test con la prova A/A

Maggior parte degli inbound marketers hanno abbastanza familiarità con gli A/B test. Ma ciò che è meno noto è il test A/A. Quest’ultimo è utile come verifica dell’ambiente sperimentale e vale la pena di farlo prima di iniziare un test A/B o MVT. Il test A/A indica se gli utenti sono suddivisi correttamente, e se ci sono potenziali errori fuorvianti nell’ambiente di prova.

a-a-experiment

In un design A/A, gli utenti sono divisi come lo sono in un test A/B o MVT, ma tutti i gruppi vedono la stessa combinazione. Vogliamo che il test dia risultati non significativi e quindi non si rilevi differenza significativa tra i gruppi. Se il test rileva variazioni significative, allora c’è qualcosa che non va nell’ambiente di test e le prove successive possono essere viziate. Ma, come discusso di seguito, un test A/A a volte può dare variazioni significative, a causa di errori casuali o del ‘rumore’.

Il test A/A è anche un buon modo per mostrare a colleghi, capi o clienti, il modo in cui i dati oscillano, e che non dovrebbero entusiasmarsi troppo quando assistono ad un aumento del tasso di conversione con solo l’80% di confidenza. Soprattutto nelle prime fasi degli esperimenti.

La significatività statistica

Nell’esperimento ideale, tutte le variabili sono mantenute costanti, tranne la variabile indipendente (la cosa che si vuole studiare, per esempio il titolo, la call to action, le immagini). Ma nel mondo reale, molte variabili non sono costanti. Per esempio, quando si effettua un test A/B, gli utenti sono suddivisi tra due gruppi. Dato che le persone sono diverse, i due gruppi non saranno composti da individui simili. Questo non è un problema, purché la variabilità della altre variabili presenti una distribuzione casuale uniforme. Questo, tuttavia, aggiunge rumore nei dati, è per questo che usiamo i test statistici.

statistical-significance

Si conclude che un risultato è statisticamente significativo quando c’è solo un scarsa probabilità che la differenza tra i gruppi sia causata da errori casuali. In altre parole, lo scopo dei test statistici è di esaminare la probabilità che i due campioni di punteggi siano stati elaborati da popolazioni che presentano la stessa media; vale a dire che non vi è alcuna differenza “vera” tra i gruppi, e ogni variazione è causata dal rumore.

wmt-statistical-significance-1

Nella maggior parte degli esperimenti e del software sperimentale, il 95% viene utilizzato come soglia di significatività, anche se questo numero è piuttosto arbitrario. Se la differenza tra la media dei due gruppi è significativa con una probabilità del 98%, lo accettiamo come significativo, anche se vi è una probabilità del 2% che la differenza sia generata dal caso. Perciò i test statistici ci mostrano quanta fiducia possiamo riporre nel fatto che la differenza dei risultati non sia generata dal caso o dall’errore casuale. In Google Website Optimizer, questa probabilità è chiamata Chance to beat original.

Suggerimento professionale: Incrementate gradualmente il traffico verso l’esperimento

Un ultimo consiglio che mi piace molto, è di convogliare la percentuale di traffico verso la condizione sperimentale (il test) lentamente. Se si inizia inviando il 50% dei visitatori verso la condizione di controllo (pagina inalterata) e l’altro 50% verso il test, potrebbe insorgere un problema, nel caso in cui qualcosa nel test generasse un errore. Un approccio migliore è di iniziare ad inviare solo il 5% degli utenti verso la condizione sperimentale. Se tutto va bene, si incrementa al 10%, poi 25% e infine al 50%. Questo vi aiuterà a scoprire errori critici prima che se ne accorgano troppi utenti.

PS
Se volete saperne di più e/o condividere le vostre conoscenze su esperimenti e strumenti di CRO, dovreste dare uno sguardo al gruppo di Facebook CRO Tools.

Thomas HøgenhavenThomas Høgenhaven

Traduzione di

SEOmoz non è affiliato con questo sito e non ha visionato questa traduzione. SEOmoz fornisce i migliori strumenti e risorse SEO del Web.

Stampa articolo Scarica il file in formato PDF

Elenco Articoli di Thomas Høgenhaven

Post A Comment

Il tuo indirizzo email non sarà pubblicato.