Corso di A/B crash test

Di Tim Ash

A / B Split Testing Crash Course

27 Aprile 2010

Lo split test A/B è il più semplice metodo che esista per l’ottimizzazione delle landing page. Il nome deriva dal fatto vengono testate due versioni della pagina di destinazione: versione ‘A’ e versione ‘B’. Il termine ‘split test’ si riferisce alla assegnazione casuale dei nuovi visitatori alla versione della pagina che vedono.

In altre parole, il traffico viene suddiviso e le versioni vengono mostrate in parallelo durante tutto il periodo di raccolta dei dati (di solito in parti uguali). Questo è un requisito importante. dovrebbero essere sempre effettuati test in parallelo (invece che sequenziali, del tipo una versione dopo l’altra). Ciò consente di controllare il maggior numero possibile di fattori esterni. E’ critica anche l’assegnazione casuale dei nuovi visitatori ad un determinato design di landing page, perché la casualità è la base per la teoria della probabilità, che sottende l’analisi statistica dei risultati.

Di solito, la versione ‘A’ è definita come la vostra pagina di controllo originale, o di base (comunemente chiamata “versione campione”). L’altra versione è l’alternativa (comunemente chiamata ‘lo sfidante’). Se lo sfidante risulta essere migliore rispetto al campione, lo sfidante sostituisce il campione dopo la prova e diventa il nuovo campione da battere per i test successivi.

È possibile avere più di due versioni in uno split test. Ad esempio, se avessimo un originale e due versioni alternative, si dovrebbe parlare di A/B/C split test e così via. Nella pratica, raramente gli split test hanno più di 10 versioni della pagina. Le variabili in uno split test possono essere molto granulari (per esempio, una singola variazione come il testo del titolo), oppure può essere un ridisegno completo della vostra landing page, che diventa radicalmente diversa dalla pagina attuale.

Vantaggi degli split test di tipo A/B

Gli split test offrono diversi vantaggi:

Facilità nella progettazione dei test. A differenza dei più complessi, test multivariati, gli split test non devono essere attentamente progettati o equilibrati, basta decidere quante versioni si desidera verificare e quindi ripartire il traffico disponibile in modo uniforme tra di loro. Non è richiesto alcun test successivo di verifica dei dati: la pagina che presenta le migliori prestazioni nel test è dichiarata vincitrice, una volta che si sono raccolti dati sufficienti.

Facilità di implementazione. Sono disponibili molti pacchetti software per supportare gli split test semplici. Se si sta eseguendo una prova su elementi di test granulari, è possibile progettare il test, configurarlo e raccogliere i dati, tutto in pochi minuti. In molti casi può essere fatto senza il supporto del reparto IT o di altri. Potete anche riuscire a raccogliere i dati necessari con gli strumenti di Web analytics esistenti, senza l’utilizzo di ulteriori tools.

Facilità di analisi. Sono necessarie solo verifiche statistiche molto semplici per determinare il vincitore. Fondamentalmente, tutto quello che dovete fare, è confrontare la versione di base con tutti gli sfidanti, per vedere se avete raggiunto il livello desiderato di confidenza statistica.

Facilità nella spiegazione dei risultati. Nessun grafico o analisi complicata è necessaria, per presentare i risultati agli altri. Potete semplicemente dichiarare che siete molto fiduciosi che una particolare versione sia migliore di un’altra. Si può anche fornire un range percentuale di probabile miglioramento (in base alla quantità di dati che avete raccolto dall’intervallo di confidenza).

Flessibilità nel definiere i valori delle variabili. Negli split test a tutta pagina (design differenti, non semplici variazioni sul tema n.d.t.), avete la massima flessibilità su quanto devono essere diverse le alternative proposte. Per esempio, in una alternativa, potete semplicemente scegliere di testare un titolo diverso. In un altro si può ristrutturare completamente tutto ciò che riguarda la pagina (layout, colori, testo di vendita, offerta, e call-to-action). Questa capacità di mescolare ed abbinare, permette di testare una serie di alternative incrementali e totali, in un solo test, senza essere vincolati da un definizione più granulare delle variabili, come avviene in un test multivariato.

Efficaci nei test con pochi dati giornalieri. Se la vostra landing page fa solo poche conversioni al giorno, non è semplicemente possibile utilizzare i metodi di ottimizzazione più avanzati. Ma con la scelta corretta della variabile di test e dei valori alternativi, è ancora possibile raggiungere risultati significativi in uno split test. Miglioramenti a due o perfino a tre cifre non sono infrequenti.

Svantaggi degli split test di tipo A/B

Gli split test hanno anche diversi inconvenienti:

Numero limitato di versioni. Il numero di versioni in un tipico split test è di solito molto piccolo. Se avete fatto bene i compiti a casa, è probabile che troviate decine di potenziali problemi sulla landing page e che abbiate anche realizzato molte varianti alternative da testare. Tuttavia, in considerazione dell’ambito ristretto dello split test, siete confinati a provare le vostre idee, una alla volta. Sarete anche costretti a scegliere quale idea testare per prima (in base alla vostra intuizione su quale potrebbe fare la differenza più grande). In altri metodi di messa a punto, potete testare molte delle vostre idee chiave in una sola volta e individuare tutte le modifiche che migliorano il tasso di conversione in un solo test.

Non considera il contesto o le interazioni fra le variabili. Per definizione, gli split test prendono in considerazione una sola variabile alla volta, quindi non è possibile rilevare le interazioni fra le variabili (come le combinazioni di variabili che si influenzano a vicenda). Una serie di split test che coprono diverse variabili non è la stessa cosa di un test multivariato sulle stesse variabili. A seconda delle interazioni fra le variabili, potremmo non essere in grado di trovare la combinazione delle variabili della pagina con le migliori prestazioni in assoluto. Sia che dipenda dall’ordine in cui avete condotto gli split test che dall’esatta natura delle interazioni.

Non c’è modo di scoprire l’importanza degli elementi della pagina. Spesso è possibile scegliere solo variabili molto grossolane per gli split test. A causa del numero limitato di dati, siete costretti a fare la vostra ipotesi sugli elementi della pagina che potrebbero migliorarne le prestazioni. Questi elementi possono realmente coinvolgere molti cambiamenti simultanei alla vostra landing page. Nel caso estremo di un redesign completo della pagina, si potrebbero variare decine di dettagli della pagina definendoli come una singola versione alternativa.

Tuttavia, la stessa flessibilità che vi permette di fare questo, limita anche la vostra capacità nell’interpretare i risultati ed il credito che date ad una particolare variazione che avete fatto, per migliorare le conversioni. Era il colore del pulsante? O era la modifica del titolo? O era l’offerta diversa? Non lo saprete mai. Concentrando più modifiche in una singola pagina, avete confuso i loro effetti ed avete perso la capacità di vederli separatamente.

In pratica, questo potrebbe anche non essere un gran problema, dato che molti dei cosiddetti insegnamenti sull’importanza relativa delle variabili, sono basati sul presupposto approssimativo, che le variabili siano tutte indipendenti l’una dalle altre. Inoltre, i più grandi miglioramenti delle conversioni possono essere dovuti ai valori specifici che avete scelto per le variabili e non dalla variabile stessa. Ad esempio, un particolare titolo che avete scelto di testare è stato molto efficace. Ma questo non vi autorizza ad assumere che in generale i titoli siano più importanti delle altre variabili testate. In ogni caso, dovreste cercare di evitare di interpretare i risultati degli split test se i valori delle variabili comportano una variazione di più elementi della pagina.

Raccolta dei dati inefficiente. I test multivariati sono spesso realizzati con cura, al fine di ottenere il massimo di informazioni da un campione di dati più piccolo. In effetti, essi consentono di effettuare in modo più efficiente split test contemporanei e anche di individuare alcuni tipi di interazioni fra le variabili. Eseguire più split test in sequenza è il tipo di raccolta dei dati più dispendioso: nessuna delle informazioni da un precedente test può essere riutilizzata per trarre conclusioni sulle altre variabili che potreste voler verificare in futuro.

Tim AshTim Ash

Traduzione di

biografia originale in inglese

sito di Tim Ash

Stampa articolo in formato PDFScarica il file in formato PDF

Altri articoli di Tim Ash
Altri articoli di ClickZ sulle conversioni e ROI

Post A Comment

Il tuo indirizzo email non sarà pubblicato.