Skip to main content
ab-testing-traffico
16 September 2020

A/B testing: Quale traffico per risultati affidabili?

Reading time
5 minuti
Autore
Jean-Noël Rivasseau Kameleoon
Jean-Noël Rivasseau
Jean-Noël is Kameleoon's founder and CTO and today heads the company's R&D department. He is a recognized expert in AI innovation and software development. In his posts he shares his vision of the market and his technology expertise.

Per ottenere risultati affidabili, è necessario che gli A/B test abbiano un buon livello di traffico. Il traffico minimo richiesto per una sperimentazione significativa può variare a seconda degli obiettivi di conversione e delle soglie di affidabilità determinate. Come calcolare quindi il livello di traffico necessario per ottenere un A/B test significativo?

1 Quattro parametri da prendere in considerazione

il tasso di conversione di riferimento (p1)

È il valore attuale di conversioni per l'obiettivo principale del test (esempio: 3% del click rate sul pulsante sul quale si realizza il test).

L'effetto minimo sperato sul tasso di conversione per variazione (P2)

Se si sceglie il 10%, si cercherà di trovare una variazione di conversione maggiore del 10% (che si tratti di un guadagno o di una riduzione). Più si cerca di trovare una differenza minima, più grande dovrà essere il numero di visite. Al contrario, più si cercherà di trovare una differenza ampia, più il test dovrà essere rapido e il numero di visite necessarie sarà meno importante per ottenere un risultato affidabile.

Quest'assioma può sembrare contro-intuitivo a una prima lettura, ma è semplice da comprendere. Se si vede un guadagno elevato, diciamo oltre il 20%, il motore statistico non ha bisogno di molte visite e di tempo per sapere se la variazione riuscirà a superare il traffico della pagina di riferimento: si avrà molto rapidamente la certezza di un +20% (o -20%) sulla pagina di riferimento.

Questo tipo di guadagno può essere ottenuto su CTA che non implichino un acquisto, come l'iscrizione a una newsletter, o che rimandino a una landing page.

Al contrario, se il guadagno sperato è più limitato (tipicamente alla fine del conversion funnel per il numero di acquisti), il numero di visite necessarie per garantire un risultato affidabile sarà potenzialmente molto elevato.

La soglia di affidabilità per la quale viene individuato un effetto (P3)

Questo dato rappresenta la percentuale di possibilità che il cambiamento sperato sia individuato. Il valore classico raccomandato per questo parametro nella letteratura sulla statistica è dell'80%, a significare che esiste una possibilità su 5 che il suo effetto non sia individuato, anche se esistente.

La soglia di affidabilità per la quale viene viene individuato un effetto anche quando non esiste (P4)

Questo parametro rappresenta la percentuale di possibilità che venga individuato un falso positivo (sul tema questo articolo); detto in altre parole, è la percentuale di possibilità che sia individuato un effetto che di fatto è assente. Il valore classico raccomandato per questo parametro è del 5%, cioè una possibilità su 20 che l'effetto individuato non sia veritiero.

Per massimizzare l'affidabilità del test è necessario aumentare la soglia di affidabilità per la quale si individua un effetto (P3) e diminuire invece quella per la quale si individua un effetto che in realtà non esiste (P4). Al contrario, diminuendo P3 e aumentando P4, il numero di visite richieste per il test sarà minore, e i risultati meno affidabili.

2 Calcolare il numero di visite necessarie per effettuare un A/B test affidabile

Una volta che questi parametri sono stati definiti, non resta altro che realizzare il calcolo statistico che offrirà il numero medio di visite richieste per ciascuna delle varianti. Le migliori piattaforme di A/B testing poi sono in grado di fornire direttamente il risultato attraverso uno strumento di stima del traffico o del tempo necessario. Su Kameleoon il calcolatore si trova nella finestra di lancio del test.

Calculateur indice confiance test A/B

Non va poi dimenticato che, con visite necessarie, si intendono le visite realmente sottoposte al test e non dall'insieme di visite sul sito.

Ecco alcuni casi sul livello di traffico necessario, basati sulle soglie di affidabilità P3 e P4, fissate in modo standard a 80% e 5%:

  • Per i test il cui tasso di conversione naturale (P1) è elevato (per esempio +30%) e il cui guadagno potenziale atteso (P2) lo è in ugual modo (per esempio +20%), la soglia minima di visite necessarie per variazione al fine di avere un risultato statisticamente significativo è di appena 1.000 (929 per l'esattezza). Questi test sono quindi accessibili a tutti gli attori, o quasi.
  • Per i test il cui tasso di conversione iniziale (P1) è inferiore (per esempio 5%, tipo invio di modulo), ma il cui guadagno potenziale (P2) resta molto elevato (per esempio +20%), la soglia minima di visite è nell'ordine di 7.500 per variazione. Se la speranza di guadagno (P2) è minore, il traffico richiesto cambia: passare da 20 a 10% di effetto minimo sul tasso di conversione fa aumentare a 30.000 il numero di visite necessarie per variazione, cioè 4 volte in più.

  • Infine, per i test il cui tasso di conversione iniziale (P1) è ancora minore (per esempio il 2% verso la fine del tunnel) e il cui guadagno potenziale atteso (P2) è anch'esso minore (per esempio 5%), la soglia raggiunge le 310.000 visite per variante. Il numero di e-commerce capaci di gestire questo tipo di test è però di fatto limitato.

3 L'A/B testing su siti a traffico ridotto 

Il livello di traffico atteso è, nell'insieme, lontano dall'essere trascurabile. Questi esempi vanno contro certi discorsi volutamente commerciali, che vorrebbero far credere che l'A/B testing apporti un insegnamento statisticamente affidabile, a prescindere dal tipo di test realizzato. È meglio sapere che cosa si sta andando a fare prima di lanciarsi ed essere coscienti del tipo di test che si è in grado di realizzare.

I siti a traffico basso sono abbastanza adatti a fare A/B testing, a patto che il test si concentri su landing page o sulla modifica di pagine per le quali il guadagno in conversione sia sostanziale. Un sito a basso traffico può fare A/B test (su banner, iscrizioni alla newsletter, moduli da riempire sui siti B2B per un'audience qualificata). Test sul conversion funnel non sono esclusi, a condizione che il potenziale di miglioramento sia significativo.

Per i test il cui guadagno è naturalmente molto più limitato, come quelli che portano sul conversion funnel o l'aggiunta al carrello, il traffico necessario per validare richiede un numero di visite significativo. Sono quindi riservati a e-commerce o media ad alto traffico.

Infine bisogna ricordare che un test è affidabile solo alla fine, cioè una volta che tutti i visitatori sono stati testati. La tentazione può essere forte, ma guardare i risultati prima del termine non offre alcun valore statistico al test, anche se in un momento in cui l'indice di affidabilità è superiore al 95% (qui l'articolo per approfondire).

che fare se il livello di traffico è troppo basso?

Tutti possono fare A/B testing, ma esiste un limite determinato dal traffico. Se questo è troppo debole, sarà difficile identificare una variazione vincente e affidabile. Ci sono però dei metodi per gestire i test con successo anche in queste condizioni, ne abbiamo parlato in questo articolo.

Jean-Noël Rivasseau Kameleoon
Jean-Noël Rivasseau
Jean-Noël is Kameleoon's founder and CTO and today heads the company's R&D department. He is a recognized expert in AI innovation and software development. In his posts he shares his vision of the market and his technology expertise.
Temi trattati in questo articolo