Tutto cio che fa funzionare davvero un programma di testing: come diagnosticare il tuo funnel, quale ricerca condurre prima di toccare qualsiasi cosa, come formare ipotesi che vale la pena testare, come eseguire esperimenti senza ingannarti e come misurare risultati che reggono. Nessuna opinione al posto dei dati. Nessuna supposizione travestita da strategia.
Il CRO e probabilmente la disciplina piu fraintesa nel marketing digitale. Viene venduto come test sul colore dei bottoni e checklist di "best practice", e viene acquistato da team che vogliono risultati rapidi senza il lavoro che richiedono. Quello che e realmente: un processo strutturato per capire perche gli utenti si comportano nel modo in cui si comportano, formulare scommesse testabili su cio che cambierebbe quel comportamento, eseguire quelle scommesse in un modo che produce prove affidabili e poi accumulare i vincitori mese dopo mese. Quel processo non e rapido, ma i rendimenti ottenuti facendolo bene superano quasi qualsiasi altro utilizzo del budget di marketing.
La conversion rate optimization e la pratica di aumentare la percentuale di visitatori che compiono un'azione definita: registrarsi, acquistare, avviare una prova, prenotare una demo. Opera sul traffico che hai gia, il che la rende fondamentalmente diversa dall'acquisizione: non stai pagando per piu visitatori, stai ottenendo piu valore dai visitatori che gia paghi.
Cosa non e il CRO: cambiare un bottone dal verde all'arancione e chiamarlo test. Far girare una variante di titolo per quattro giorni e dichiarare un vincitore. Implementare "best practice" dal caso studio di un'altra azienda senza verificare che si applichino al tuo contesto. Queste cose sono estremamente comuni, e producono tutte rumore che viene scambiato per apprendimento.
Il CRO reale e una disciplina di ricerca. Inizia con una domanda: perche gli utenti si comportano in questo modo? Risponde a quella domanda con i dati prima di proporre qualsiasi cambiamento. E valida ogni cambiamento proposto in un esperimento controllato prima di metterlo in produzione per tutti. La fase di ricerca non e un sovraccarico opzionale. E la cosa che rende gli esperimenti degni di essere eseguiti.
Il principio fondamentale. Ogni modifica a un prodotto live e un'affermazione: "questo funzionera meglio di quello che abbiamo." Il CRO e la disciplina di decidere quali affermazioni vale la pena testare, progettare test che possano effettivamente dirti se l'affermazione e vera e agire su cio che i dati dicono piuttosto che su cio che speravi dicessero.
Il punto di partenza giusto per qualsiasi ingaggio CRO e un audit che risponde a una domanda specifica: dove sta perdendo conversione in questo momento e quanto vale ogni perdita in ricavi mensili? Tutto il resto deriva da questo.
L'audit copre quattro livelli, e l'output di tutti e quattro e lo stesso: un elenco prioritizzato di problemi di conversione, ognuno con un costo in ricavi allegato e un'ipotesi su cosa lo correggera.
Ogni voce nell'output dell'audit ha i dati a supporto e la stima dei ricavi allegata. "Il passaggio 2 del checkout sta perdendo il 68 percento degli utenti che hanno raggiunto il passaggio 1, il che al tuo traffico attuale e al valore medio dell'ordine costa circa 38 conversioni al mese ai tassi correnti." Questo livello di specificita e cio che rende possibile decidere quali perdite correggere per prime e quanto vale investire in una correzione.
La ricerca quantitativa ti dice cosa sta succedendo e quanto conta. Non puo dirti perche, ma puo dirti esattamente dove guardare.
Un funnel di conversione e la sequenza di passaggi tra l'arrivo di un utente e il completamento del tuo obiettivo. Negli analytics, configuri questa sequenza come un percorso definito e misuri quanti utenti progrediscono da ogni passaggio al successivo. I tassi di abbandono a ogni transizione sono il tuo materiale di partenza: maggiore e il calo e piu traffico colpisce quel passaggio, piu vale una correzione.
La maggior parte dei team guarda gli abbandoni del funnel in modo aggregato. E un punto di partenza, ma nasconde un segnale enorme. Il passo successivo e la segmentazione: scomporre il funnel per fonte di traffico, tipo di dispositivo, coorte utente, area geografica e comportamento. Un funnel di checkout che converte al 40 percento su desktop e al 18 percento su mobile non e un problema solo, sono due problemi diversi, e risolvere solo la versione mobile potrebbe essere un guadagno in termini di ricavi piu grande di qualsiasi ottimizzazione desktop.
L'analisi per coorte raggruppa gli utenti per una caratteristica condivisa al momento della loro prima visita: la settimana in cui sono arrivati, la campagna che li ha portati, la prima funzionalita che hanno usato. Confrontare i tassi di conversione delle coorti nel tempo dice se una modifica che hai apportato ha davvero migliorato le cose, o se un cambiamento nel mix di traffico lo ha fatto sembrare cosi.
La segmentazione comportamentale va oltre. Gli utenti che leggono piu di tre pagine convertono a un tasso diverso da quelli che rimbalzano dopo una. Gli utenti che usano la barra di ricerca convertono diversamente da quelli che navigano per categoria. Questi segmenti esistono nei tuoi dati di analytics, e identificare il segmento che converte di piu e spesso il modo piu veloce per trovare cosa testare: costruisci piu dell'esperienza che ottiene il segmento che converte.
| Livello di ricerca | Strumento principale | Cosa risponde |
|---|---|---|
| Abbandono nel funnel | Funnel GA4 o Mixpanel | Dove smettono di progredire gli utenti e con quale frequenza? |
| Confronto segmenti | Dimensioni personalizzate, cohort explorer | Quali utenti convertono e cosa li differenzia? |
| Engagement a livello di pagina | Scroll depth, tempo sulla pagina, eventi | Gli utenti interagiscono con il contenuto vicino alle CTA di conversione? |
| Impatto sui ricavi | Ricavi per sessione, ARPU per fase del funnel | Quanto vale ogni punto percentuale di incremento della conversione? |
| Dati su errori e rage click | Log di errori, report rage click Hotjar | Dove gli utenti incontrano frizioni o frustrazione? |
I dati quantitativi ti dicono dove si trova il problema. I dati qualitativi ti dicono perche esiste. Entrambi sono necessari. Eseguire esperimenti senza ricerca qualitativa significa indovinare la causa del problema, il che significa che le tue ipotesi sono supposizioni.
Le registrazioni di sessione catturano i percorsi individuali degli utenti nel tuo sito. Guardare un campione di sessioni su una pagina ad alto abbandono e una delle ore a piu alto valore che puoi trascorrere nel CRO. Vedi esattamente dove gli utenti si fermano, cosa rileggono, cosa cercano di cliccare che non e cliccabile e dove se ne vanno. I pattern che compaiono in piu registrazioni sono il segnale piu forte: se trenta utenti su cinquanta che guardi si fermano tutti nello stesso punto di un form e poi chiudono la scheda, hai un'ipotesi specifica e testabile.
Le heatmap aggregano il movimento del mouse, il comportamento di scorrimento e i dati sui clic su centinaia o migliaia di sessioni e ti mostrano una distribuzione visiva. Le scroll heatmap mostrano quanto in basso nella pagina la maggior parte degli utenti legge prima di andarsene. Le click map mostrano quali elementi attragono attenzione e quali vengono ignorati. Una CTA sepolta sotto il punto in cui il 70 percento degli utenti ha gia abbandonato la pagina e un risultato che non richiede ulteriori spiegazioni: deve spostarsi in alto.
Una singola domanda di sondaggio ben posizionata puo far emergere l'obiezione dominante che trattiene la conversione. Su una pagina prezzi: "Cosa, se c'e qualcosa, ti impedisce di iscriverti oggi?" Su una pagina di abbandono del checkout: "Abbiamo notato che non hai completato l'ordine. C'e qualcosa con cui possiamo aiutarti?" Le risposte sono spesso dirette e specifiche in un modo che nessun dato quantitativo puo eguagliare. Capisci se gli utenti hanno un'obiezione sul prezzo, una preoccupazione sulla fiducia, una funzionalita mancante o un semplice problema di usabilita, e lo impari con le loro stesse parole, che sono anche il linguaggio da usare nel copy del test successivo.
Le sessioni di user testing moderate o non moderate mettono persone reali di fronte al tuo flusso e catturano cio che dicono e fanno mentre cercano di completare un'attivita. Cinque sessioni con persone che corrispondono al tuo profilo di acquirente reale faranno emergere piu frizioni attuabili di un mese di analisi degli analytics, perche gli utenti dicono ad alta voce di cosa sono confusi, cosa si aspettavano di trovare che non c'era e cosa li ha fatti esitare. Gli strumenti di testing non moderato da remoto rendono questo approccio pratico e accessibile anche nelle fasi iniziali.
Un'ipotesi non e un cambiamento. E una previsione: se cambiamo X, allora Y accadra, perche Z e la ragione per cui gli utenti si comportano nel modo in cui si comportano attualmente. La parte "perche Z" e l'elemento piu importante, ed e la parte che la maggior parte dei programmi di testing salta.
Un'ipotesi debole: "Cambiare il colore del bottone CTA dal grigio al blu aumentera i clic."
Un'ipotesi forte: "Gli utenti non cliccano sulla CTA principale perche non risalta rispetto allo sfondo della pagina. Le registrazioni di sessione mostrano che gli occhi la sorpassano senza fissarsi. Renderla di un blu ad alto contrasto ne aumentera la visibilita e incrementera il tasso di clic sulla CTA di almeno il 15 percento in termini relativi."
La differenza e che la versione forte e ancorata a un'osservazione specifica, propone un meccanismo specifico di cambiamento e nomina un risultato specifico con una magnitudine specifica. Se il test non aumenta i clic sulla CTA di almeno il 15 percento, non hai solo mancato di trovare un vincitore, hai prove che la tua diagnosi era sbagliata, il che e altrettanto prezioso.
Le buone ipotesi vengono dalla ricerca: dalle registrazioni di sessione dove hai visto gli utenti perdere la CTA, dalle click map che mostrano scarso engagement con essa, dalle risposte ai sondaggi dove gli utenti dicevano di non sapere cosa fare dopo. Quando hai una base di prove solida per l'ipotesi, il risultato del test, positivo o negativo, ti insegna qualcosa di reale sui tuoi utenti.
In qualsiasi momento avrai piu ipotesi di quante tu ne abbia la capacita di testare. I framework di prioritizzazione esistono per ordinarle per valore atteso, in modo da eseguire prima i test ad alta leva piuttosto che quelli piu facili.
Due framework sono ampiamente utilizzati ed entrambi funzionano. La scelta tra di loro e meno importante della disciplina di applicarne uno in modo coerente.
| Framework | Dimensioni valutate (da 1 a 10) | Ideale per |
|---|---|---|
| ICE | Impact, Confidence, Ease | Team che vogliono un punteggio rapido e orientato con un overhead minimo |
| PIE | Potential, Importance, Ease | Team che vogliono pesare il valore del traffico della pagina testata |
Impact / Potential chiede: se questo test vince, quanto spostera l'ago? Un test sulla tua landing page con il traffico piu alto ha un potenziale d'impatto maggiore rispetto allo stesso test su una pagina a basso traffico, anche se il miglioramento atteso e lo stesso.
Confidence chiede: quanto e solida la base di prove per questa ipotesi? Un'ipotesi fondata su tre segnali qualitativi indipendenti (session replay, sondaggio, user test) ha maggiore confidence rispetto a una nata da un'intuizione.
Ease chiede: quanto sforzo richiede questo test per essere progettato e implementato? Una modifica al copy richiede qualche ora. Una ristrutturazione del flusso di checkout potrebbe richiedere due sprint di ingegneria. Una facilita elevata non dovrebbe prevalere su un impatto basso, ma quando impatto e confidence sono uguali, la facilita e un ragionevole criterio di pareggio.
Valuta ogni ipotesi su tutte e tre le dimensioni, calcola la media dei punteggi e ordina per risultato. Esegui i test in ordine e aggiorna i punteggi man mano che impari. Un test che vince cambia il punteggio di confidence per le ipotesi correlate. Un test che perde dovrebbe spingerti a rivedere la base di prove.
La disciplina. La prioritizzazione funziona solo se ti impegni nell'ordine prima di conoscere i risultati. I team che saltano test con punteggio basso perche "sappiamo gia che non funzionera" o che avanzano test con punteggio alto perche "troppo rischiosi" stanno sostituendo l'opinione al processo. Usa il framework, esegui i test e aggiorna in base a cio che impari.
Un esperimento ha quattro componenti: un controllo (cio che esiste attualmente), una o piu varianti (cio che stai testando), una metrica di successo (il numero che definisce un vincitore) e una regola di stop (quando ti fermerai e dichiari un risultato). Tutti e quattro devono essere definiti prima dell'avvio del test. Decidere uno di essi dopo aver iniziato a guardare i risultati e il modo in cui ci si inganna nel mettere in produzione un perdente.
L'A/B testing (chiamato anche split testing) invia meta del traffico al controllo e meta alla variante. E la scelta giusta per la maggior parte dei test: semplice da implementare, semplice da analizzare, semplice da spiegare. Il testing multivariato testa piu modifiche contemporaneamente e richiede molto piu traffico per raggiungere la significativita per ogni combinazione. E quasi mai la scelta giusta per team al di sotto di una certa soglia di traffico, e la maggior parte dei team e al di sotto di quella soglia.
L'errore piu comune nell'A/B testing e fermare un test troppo presto. Per dimensionare correttamente un test, hai bisogno di tre input prima del suo avvio: il tasso di conversione di base (a cosa converte attualmente il controllo), l'effetto minimo rilevabile (il miglioramento piu piccolo che varrebbe la pena mettere in produzione) e la potenza statistica desiderata (tipicamente l'80 percento, ovvero una probabilita dell'80 percento di rilevare l'effetto se esiste con una confidenza del 95 percento).
Con questi tre input, un calcolatore della dimensione del campione ti da il numero di visitatori per variante necessari prima di poter dichiarare un risultato. Quel numero e spesso piu grande di quanto i team si aspettino. Una pagina che converte al 2 percento, testando un incremento relativo del 20 percento, ha bisogno di circa 5.000-7.000 visitatori per variante. Con 2.000 visitatori al giorno suddivisi equamente, si tratta di un test di tre o quattro settimane. Dichiarare un risultato al giorno cinque non e un risultato anticipato, e un risultato falso.
Imposta la dimensione del campione richiesta prima dell'avvio del test, raggiungi quella soglia prima di guardare i risultati e chiama il test solo quando sia la dimensione del campione che la soglia di significativita statistica sono state soddisfatte. Non prima.
La significativita statistica non e opzionale e non e una formalita. E il meccanismo che separa un risultato reale dalla variazione casuale, e la ragione per cui esiste e che la variazione casuale appare come un risultato reale con una frequenza allarmante nei campioni piccoli.
La soglia standard e p < 0,05: una probabilita inferiore al 5 percento che la differenza osservata appaia per caso se non ci fosse nessun effetto reale. Con una confidenza del 95 percento, si accetta una probabilita del 5 percento di un falso positivo. Suona piccolo, ma se esegui venti test all'anno e chiami ognuno a p < 0,05, puoi aspettarti di mettere in produzione un vincitore falso per caso.
Il peeking consiste nel controllare i risultati prima che sia raggiunta la dimensione del campione target e nel prendere una decisione basata su cio che si vede. Gonfia significativamente il tasso di falsi positivi. Un test che sembra un vincitore al giorno tre con un campione piccolo tornera al rumore al giorno venti con un campione adeguato circa meta delle volte. La soluzione e semplice: calcola la dimensione del campione richiesta prima del test, impegnati a non guardare fino a quando non e raggiunta e guarda esattamente una volta.
Un effetto novita si verifica quando una modifica performa bene inizialmente perche e nuova, poi si inverte una volta che gli utenti ci si abituano. Le pagine con un traffico elevato di visitatori di ritorno sono particolarmente vulnerabili. Se un test mostra un incremento ampio e rapido che si appiattisce velocemente, eseguilo per un secondo periodo prima di dichiararlo. Se il miglioramento regge, e reale. Se non regge, hai individuato un effetto novita prima di metterlo in produzione.
Piu metriche misuri in un singolo test, maggiore e la probabilita che una di esse mostri un risultato spurio. Definisci una metrica di successo primaria prima dell'avvio del test. Tieni traccia delle metriche secondarie per il contesto, ma prendi la decisione vai/non vai sulla sola metrica primaria.
Una landing page ha un solo compito: trasformare un visitatore nel passaggio successivo del tuo funnel. Ogni elemento su di essa dovrebbe servire quel compito o essere rimosso. Il modo piu comune in cui falliscono le pagine e quando cercano di fare troppo: spiegare il prodotto completo, stabilire la storia dell'azienda, affrontare ogni possibile obiezione e convertire il visitatore, tutto su un unico scroll.
Il visitatore e arrivato da qualche parte. Ha cliccato su un annuncio con una promessa specifica, o un risultato di ricerca con uno snippet specifico, o un post social con un gancio specifico. Il titolo della landing page dovrebbe corrispondere il piu possibile a quella promessa. La mancata corrispondenza del messaggio e la causa singola piu comune di alti tassi di rimbalzo sul traffico a pagamento: l'annuncio diceva una cosa, la pagina ne dice un'altra e il visitatore conclude di essere nel posto sbagliato.
La maggior parte dei visitatori decide entro tre secondi se restare. La sezione hero lo decide. Un hero efficace ha un titolo che afferma un risultato specifico che il visitatore desidera (non una funzionalita che offri), un sottotitolo che lo supporta con un dettaglio chiarificatore e una CTA che gli dice esattamente cosa succede dopo. L'hero dovrebbe essere visibile senza scorrere sia su desktop che su mobile. Se richiede scorrimento per vedere la CTA principale, e un test da eseguire immediatamente.
I segnali di fiducia riducono il rischio percepito di compiere un'azione. Includono testimonianze di persone reali con risultati specifici attribuiti, loghi di clienti o partner riconoscibili, badge di sicurezza vicino ai campi ad alta ansia come gli input di pagamento e conteggi di recensioni con valutazioni a stelle da piattaforme esterne. Il loro posizionamento conta quanto la loro presenza: un segnale di fiducia che appare sotto il fold dopo che il visitatore se n'e gia andato non aiuta.
I form sono il punto di conversione per una grande quota dei funnel digitali, e sono anche una delle esperienze con piu frizioni nella maggior parte dei prodotti. La ricerca mostra costantemente che ridurre il numero di campi obbligatori aumenta il tasso di completamento, ma la dimensione dell'effetto dipende da quali campi rimuovi, non solo da quanti.
La domanda da porsi su ogni campo di un form e: abbiamo davvero bisogno di questa informazione prima di poter fornire valore a questo utente? Se la risposta e no, o se puoi raccoglierla piu avanti nella relazione, rimuovila o rimandala. Un campo per il nome dell'azienda in un form di iscrizione alla prova gratuita non e quasi mai necessario in quella fase. Rimuoverlo di solito aumenta il completamento senza alcun impatto downstream sulla qualificazione.
Le etichette dei form ambigue ("Nome" quando vuoi nome e cognome separati, o "Telefono" quando il prefisso internazionale e rilevante) creano confusione che si manifesta come abbandono. I messaggi di errore che dicono "Input non valido" senza spiegare cosa era sbagliato creano frustrazione che fa lo stesso. Le registrazioni di sessione ti mostreranno esattamente dove in un form gli utenti si fermano, tornano indietro o si arrendono. Ogni pausa e una prova di un'ambiguita o di un punto di frizione. Correggili in modo specifico, poi ritesta.
I form a piu passaggi con un indicatore di avanzamento visibile convertono meglio di quelli senza, in particolare su mobile dove la lunghezza completa di un form e nascosta dal viewport. L'indicatore dovrebbe mostrare i passaggi totali e la posizione attuale. Non dovrebbe contare da zero: "Passaggio 1 di 4" e meglio di "0% completato" perche ancora l'utente all'inizio piuttosto che ricordargli quanto strada deve ancora fare.
Il checkout e la superficie piu importante nell'e-commerce e la piu studiata. Il tasso medio di abbandono del carrello nei vari settori si aggira tra il 65 e il 75 percento. Non si tratta di un problema di design specifico di un sito, e una caratteristica della categoria guidata dal fatto che la maggior parte delle persone che aggiungono al carrello non e ancora pronta ad acquistare. L'opportunita CRO e recuperare quella frazione di persone che erano quasi pronte ma hanno incontrato frizioni.
I punti di frizione nel checkout piu comuni sono: creazione obbligatoria di un account prima dell'acquisto, form lunghi che chiedono informazioni non ancora necessarie, metodi di pagamento mancanti per la preferenza del visitatore, ansia per la sicurezza vicino all'input della carta, costo totale non chiaro al momento dell'inserimento e autocompletamento dell'indirizzo lento o confuso. Ognuno di questi e testabile e ognuno ha un impatto documentato sui tassi di completamento.
Il checkout come ospite e un vincitore particolarmente coerente. Richiedere la creazione di un account prima di consentire l'acquisto riduce il completamento del checkout del 15-35 percento nella maggior parte degli studi. L'account puo essere offerto dopo che la transazione e completata, in un momento in cui l'utente e gia impegnato e ha un motivo per volerlo.
Una pagina prezzi e una delle pagine piu importanti in un funnel SaaS e una delle piu trascurate dal punto di vista del testing. Le variabili piu impattanti sono: il numero di livelli mostrati (tre e un'impostazione predefinita solida; di piu introduce paralisi della scelta), quale livello e evidenziato come consigliato, come viene espressa il valore di ogni livello (risultati, non funzionalita), se viene mostrato in modo prominente uno sconto annuale e se una prova gratuita o un'opzione freemium elimina la necessita di decidere sul prezzo in anticipo.
I test sulle pagine prezzi producono spesso grandi effetti perche la pagina si trova ad alta intenzione. Un visitatore sulla tua pagina prezzi sta valutando una decisione di acquisto, non navigando. Le modifiche che lo aiutano a prendere quella decisione con fiducia spostano la conversione in modo significativo.
Il divario di conversione mobile e una delle opportunita piu persistenti e sottosfruttate nel marketing digitale. La maggior parte dei siti registra traffico mobile al 55-70 percento delle visite totali, ma tassi di conversione mobile inferiori del 40-60 percento rispetto al desktop per lo stesso funnel. Il divario non esiste perche gli utenti mobile sono meno pronti ad acquistare. Esiste perche l'esperienza mobile e di solito peggiore.
I punti di frizione specifici per mobile includono: target touch inferiori a 44 pixel facili da mancolare, form che attivano il tipo di tastiera sbagliato per l'input (la tastiera numerica che non appare per i campi numerici), scorrimento orizzontale o contenuto tagliato causato da layout non responsive e tempi di caricamento della pagina accettabili in WiFi ma inutilizzabili con una connessione 4G in una zona con segnale debole.
L'approccio pratico e analizzare il funnel mobile separatamente dal desktop. Mappa gli abbandoni mobile, guarda le registrazioni di sessione specifiche per mobile ed esegui test specifici per mobile piuttosto che assumere che i vincitori del desktop si trasferiscano. Spesso non lo fanno, perche l'esperienza e sufficientemente diversa da far si che la stessa modifica possa avere effetti opposti sulle due superfici.
La personalizzazione significa mostrare esperienze diverse a utenti diversi in base a cio che sai di loro: la loro fonte di traffico, la loro posizione geografica, il loro comportamento passato, il loro stato dell'account o la loro posizione nel funnel. Fatta bene, produce grandi incrementi di conversione perche l'esperienza diventa piu rilevante per ogni utente. Fatta male, produce complessita senza miglioramento e rende i tuoi analytics quasi impossibili da interpretare.
Inizia con il segnale piu chiaro che hai. Visitatori nuovi vs di ritorno e la suddivisione piu semplice e spesso la piu impattante: un visitatore alla prima visita ha bisogno di un messaggio diverso da qualcuno che ha gia visto il tuo prodotto due volte. La fonte di traffico e quasi altrettanto semplice: un visitatore da una ricerca brandizzata ha un'intenzione diversa da un visitatore da un contenuto top-of-funnel. Queste suddivisioni sono facili da implementare e facili da misurare.
Passa a una personalizzazione piu sofisticata solo dopo aver una lettura chiara dei segnali piu semplici, perche piu variabili introduci, piu grandi sono le dimensioni del campione necessarie per misurare ciascuna in modo pulito e piu diventa difficile sapere quale modifica sta guidando un risultato.
L'output di un programma CRO non e solo un incremento del tasso di conversione. E una sequenza cumulativa di modifiche supportate da prove che insieme spostano i ricavi. Le metriche che contano per giudicare se il programma sta funzionando:
| Metrica | Cosa dice | Attenzione a |
|---|---|---|
| Tasso di conversione per fase del funnel | Dove gli utenti progrediscono e dove si fermano | Modifiche specifiche di fase che non spostano il tasso complessivo |
| Ricavi per visitatore | L'effetto combinato di tasso di conversione e valore medio dell'ordine | Test che aumentano la conversione ma riducono il valore medio dell'ordine |
| Win rate | Quale percentuale di test trova un risultato positivo | Win rate superiori al 40% possono indicare confirmation bias nella selezione delle ipotesi |
| Velocita dei test | Quanti test raggiungono la significativita al mese | Una velocita in calo significa spesso traffico suddiviso su troppi test contemporanei |
| Incremento cumulativo della conversione | L'effetto composto di tutti i vincitori messi in produzione fino ad oggi | Inversione nei test A/A dopo la messa in produzione dei vincitori indica effetti di interazione |
I ricavi per visitatore sono la metrica piu onesta per un programma CRO perche catturano l'effetto completo di una modifica. Un test che aumenta il numero di iscrizioni alla prova gratuita ma riduce la percentuale di conversione al pagamento potrebbe mostrare un risultato positivo nel tasso di conversione che maschera una perdita di ricavi. Tracciare i ricavi per visitatore garantisce di vedere entrambi gli effetti insieme.
Il win rate vale la pena osservare per una ragione diversa. Un programma con un win rate del 70 percento probabilmente non sta testando ipotesi abbastanza audaci. Ipotesi interessanti e ben fondate dovrebbero vincere circa il 30-40 percento delle volte. Se ogni test vince, stai eseguendo test molto sicuri (effetto atteso piccolo, quasi certamente vincitori) oppure stai misurando qualcosa in modo troppo approssimativo per rilevare risultati nulli. Entrambi sono problemi.
Velocita dei test e concorrenza. Eseguire troppi test simultanei sullo stesso pool di traffico diluisce la dimensione del campione di ogni test e prolunga il tempo necessario per raggiungere la significativita. Una regola generale: non eseguire piu di un test per superficie di conversione principale alla volta e dimensiona i test prima di avviarli in modo da poter prevedere quando finiranno. Un programma che esegue quattro test in parallelo e li chiama tutti dopo tre settimane sta eseguendo quattro test poco potenti, non quattro validi.
Un elenco breve e onesto dei pattern che vediamo piu spesso nei programmi che non stanno spostando l'ago, e cosa fare invece:
Un programma CRO non e un progetto, e un ritmo. La fase di ricerca non finisce mai del tutto perche gli utenti cambiano, il prodotto cambia, il mix di traffico cambia e cio che era vero sei mesi fa potrebbe non essere piu vero oggi. L'ingaggio e strutturato per riflettere questo.
Il primo mese e principalmente ricerca e audit: mappatura del funnel, analisi dei replay di sessione, heatmap e configurazione dei sondaggi. L'output e un backlog di ipotesi prioritizzato con stime dei ricavi per ogni voce e un calendario di test proposto per i primi due mesi. Nessun test viene lanciato fino al completamento della ricerca.
Dal secondo mese in poi, l'ingaggio funziona in cicli. Ogni ciclo si apre con una revisione del backlog: quali test sono stati completati, quali sono stati i risultati, quali nuove prove sono arrivate e come deve aggiornarsi la classifica delle ipotesi. I test che hanno vinto vengono messi in produzione. I test che hanno perso generano una retrospettiva: l'ipotesi era sbagliata, la ricerca era sbagliata o il test era poco potente? La risposta determina cosa fare dopo.
Il reporting e mensile come minimo e settimanale durante i periodi di test attivi. Il report copre: test in corso (dimensione del campione attuale, giorni rimanenti), test completati nel periodo (risultato, impatto sui ricavi, decisione) e il backlog per il ciclo successivo (ordinato per punteggio ICE, con le motivazioni dietro i primi tre). Vedi tutto. Non c'e nessuna scatola nera.
Consulta la pagina dei servizi CRO per i livelli specifici e come viene definito lo scope dopo l'audit gratuito.
In quanto tempo vedremo i risultati? Modifiche semplici alle landing page possono aumentare la conversione entro due o tre settimane dal momento in cui il test raggiunge la significativita. Modifiche piu complesse al funnel richiedono piu tempo perche occorre traffico sufficiente per misurare l'effetto in modo affidabile. Un orizzonte realistico per guadagni significativi e cumulativi e da due a quattro mesi di test costanti.
Quanto traffico ci serve per gli A/B test? Dipende dal tuo tasso di conversione attuale e dall'entita del miglioramento che stai testando. Una pagina che converte al 2 percento e che punta a un incremento relativo del 20 percento ha bisogno di circa 5.000-7.000 visitatori per variante. Calcoliamo la dimensione del campione richiesta prima del lancio di ogni test e ti diciamo chiaramente se una superficie non ha volume sufficiente per essere testata in modo affidabile.
Quali strumenti di A/B testing usate? Lavoriamo con qualsiasi strumento che il tuo team gia utilizza: VWO, Optimizely, alternative a Google Optimize, Convert, AB Tasty o split testing personalizzato integrato nel tuo stack. Non imponiamo uno strumento specifico. Imponiamo che lo strumento supporti il metodo statistico (frequentista o bayesiano, con regole di stop predefinite) prima di usarlo per un ingaggio a pagamento.
Lavorate con i nostri sviluppatori? Si. Per la maggior parte dei test scriviamo una specifica di implementazione precisa che i tuoi sviluppatori possono applicare senza un incontro di follow-up. Per modifiche piu semplici, possiamo implementare direttamente usando JavaScript nel tuo strumento di testing senza toccare il tuo codebase. Scegliamo il percorso che porta a un test live piu velocemente.
Come gestite la significativita statistica? Predefininiamo le soglie di significativita e le dimensioni del campione prima del lancio di ogni test. Non guardiamo i risultati fino al raggiungimento del campione predefinito. Usiamo una soglia di confidenza del 95 percento per le decisioni vai/non vai. Per i test con piu varianti, applichiamo una correzione di Bonferroni per tenere conto della probabilita aumentata di falsi positivi.
Questa e la metodologia completa. Quando vuoi applicarla al tuo funnel, il passo successivo e un audit di conversione gratuito: il tuo funnel reale mappato, ogni perdita quantificata in ricavi e un backlog di ipotesi prioritizzato consegnato in circa una settimana, senza alcun impegno.
Un audit gratuito sul tuo funnel reale. Ogni perdita quantificata in ricavi. Uno scope fisso per risolvere cio che i numeri giustificano.
Richiedi un audit gratuito