Questa pagina descrive come utilizzare gli esperimenti A/B per capire in che modo Vertex AI Search per il retail sta influenzando la tua attività.
Panoramica
Un esperimento A/B è un esperimento randomizzato con due gruppi: un gruppo sperimentale e un gruppo di controllo. Il gruppo sperimentale riceve un trattamento diverso (in questo caso, le previsioni o i risultati di ricerca di Vertex AI Search for Retail), mentre il gruppo di controllo no.
Quando esegui un esperimento A/B, includi le informazioni sul gruppo a cui apparteneva un utente quando registri gli eventi utente. Queste informazioni vengono utilizzate per perfezionare il modello e fornire le metriche.
Entrambe le versioni dell'applicazione devono essere uguali, tranne per il fatto che gli utenti del gruppo sperimentale vedono i risultati generati da Vertex AI Search per la vendita al dettaglio, mentre il gruppo di controllo no. Registri gli eventi utente per entrambi i gruppi.
Per saperne di più sulla suddivisione del traffico, consulta Suddivisione del traffico nella documentazione di App Engine.
Piattaforme degli esperimenti
Configura l'esperimento utilizzando una piattaforma di sperimentazione di terze parti come
VWO, ABTasty o
Optimizely. I gruppi di controllo e sperimentale ricevono ciascuno un ID esperimento univoco dalla piattaforma. Quando registri un evento utente,
specifica il gruppo a cui appartiene l'utente includendo l'ID esperimento nel
campo experimentIds. Fornendo l'ID esperimento, puoi confrontare le metriche relative alle versioni della tua applicazione visualizzate dai gruppi di controllo e sperimentale.
Best practice per gli esperimenti A/B
Lo scopo di un esperimento A/B è determinare con precisione l'impatto dell'aggiornamento del tuo sito (in questo caso, l'utilizzo di Vertex AI Search per la vendita al dettaglio). Per ottenere una misurazione accurata dell'impatto, devi progettare e implementare correttamente l'esperimento, in modo che altre differenze non si inseriscano e influiscano sui risultati dell'esperimento.
Per progettare un esperimento A/B significativo, segui questi suggerimenti:
Prima di configurare l'esperimento A/B, utilizza la previsione o l'anteprima di ricerca per verificare che il modello si comporti come previsto.
Assicurati che il comportamento del tuo sito sia identico per il gruppo sperimentale e per il gruppo di controllo.
Il comportamento del sito include latenza, formato di visualizzazione, formato del testo, layout della pagina, qualità e dimensioni delle immagini. Non devono esserci differenze distinguibili per nessuno di questi attributi tra l'esperienza dei gruppi di controllo e sperimentale.
Accetta e mostra i risultati restituiti da Vertex AI Search per il retail e visualizzali nello stesso ordine in cui vengono restituiti.
È accettabile escludere gli articoli non disponibili. Tuttavia, dovresti evitare di filtrare o ordinare i risultati in base alle regole della tua attività.
Se includi un token di attribuzione con gli eventi utente, assicurati che sia configurato correttamente. Consulta la documentazione relativa ai token di attribuzione.
Assicurati che la configurazione di pubblicazione fornita quando richiedi consigli o risultati di ricerca corrisponda alla tua intenzione per quel consiglio o risultato di ricerca e alla posizione in cui vengono visualizzati i risultati.
Quando utilizzi i consigli, la configurazione della pubblicazione influisce sul modo in cui vengono addestrati i modelli e, di conseguenza, su quali prodotti vengono consigliati. Scopri di più.
Se stai confrontando una soluzione esistente con Vertex AI Search for Retail, mantieni l'esperienza del gruppo di controllo rigorosamente separata dall'esperienza del gruppo sperimentale.
Se la soluzione di controllo non fornisce un consiglio o un risultato di ricerca, non forniscine uno da Vertex AI Search for Retail nelle pagine di controllo. In questo modo, i risultati del test saranno falsati.
Assicurati che gli utenti non passino dal gruppo di controllo al gruppo sperimentale. Questo è particolarmente importante all'interno della stessa sessione, ma è consigliato anche tra le sessioni. In questo modo, il rendimento dell'esperimento migliora e puoi ottenere più rapidamente risultati statisticamente significativi dei test A/B.