Questa pagina descrive come utilizzare gli esperimenti A/B per comprendere l'impatto di Vertex AI Search per il commercio sulla tua attività.
Panoramica
Un esperimento A/B è un esperimento randomizzato con due gruppi: un gruppo sperimentale e un gruppo di controllo. Il gruppo sperimentale riceve un trattamento diverso (in questo caso, previsioni o risultati di ricerca di Vertex AI Search for Commerce); il gruppo di controllo no.
Quando esegui un esperimento A/B, includi le informazioni sul gruppo a cui apparteneva un utente quando registri gli eventi utente. Queste informazioni vengono utilizzate per perfezionare il modello e fornire metriche.
Entrambe le versioni dell'applicazione devono essere identiche, tranne per il fatto che gli utenti del gruppo sperimentale vedono i risultati generati da Vertex AI Search for commerce, mentre il gruppo di controllo no. Registri gli eventi utente per entrambi i gruppi.
Per saperne di più sulla suddivisione del traffico, consulta la sezione Suddivisione del traffico nella documentazione di App Engine.
Piattaforme di esperimenti
Configura l'esperimento utilizzando una piattaforma di test di terze parti come
VWO, AB Tasty. Il gruppo di controllo e il gruppo sperimentale
ricevono ciascuno un ID esperimento univoco dalla piattaforma. Quando registri un evento utente,
specifica il gruppo a cui appartiene l'utente includendo l'ID esperimento nel
campo experimentIds. Fornire l'ID esperimento ti consente di confrontare le metriche per le versioni della tua applicazione visualizzate dai gruppi di controllo e sperimentali.
Best practice per gli esperimenti A/B
L'obiettivo di un esperimento A/B è determinare con precisione l'impatto dell'aggiornamento del tuo sito (in questo caso, l'utilizzo di Vertex AI Search for Commerce). Per ottenere una misurazione precisa dell'impatto, devi progettare e implementare correttamente l'esperimento, in modo che non si verifichino altre differenze che potrebbero influire sui risultati.
Per progettare un esperimento A/B significativo, utilizza i seguenti suggerimenti:
Prima di configurare l'esperimento A/B, utilizza l'anteprima della previsione o della ricerca per assicurarti che il modello si comporti come previsto.
Assicurati che il comportamento del tuo sito sia identico per il gruppo sperimentale e il gruppo di controllo.
Il comportamento del sito include latenza, formato di visualizzazione, formato del testo, layout della pagina, qualità dell'immagine e dimensioni dell'immagine. Non devono esserci differenze discernibili per nessuno di questi attributi tra l'esperienza del gruppo di controllo e del gruppo sperimentale.
Accetta e visualizza i risultati così come vengono restituiti da Vertex AI Search per il commercio e visualizzali nello stesso ordine in cui vengono restituiti.
È accettabile filtrare gli articoli non disponibili. Tuttavia, devi evitare di filtrare o ordinare i risultati in base alle regole della tua attività.
Se utilizzi gli eventi utente di ricerca e includi il token di attribuzione richiesto, assicurati che siano configurati correttamente. Consulta la documentazione relativa ai token di attribuzione.
Assicurati che la configurazione di pubblicazione che fornisci quando richiedi suggerimenti o risultati di ricerca corrisponda alla tua intenzione per quel suggerimento o risultato di ricerca e alla posizione in cui visualizzi i risultati.
Quando utilizzi i suggerimenti, la configurazione di pubblicazione influisce sulla modalità di addestramento dei modelli e, di conseguenza, sui prodotti consigliati. Scopri di più.
Se stai confrontando una soluzione esistente con Vertex AI Search for Commerce, mantieni l'esperienza del gruppo di controllo rigorosamente separata da quella del gruppo sperimentale.
Se la soluzione di controllo non fornisce un suggerimento o un risultato di ricerca, non fornirne uno da Vertex AI Search for Commerce nelle pagine di controllo. In questo modo, i risultati del test verranno distorti.
Assicurati che gli utenti non passino dal gruppo di controllo al gruppo dell'esperimento. Questo è particolarmente importante all'interno della stessa sessione, ma è consigliato anche per le sessioni successive. In questo modo, il rendimento dell'esperimento migliora e puoi ottenere risultati statisticamente significativi del test A/B più rapidamente.