In GoogleSQL per BigQuery, una clausola WITH
contiene una o più espressioni di tabella comune (CTE) con tabelle temporanee a cui puoi fare riferimento in un'espressione di query. Le CTE possono essere non ricorsive,
ricorrenti o entrambe. La parola chiave RECURSIVE
consente la ricorsione nella clausola WITH
(WITH RECURSIVE
).
Un CTE ricorsivo può fare riferimento a se stesso, a un CTE precedente o a un CTE successivo. Un CTE non ricorsivo può fare riferimento solo alle CTE precedenti e non può fare riferimento a se stesso. Le CTE ricorsive vengono eseguite continuamente finché non vengono trovati nuovi risultati, mentre quelle non ricorsive vengono eseguite una sola volta. Per questi motivi, le CTE ricorsive vengono comunemente utilizzate per eseguire query sui dati gerarchici e sui dati dei grafici.
Ad esempio, prendi in considerazione un grafo in cui ogni riga rappresenta un nodo che può collegarsi ad altri nodi. Per trovare la chiusura transitiva di tutti i nodi raggiungibili da un
determinato nodo iniziale senza conoscere il numero massimo di hop, è necessario
un CTE ricorsivo nella query (WITH RECURSIVE
). La query ricorsiva inizierà
con il caso base del nodo iniziale e ogni passaggio calcolerà i nuovi nodi nascosti
che possono essere raggiunti da tutti i nodi visti fino al passaggio precedente. La query termina quando non è possibile trovare nuovi nodi.
Tuttavia, le CTE ricorsive possono essere computazionalmente costose, quindi prima di utilizzarle, consulta questa guida e la sezione WITH
clause della documentazione di riferimento di GoogleSQL.
Creare un'espressione CTE ricorsiva
Per creare un'espressione CTE ricorsiva in GoogleSQL, utilizza la
clausola WITH RECURSIVE
come mostrato nell'esempio seguente:
WITH RECURSIVE
CTE_1 AS (
(SELECT 1 AS iteration UNION ALL SELECT 1 AS iteration)
UNION ALL
SELECT iteration + 1 AS iteration FROM CTE_1 WHERE iteration < 3
)
SELECT iteration FROM CTE_1
ORDER BY 1 ASC
L'esempio precedente produce i seguenti risultati:
/*-----------*
| iteration |
+-----------+
| 1 |
| 1 |
| 2 |
| 2 |
| 3 |
| 3 |
*-----------*/
Un CTE ricorsivo include un termine di base, un operatore di unione e un termine ricorsivo. Il termine di base esegue la prima iterazione dell'operazione di unione ricorsiva. Il termine ricorsivo esegue le iterazioni rimanenti e deve includere un riferimento autoreferenziale alla CTE ricorsiva. Solo il termine ricorsivo può includere un autoriferimento.
Nell'esempio precedente, la CTE ricorsiva contiene i seguenti componenti:
- Nome CTE ricorsivo:
CTE_1
- Termine base:
SELECT 1 AS iteration
- Operatore unione:
UNION ALL
- Termine ricorsivo:
SELECT iteration + 1 AS iteration FROM CTE_1 WHERE iteration < 3
Per scoprire di più sulla sintassi, sulle regole e sugli esempi delle CTE ricorsive, consulta la WITH
clausola nella documentazione di riferimento di GoogleSQL.
Esplorare la raggiungibilità in un grafo diretto aciclico (DAG)
Puoi utilizzare una query ricorsiva per esplorare la raggiungibilità in un
grafo diretto aciclico (DAG). La seguente query trova tutti i nodi che possono essere raggiunti dal nodo 5
in un grafico denominato GraphData
:
WITH RECURSIVE
GraphData AS (
-- 1 5
-- / \ / \
-- 2 - 3 6 7
-- | \ /
-- 4 8
SELECT 1 AS from_node, 2 AS to_node UNION ALL
SELECT 1, 3 UNION ALL
SELECT 2, 3 UNION ALL
SELECT 3, 4 UNION ALL
SELECT 5, 6 UNION ALL
SELECT 5, 7 UNION ALL
SELECT 6, 8 UNION ALL
SELECT 7, 8
),
R AS (
(SELECT 5 AS node)
UNION ALL
(
SELECT GraphData.to_node AS node
FROM R
INNER JOIN GraphData
ON (R.node = GraphData.from_node)
)
)
SELECT DISTINCT node FROM R ORDER BY node;
L'esempio precedente produce i seguenti risultati:
/*------*
| node |
+------+
| 5 |
| 6 |
| 7 |
| 8 |
*------*/
Risolvere i problemi relativi ai limiti di iterazione
Le CTE ricorsive possono comportare una ricorsione infinita, che si verifica quando il termine ricorsivo viene eseguito continuamente senza soddisfare una condizione di interruzione. Per terminare le ricorsioni infinite, viene applicato un limite di iterazioni per ogni CTE ricorsivo. Per BigQuery, il limite di iterazioni è 500. Quando un CTE ricorsivo raggiunge il numero massimo di iterazioni, l'esecuzione del CTE viene interrotta con un errore.
Questo limite esiste perché il calcolo di un CTE ricorsivo può essere costoso e l'esecuzione di un CTE con un numero elevato di iterazioni consuma molte risorse di sistema e richiede molto più tempo per essere completato.
Le query che raggiungono il limite di iterazione di solito non dispongono di una condizione di terminazione corretta, creando così un ciclo infinito o utilizzando CTE ricorsivi in scenari inappropriati.
Se si verifica un errore di limite di iterazione della ricorsione, esamina i suggerimenti riportati in questa sezione.
Verifica la presenza di ricorsioni infinite
Per evitare una ricorsione infinita, assicurati che il termine ricorsivo sia in grado di produrre un risultato vuoto dopo l'esecuzione di un determinato numero di iterazioni.
Un modo per verificare la presenza di una ricorsione infinita è convertire la CTE ricorsiva in un
TEMP TABLE
con un ciclo REPEAT
per le prime 100
iterazioni, come segue:
DECLARE current_iteration INT64 DEFAULT 0; CREATE TEMP TABLE recursive_cte_name AS SELECT base_expression, current_iteration AS iteration; REPEAT SET current_iteration = current_iteration + 1; INSERT INTO recursive_cte_name SELECT recursive_expression, current_iteration FROM recursive_cte_name WHERE termination_condition_expression AND iteration = current_iteration - 1 AND current_iteration < 100; UNTIL NOT EXISTS(SELECT * FROM recursive_cte_name WHERE iteration = current_iteration) END REPEAT;
Sostituisci i seguenti valori:
recursive_cte_name
: la CTE ricorsiva da eseguire il debug.base_expression
: il termine di base della CTE ricorsiva.recursive_expression
: il termine ricorsivo dell'espressione CTE ricorsiva.termination_condition_expression
: l'espressione di terminazione della CTE ricorsiva.
Ad esempio, considera la seguente CTE ricorsiva denominata TestCTE
:
WITH RECURSIVE
TestCTE AS (
SELECT 1 AS n
UNION ALL
SELECT n + 3 FROM TestCTE WHERE MOD(n, 6) != 0
)
Questo esempio utilizza i seguenti valori:
recursive_cte_name
:TestCTE
base_expression
:SELECT 1
recursive_expression
:n + 3
termination_condition_expression
:MOD(n, 6) != 0
Il seguente codice testerà quindi TestCTE
per la ricorsione infinita:
DECLARE current_iteration INT64 DEFAULT 0; CREATE TEMP TABLE TestCTE AS SELECT 1 AS n, current_iteration AS iteration; REPEAT SET current_iteration = current_iteration + 1; INSERT INTO TestCTE SELECT n + 3, current_iteration FROM TestCTE WHERE MOD(n, 6) != 0 AND iteration = current_iteration - 1 AND current_iteration < 10; UNTIL NOT EXISTS(SELECT * FROM TestCTE WHERE iteration = current_iteration) END REPEAT; -- Print the number of rows produced by each iteration SELECT iteration, COUNT(1) AS num_rows FROM TestCTE GROUP BY iteration ORDER BY iteration; -- Examine the actual result produced for a specific iteration SELECT * FROM TestCTE WHERE iteration = 2;
L'esempio precedente genera i seguenti risultati, che includono l'ID iterazione e il numero di righe prodotte durante l'iterazione:
/*-----------+----------*
| iteration | num_rows |
+-----------+----------+
| 0 | 1 |
| 1 | 1 |
| 2 | 1 |
| 3 | 1 |
| 4 | 1 |
| 5 | 1 |
| 6 | 1 |
| 7 | 1 |
| 8 | 1 |
| 9 | 1 |
| 10 | 1 |
*-----------+----------*/
Questi sono i risultati effettivi prodotti durante l'iterazione 2
:
/*----------+-----------*
| n | iteration |
+----------+-----------+
| 7 | 2 |
*----------+-----------*/
Se il numero di righe è sempre maggiore di zero, come in questo esempio, è probabile che il campione abbia una ricorsione infinita.
Verificare l'utilizzo appropriato della CTE ricorsiva
Verifica di utilizzare l'espressione CTE ricorsiva in uno scenario appropriato.
Il calcolo delle CTE ricorsive può essere costoso perché sono progettate per eseguire query su dati gerarchici e grafici. Se non esegui query su questi due tipi di
dati, valuta le alternative, ad esempio l'utilizzo della
istruzione LOOP
con un CTE non ricorsivo.
Suddividere una CTE ricorsiva in più CTE ricorsive
Se ritieni che la CTE ricorsiva abbia bisogno di più iterazioni rispetto al numero massimo consentito, potresti essere in grado di suddividerla in più CTE ricorsive.
Puoi suddividere una CTE ricorsiva con una struttura di query simile alla seguente:
WITH RECURSIVE CTE_1 AS ( SELECT base_expression UNION ALL SELECT recursive_expression FROM CTE_1 WHERE iteration < 500 ), CTE_2 AS ( SELECT * FROM CTE_1 WHERE iteration = 500 UNION ALL SELECT recursive_expression FROM CTE_2 WHERE iteration < 500 * 2 ), CTE_3 AS ( SELECT * FROM CTE_2 WHERE iteration = 500 * 2 UNION ALL SELECT recursive_expression FROM CTE_3 WHERE iteration < 500 * 3 ), [, ...] SELECT * FROM CTE_1 UNION ALL SELECT * FROM CTE_2 WHERE iteration > 500 UNION ALL SELECT * FROM CTE_3 WHERE iteration > 500 * 2 [...]
Sostituisci i seguenti valori:
base_expression
: l'espressione del termine di base per l'attuale CTE.recursive_expression
: l'espressione del termine ricorsivo per l'attuale CTE.
Ad esempio, il seguente codice suddivide una CTE in tre CTE distinte:
WITH RECURSIVE
CTE_1 AS (
SELECT 1 AS iteration
UNION ALL
SELECT iteration + 1 AS iteration FROM CTE_1 WHERE iteration < 10
),
CTE_2 AS (
SELECT * FROM CTE_1 WHERE iteration = 10
UNION ALL
SELECT iteration + 1 AS iteration FROM CTE_2 WHERE iteration < 10 * 2
),
CTE_3 AS (
SELECT * FROM CTE_2 WHERE iteration = 10 * 2
UNION ALL
SELECT iteration + 1 AS iteration FROM CTE_3 WHERE iteration < 10 * 3
)
SELECT iteration FROM CTE_1
UNION ALL
SELECT iteration FROM CTE_2 WHERE iteration > 10
UNION ALL
SELECT iteration FROM CTE_3 WHERE iteration > 20
ORDER BY 1 ASC
Nell'esempio precedente, 500 iterazioni vengono sostituite da 10 iterazioni in modo da visualizzare più rapidamente i risultati della query. La query genera 30 righe, ma ogni CTE ricorsiva viene eseguita solo 10 volte. L'output è simile al seguente:
/*-----------*
| iteration |
+-----------+
| 2 |
| ... |
| 30 |
*-----------*/
Potresti testare la query precedente su iterazioni molto più grandi.
Utilizza un ciclo anziché una CTE ricorsiva
Per evitare i limiti di iterazione, ti consigliamo di utilizzare un ciclo anziché una CTE ricorsiva.
Puoi creare un ciclo con una delle diverse istruzioni di ciclo, come LOOP
, REPEAT
o WHILE
. Per ulteriori informazioni, consulta
Loop.
Modificare il limite di ricorsione
Se ritieni che i seguenti fattori si applichino al tuo caso, contatta l'Assistenza clienti per elevare il limite di ricorsione:
- Esiste un motivo valido per cui la CTE ricorsiva deve eseguire più di 500 Iterazioni.
- Non ti dispiace un'esecuzione molto più lunga.
Tieni presente che l'aumento del limite di ricorsione comporta potenziali rischi:
- L'ECT potrebbe non riuscire con un messaggio di errore diverso, ad esempio superamento della memoria o timeout.
- Se il tuo progetto utilizza il modello di prezzo on demand, il CTE potrebbe comunque non riuscire a completare l'operazione a causa di un errore del livello di fatturazione finché non passi al modello di prezzo basato sulla capacità.
- Un CTE ricorsivo con un numero elevato di iterazioni consuma molte risorse. Ciò potrebbe influire su altre query in esecuzione all'interno della stessa prenotazione, poiché competono per le risorse condivise.
Prezzi
Se utilizzi la fatturazione on demand, BigQuery addebita i costi in base al numero di byte che vengono elaborati durante l'esecuzione di una query con un CTE ricorsivo.
Per ulteriori informazioni, consulta Calcolo delle dimensioni delle query.
Quote
Per informazioni su quote e limiti delle CTE ricorsive, consulta Quote e limiti.