Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
Para importação em lote, o Vertex AI Feature Store (legado) pode importar dados de tabelas no
BigQuery ou arquivos no Cloud Storage.
Use a tabela do BigQuery se precisar importar todo o conjunto de dados e não precisar de filtros de partição.
Use a visualização do BigQuery se precisar importar um subconjunto específico do conjunto de dados. Essa opção é mais eficiente e permite importar seleções específicas de todo o conjunto de dados, incluindo várias tabelas geradas a partir dos dados.
Os dados contidos nos arquivos ingeridos do Cloud Storage precisam estar no formato AVRO ou CSV.
Para a importação por streaming, forneça os valores de atributos a serem importados na solicitação de API.
Esses requisitos de dados de origem não se aplicam. Para mais
informações, consulte a referência da API writeFeatureValues.
Cada item (ou linha) precisa atender aos seguintes requisitos:
É necessário ter uma coluna para IDs de entidade, e os valores precisam ser do tipo
STRING. Esta coluna contém os IDs de entidade para os quais os valores de recurso são
destinados.
Seus tipos de valor de dados de origem devem corresponder aos tipos de valor do recurso de destino
na featurestore. Por exemplo, os valores booleanos precisam ser
importados em um atributo do tipo BOOL.
Todas as colunas precisam ter um cabeçalho do tipo STRING. Não há
restrições no nome dos cabeçalhos.
Para tabelas e visualizações do BigQuery, o cabeçalho da coluna é o nome dela.
Para o Avro, o cabeçalho da coluna é definido pelo esquema do Avro associado aos dados binários.
Para arquivos CSV, o cabeçalho da coluna é a primeira linha.
Se você fornecer uma coluna para carimbos de data/hora de geração de atributos, use um dos
formatos de carimbo de data/hora a seguir:
Para tabelas e visualizações do BigQuery, os carimbos de data/hora precisam estar na coluna TIMESTAMP.
Para Avro, carimbos de data/hora precisam ser do tipo long e lógico do tipo timestamp-micros.
Para arquivos CSV, os carimbos de data/hora precisam estar no formato RFC 3339.
Os arquivos CSV não podem incluir tipos de dados de matriz. Use Avro ou
BigQuery.
Para tipos de matriz, não é possível incluir um valor nulo na matriz. No entanto, é possível
incluir uma matriz vazia.
Carimbos de data/hora do valor do atributo
Para importação em lote, o Vertex AI Feature Store (legado) exige carimbos de data/hora fornecidos
pelo usuário para os valores de atributos importados. É possível especificar um carimbo de data/hora específico para cada valor
ou especificar o mesmo carimbo de data/hora para todos os valores:
Se os carimbos de data/hora dos valores de recursos forem diferentes, especifique os carimbos de data/hora em
uma coluna nos dados de origem. Cada linha precisa ter o próprio carimbo de data/hora indicando
quando o valor do recurso foi gerado. Na solicitação de importação, especifique o
nome da coluna para identificar a coluna de carimbo de data/hora.
Se o carimbo de data/hora de todos os valores de recursos for o mesmo, será possível especificá-lo como
um parâmetro em sua solicitação de importação. Também é possível especificar o carimbo de data/hora em uma
coluna nos dados de origem, em que cada linha tem o mesmo carimbo de data/hora.
Região da fonte de dados
Se os dados de origem estiverem no BigQuery ou no Cloud Storage, o
conjunto de dados ou o bucket de origem precisará estar na mesma região ou no mesmo
local multirregional que seu featurestore. Por exemplo, um featurestore em
us-central1 pode importar dados apenas de buckets do Cloud Storage ou
conjuntos de dados do BigQuery que estão em us-central1 ou no local multirregional dos
EUA. Não é possível importar dados de, por exemplo, us-east1. Além disso, os dados de origem
de buckets birregionais não são compatíveis.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-08-18 UTC."],[],[],null,["# Source data requirements\n\nFor batch import, Vertex AI Feature Store (Legacy) can import data from tables in\nBigQuery or files in Cloud Storage.\n\n- Use BigQuery table if you need to import the entire dataset and don't require partition filters.\n\n- Use BigQuery view if you need to import a specific subset of the dataset. This option is more time-efficient and lets you import specific selections from the entire dataset, including multiple tables generated from the data.\n\n- Data contained in files imported from Cloud Storage must be in AVRO or CSV format.\n\nFor streaming import, you provide the feature values to import in the API request.\nThese source data requirements don't apply. For more information, see the [writeFeatureValues API\nreference](/vertex-ai/docs/reference/rest/v1beta1/projects.locations.featurestores.entityTypes/writeFeatureValues).\n\nEach item (or row) must adhere to the following requirements:\n\n- You must have a column for entity IDs, and the values must be of type\n `STRING`. This column contains the entity IDs that the feature values are\n for.\n\n- Your source data value types must match the value types of the destination\n feature in the featurestore. For example, boolean values must be import into\n a feature that is of type `BOOL`.\n\n- All columns must have a header that are of type `STRING`. There are no\n restrictions on the name of the headers.\n\n - For BigQuery tables and BigQuery views, the column header is the column name.\n - For AVRO, the column header is defined by the AVRO schema that is associated with the binary data.\n - For CSV files, the column header is the first row.\n- If you provide a column for feature generation timestamps, use one of the\n following timestamp formats:\n\n - For BigQuery tables and BigQuery views, timestamps must be in the TIMESTAMP column.\n - For Avro, timestamps must be of type long and logical type timestamp-micros.\n - For CSV files, timestamps must be in the RFC 3339 format.\n- CSV files cannot include array data types. Use Avro or BigQuery\n instead.\n\n- For array types, you cannot include a null value in the array. Though, you can\n include an empty array.\n\nFeature value timestamps\n------------------------\n\nFor batch import, Vertex AI Feature Store (Legacy) requires user-provided\ntimestamps for the imported feature values. You can specify a particular\ntimestamp for each value or specify the same timestamp for all values:\n\n- If the timestamps for feature values are different, specify the timestamps in a column in your source data. Each row must have its own timestamp indicating when the feature value was generated. In your import request, you specify the column name to identify the timestamp column.\n- If the timestamp for all feature values is the same, you can specify it as a parameter in your import request. You can also specify the timestamp in a column in your source data, where each row has the same timestamp.\n\nData source region\n------------------\n\nIf your source data is in either BigQuery or Cloud Storage, the\nsource dataset or bucket must be in the same region or in the same\nmulti-regional location as your featurestore. For example, a featurestore in\n`us-central1` can import data only from Cloud Storage buckets or\nBigQuery datasets that are in `us-central1` or in the US multi-region\nlocation. You can't import data from, for example, `us-east1`. Also, source\ndata from dual-region buckets is not supported.\n\nWhat's next\n-----------\n\n- Learn about [setting up your project](/vertex-ai/docs/featurestore/setup) to use Vertex AI Feature Store (Legacy).\n- Learn how to [batch import feature values](/vertex-ai/docs/featurestore/ingesting-batch)."]]
