google-bigquery - 如何在 Cloud ML 中使用 BigQuery 而不是 csv 文件进行训练？

Question

我的训练数据在 BigQuery 中。如何使用它在 Cloud ML 中训练模型？

Answer 1

更改要使用的预处理管道BigQuerySource（使用与 CSV 示例中相同的Features类）。这是一个例子：

feature_set = CsvFeatures()
train_query = “SELECT …”
valid_query = “SELECt …”
train = pipeline | 'read_train' >> beam.Read(beam.io.BigQuerySource(query=train_query))
eval = pipeline | 'read_valid' >> beam.Read(beam.io.BigQuerySource(query=valid_query))
(metadata, train_features, eval_features) = ((train, eval) |
    ml.Preprocess('Preprocess', feature_set))