1 Respuesta
- Más nuevo
- Más votos
- Más comentarios
0
【以下的回答经过翻译处理】 如果我猜得没错的话,你正在使用AWS Glue Studio和AWS Glue Big Query连接器。
目前,Glue Big Query连接器仅适用于表级别(就像BigQuery Spark Connector一样)。
如果你想导出数据集中的所有表,则可以编辑由Glue Studio生成并自定义的脚本。
首先,你需要使用此处提到的方法添加google.cloud的Python库。
然后,在读取表之前,你可以按照此处描述的方式读取数据集中的表列表。
最后,你可以遍历这些表并将它们读写到S3。
另一种可能的方法是使用编排器,例如 StepFunctions(或者Airflow),运行一个Python脚本来读取表列表,然后为每个表并行地执行特定的作业(通过表名进行参数化)。
希望这可以帮到你。
Contenido relevante
- OFICIAL DE AWSActualizada hace 5 meses
- OFICIAL DE AWSActualizada hace un año
- OFICIAL DE AWSActualizada hace 2 años