1回答
- 新しい順
- 投票が多い順
- コメントが多い順
0
【以下的回答经过翻译处理】 您好,ETL的速度取决于多个因素,比如:
- 原始文件的大小,可以考虑讲多个小的csv文件合并成大文件再处理,减少任务开销,如果是一个1GB的文件,则Glue无法分散任务,因此不会受益。但如果是1024个1MB的文件,则可以获得好处。
- Parquet的设置也可能影响转换的性能,比如调大row group的大小,可以减少文件数,或者使用Snappy等其他压缩比低但快的压缩算法;
- 可以使用Glue的bookmark功能实现增量转换,跳过已处理的数据分区
总的来说,具体的资源配置最好通过监控Job运行指标和实际负载的压测,调整Job的worker type和number,有时候配置更多的DPU可以让ETL在更短时间内完成,从而实现成本的节省,可参考以下文档。
https://docs.aws.amazon.com/glue/latest/dg/monitor-debug-capacity.html
関連するコンテンツ
- 質問済み 6ヶ月前
- AWS公式更新しました 3年前