1 Respuesta
- Más nuevo
- Más votos
- Más comentarios
0
【以下的回答经过翻译处理】 您好,ETL的速度取决于多个因素,比如:
- 原始文件的大小,可以考虑讲多个小的csv文件合并成大文件再处理,减少任务开销,如果是一个1GB的文件,则Glue无法分散任务,因此不会受益。但如果是1024个1MB的文件,则可以获得好处。
- Parquet的设置也可能影响转换的性能,比如调大row group的大小,可以减少文件数,或者使用Snappy等其他压缩比低但快的压缩算法;
- 可以使用Glue的bookmark功能实现增量转换,跳过已处理的数据分区
总的来说,具体的资源配置最好通过监控Job运行指标和实际负载的压测,调整Job的worker type和number,有时候配置更多的DPU可以让ETL在更短时间内完成,从而实现成本的节省,可参考以下文档。
https://docs.aws.amazon.com/glue/latest/dg/monitor-debug-capacity.html
Contenido relevante
- OFICIAL DE AWSActualizada hace 3 años
- OFICIAL DE AWSActualizada hace 3 años
- OFICIAL DE AWSActualizada hace 2 años
- OFICIAL DE AWSActualizada hace un año