如何使用AWS Glue按行数拆分文件？

Question

【以下的问题经过翻译处理】 我有一个文件，目前存储在S3桶中，包含约1000行，我想将这个文件分成更小的文件（每个文件约有200-500行）。
我在互联网上搜寻过，只发现将文件合并成较大的文件的解决方案。我可以使用Glue自定义输出文件吗？还是应该使用其他方法？

Answer

【以下的回答经过翻译处理】 你好，

正如你所提到的，你只有1000行文件，这是非常小的，为了处理这个目的，我建议使用以下shell命令，你可以在Ec2实例上执行。

```
aws s3 cp s3://sourcebucket/csv/nycflights13.csv - | split -d -l 200 --filter "aws s3 cp - \"s3://destbucket/csv/bigdata_\$FILE.csv\""

```

另外，你还可以使用Glue Python shell作业来执行上述shell命令。[1]

参考：
[1] 使用Python执行shell命令：。

相关内容