HDFS command to convert to AWS S3

0

We are having many HDFS commands on our ETL scripts. Due to cloud migration we need to convert the HDFS commands to AWS S3 commadns.

We have a command as below:

hdfs dfs -text ${OUTPUT_PATH}/part* | hdfs dfs -cp ${INPUT_PATH}/${FILENAME}

Need help to convert this to S3 command, mainly the first part with '-text'.

Abhisek
質問済み 2年前219ビュー
1回答
0

Did you try this command to select the object content? https://docs.aws.amazon.com/cli/latest/reference/s3api/select-object-content.html

回答済み 2年前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン

関連するコンテンツ