HDFS command to convert to AWS S3

0

We are having many HDFS commands on our ETL scripts. Due to cloud migration we need to convert the HDFS commands to AWS S3 commadns.

We have a command as below:

hdfs dfs -text ${OUTPUT_PATH}/part* | hdfs dfs -cp ${INPUT_PATH}/${FILENAME}

Need help to convert this to S3 command, mainly the first part with '-text'.

Tópicos

Tags

Idioma

English

feita há 2 anos217 visualizações

1 Resposta

Mais recentes
Mais votos
Mais comentários

Essas respostas são úteis? Vote a favor da resposta correta para ajudar a comunidade a se beneficiar de seu conhecimento.

0

Did you try this command to select the object content? https://docs.aws.amazon.com/cli/latest/reference/s3api/select-object-content.html

respondido há 2 anos

Conteúdo relevante

Como baixo arquivos de exemplo de configuração do AWS Site-to-Site VPN?
AWS OFICIALAtualizada há 2 anos
Por que recebo o erro “Unable to validate the following destination configurations” quando crio uma Notificação de eventos do Amazon S3?
AWS OFICIALAtualizada há 8 meses
Como faço para acessar a internet usando Site-to-Site VPN na minha rede on-premises?
AWS OFICIALAtualizada há um ano
Posso usar o Amazon S3 para armazenamento Hadoop em vez do HDFS?
AWS OFICIALAtualizada há 2 anos