Amazon EMR에서 Parquet 파일을 연결하려면 어떻게 해야 하나요?

간략한 설명

S3DistCp는 Parquet 파일의 연결을 지원하지 않습니다. 대신 PySpark를 사용하십시오.

해결 방법

PySpark에서 대상 파일 크기를 지정할 수는 없지만 파티션 수는 지정할 수 있습니다. Spark는 각 파티션을 별도의 출력 파일에 저장합니다. 필요한 파티션 수를 추정하려면 데이터 세트의 크기를 대상 개별 파일 크기로 나눕니다.

1.    Apache Spark가 설치되어 있는 Amazon EMR 클러스터를 생성합니다.

2.    필요한 실행기 수를 지정합니다. 이는 클러스터 용량과 데이터 세트 크기에 따라 다릅니다. 자세한 내용은 Amazon EMR에서 Apache Spark 애플리케이션의 메모리를 성공적으로 관리하는 모범 사례를 참조하십시오.

$  pyspark --num-executors number_of_executors

3.    소스 Parquet 파일을 Spark DataFrame으로 로드합니다. 이는 Amazon Simple Storage Service(Amazon S3) 경로 또는 HDFS 경로일 수 있습니다. 예를 들면 다음과 같습니다.

df=sqlContext.read.parquet("s3://awsdoc-example-bucket/parquet-data/")

HDFS:

df=sqlContext.read.parquet("hdfs:///tmp/parquet-data/")

4.    DataFrame을 다시 분할합니다. 다음 예제에서 n은 파티션의 수입니다.

df_output=df.coalesce(n)

5.    DataFrame을 대상에 저장합니다. 이는 Amazon S3 경로 또는 HDFS 경로일 수 있습니다. 예:

df_output.write.parquet("URI:s3://awsdoc-example-bucket1/destination/")

HDFS:

df=sqlContext.write.parquet("hdfs:///tmp/destination/")

6.    현재 대상 디렉터리에 있는 파일 수를 확인합니다.

hadoop fs -ls "URI:s3://awsdoc-example-bucket1/destination/ | wc -l"

총 파일 수는 4단계의 n 값에 1을 더한 값이어야 합니다. Parquet 출력 커미터는 _SUCCESS라는 추가 파일을 작성합니다.

---