Wie kann ich Parquet-Dateien in Amazon EMR verketten?

Kurzbeschreibung

S3DistCP unterstützt keine Verkettung von Parquet-Dateien. Verwenden Sie stattdessen PySpark.

Behebung

Sie können die Zieldateigröße in PySpark nicht angeben, aber Sie können die Anzahl der Partitionen angeben. Spark speichert jede Partition in einer separaten Ausgabedatei. Um die Anzahl der benötigten Partitionen abzuschätzen, dividieren Sie die Größe des Datensatzes durch die Größe der einzelnen Zieldatei.

1. Erstellen Sie einen Amazon EMR-Cluster, auf dem Apache Spark installiert ist.

2.    Geben Sie an, wie viele Executoren Sie benötigen. Dies hängt von der Clusterkapazität und der Datensatzgröße ab. Bewährte Methoden für die erfolgreiche Speicherverwaltung für Apache Spark-Anwendungen auf Amazon EMR.

$  pyspark --num-executors number_of_executors

3.    Laden Sie die Parquet-Quelldateien in einen Spark DataFrame. Dies kann ein Amazon Simple Storage Service (Amazon S3) -Pfad oder ein HDFS-Pfad sein. Zum Beispiel:

df=sqlContext.read.parquet("s3://awsdoc-example-bucket/parquet-data/")

HDFS:

df=sqlContext.read.parquet("hdfs:///tmp/parquet-data/")

4.    Partitionieren Sie den DataFrame neu. Im folgenden Beispiel **ist **n die Anzahl der Partitionen.

df_output=df.coalesce(n)

5.    Speichern Sie den DataFrame im Ziel. Dies kann ein Amazon S3-Pfad oder ein HDFS-Pfad sein. Zum Beispiel:

df_output.write.parquet("URI:s3://awsdoc-example-bucket1/destination/")

HDFS:

df=sqlContext.write.parquet("hdfs:///tmp/destination/")

6.    Überprüfen Sie, wie viele Dateien sich jetzt im Zielverzeichnis befinden:

hadoop fs -ls "URI:s3://awsdoc-example-bucket1/destination/ | wc -l"

Die Gesamtzahl der Dateien sollte dem Wert von naus Schritt 4 plus eins entsprechen. Der Parquet-Output-Committer schreibt die zusätzliche Datei mit dem Namen**_SUCCESS**.

---