Wie verwende ich eine PostgreSQL-Datenbank als externen Metastore für Hive auf Amazon EMR?
Ich möchte eine DB-Instance von Amazon Relational Database Service (Amazon RDS) für PostgreSQL als meinen externen Metastore für Apache Hive auf Amazon EMR verwenden.
Lösung
Beachte vor Beginn Folgendes:
- Bei dieser Lösung wird davon ausgegangen, dass du bereits eine aktive PostgreSQL-Datenbank hast.
- Wenn du Amazon EMR Release-Version 5.7 oder früher verwendest, lade zuerst den PostgreSQL-JDBC-Treiber von der pgjDBC-Website herunter. Füge dann den Treiber zum Hive-Bibliothekspfad hinzu (/usr/lib/hive/lib). Die Amazon EMR Release-Versionen 5.8.0 und höher enthalten den PostgreSQL-JDBC-Treiber im Hive-Bibliothekspfad.
Eine PostgreSQL-DB-Instance als externen Metastore für Hive konfigurieren
Gehe wie folgt vor:
-
Erstelle eine DB-Instance von Amazon RDS für PostgreSQL und die Datenbank.
Hinweis: Du kannst die Datenbank erstellen, während du die DB-Instance in der Amazon-Aurora- und RDS-Konsole erstellst. Du kannst den Datenbanknamen im Feld Anfänglicher Datenbankname unter Zusätzliche Konfiguration angeben. Oder du kannst die PostgreSQL-Datenbank-Instance verbinden und dann die Datenbank erstellen. -
Um Verbindungen auf Port 5432 zwischen der Datenbank und der ElasticMapReduce-master-Sicherheitsgruppe zuzulassen, ändere die DB-Instance-Sicherheitsgruppe. Weitere Informationen findest du unter VPC-Sicherheitsgruppen.
-
Starte einen Amazon-EMR-Cluster ohne externen Metastore. Amazon EMR verwendet in diesem Fall die Standard-MySQL-Datenbank.
-
Verwende SSH, um eine Verbindung zum Primärknoten herzustellen.
-
Aktualisiere die Hive-Konfiguration.
Das Folgende ist ein Beispiel für eine Hive-Konfiguration. Ersetze die folgenden Werte durch deine eigenen Werte:
mypostgresql.testabcd1111.us-west-2.rds.amazonaws.com durch den Endpunkt deiner DB-Instance
mypgdb durch den Namen deiner PostgreSQL-Datenbank
database_username durch den DB-Instance-Benutzernamen
database_password durch das DB-Instance-Passwort[hadoop@ip-X-X-X-X ~]$ sudo vi /etc/hive/conf/hive-site.xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:postgresql://mypostgresql.testabcd1111.us-west-2.rds.amazonaws.com:5432/mypgdb</value> <description>PostgreSQL JDBC driver connection URL</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>org.postgresql.Driver</value> <description>PostgreSQL metastore driver class name</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>database_username</value> <description>the username for the DB instance</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>database_password</value> <description>the password for the DB instance</description> </property> -
Führe die folgenden Befehle aus, um das PostgreSQL-Schema zu erstellen:
[hadoop@ip-X-X-X-X ~]$ cd /usr/lib/hive/bin/[hadoop@ip-X-X-X-X bin]$ ./schematool -dbType postgres -initSchema Metastore connection URL: jdbc:postgresql://mypostgresql.testabcd1111.us-west-2.rds.amazonaws.com:5432/mypgdb Metastore Connection Driver : org.postgresql.Driver Metastore connection User: test Starting metastore schema initialization to 2.3.0 Initialization script hive-schema-2.3.0.postgres.sql Initialization script completed schemaTool completed -
Um die Aktualisierungen und Änderungen zu übernehmen, beende und starte die Hive-Services.
[hadoop@ip-X-X-X-X bin]$ sudo initctl list |grep -i hivehive-server2 start/running, process 11818 hive-hcatalog-server start/running, process 12708 [hadoop@ip-X-X-X-X9 bin]$ sudo stop hive-server2 hive-server2 stop/waiting [hadoop@ip-X-X-X-X bin]$ sudo stop hive-hcatalog-server hive-hcatalog-server stop/waiting [hadoop@ip-X-X-X-X bin]$ sudo start hive-server2 hive-server2 start/running, process 18798 [hadoop@ip-X-X-X-X bin]$ sudo start hive-hcatalog-server hive-hcatalog-server start/running, process 19614Hinweis: Um die Schritte 5 bis 7 zu automatisieren, führe das folgende Bash-Skript (hive_postgres_emr_step.sh) als Teilauftrag im EMR-Cluster aus.
## Automated Bash script to update the hive-site.xml and restart Hive ## Parameters rds_db_instance_endpoint='<rds_db_instance_endpoint>' rds_db_instance_port='<rds_db_instance_port>' rds_db_name='<rds_db_name>' rds_db_instance_username='<rds_db_instance_username>' rds_db_instance_password='<rds_db_instance_username>' ############################# Copying the original hive-site.xml sudo cp /etc/hive/conf/hive-site.xml /tmp/hive-site.xml ############################# Changing the JDBC URL old_jdbc=`grep "javax.jdo.option.ConnectionURL" -A +3 -B 1 /tmp/hive-site.xml | grep "<value>" | xargs` sudo sed -i "s|$old_jdbc|<value>jdbc:postgresql://$rds_db_instance_endpoint:$rds_db_instance_port/$rds_db_name</value>|g" /tmp/hive-site.xml ############################# Changing the Driver name old_driver_name=`grep "javax.jdo.option.ConnectionDriverName" -A +3 -B 1 /tmp/hive-site.xml | grep "<value>" | xargs` sudo sed -i "s|$old_driver_name|<value>org.postgresql.Driver</value>|g" /tmp/hive-site.xml ############################# Changing the database user old_db_username=`grep "javax.jdo.option.ConnectionUserName" -A +3 -B 1 /tmp/hive-site.xml | grep "<value>" | xargs` sudo sed -i "s|$old_db_username|<value>$rds_db_instance_username</value>|g" /tmp/hive-site.xml ############################# Changing the database password and description connection_password=`grep "javax.jdo.option.ConnectionPassword" -A +3 -B 1 /tmp/hive-site.xml | grep "<value>" | xargs` sudo sed -i "s|$connection_password|<value>$rds_db_instance_password</value>|g" /tmp/hive-site.xml old_password_description=`grep "javax.jdo.option.ConnectionPassword" -A +3 -B 1 /tmp/hive-site.xml | grep "<description>" | xargs` new_password_description='<description>the password for the DB instance</description>'sudo sed -i "s|$password_description|$new_password_description|g" /tmp/hive-site.xml ############################# Moving hive-site to backup sudo mv /etc/hive/conf/hive-site.xml /etc/hive/conf/hive-site.xml_bkup sudo mv /tmp/hive-site.xml /etc/hive/conf/hive-site.xml ############################# Init Schema for Postgres /usr/lib/hive/bin/schematool -dbType postgres -initSchema ############################# Restart Hive ## Check Amazon Linux version and restart Hive OS_version=`uname -r` if [[ "$OS_version" == *"amzn2"* ]]; then echo "Amazon Linux 2 instance, restarting Hive..." sudo systemctl stop hive-server2 sudo systemctl stop hive-hcatalog-server sudo systemctl start hive-server2 sudo systemctl start hive-hcatalog-server elif [[ "$OS_version" == *"amzn1"* ]]; then echo "Amazon Linux 1 instance, restarting Hive" sudo stop hive-server2 sudo stop hive-hcatalog-server sudo start hive-server2 sudo start hive-hcatalog-server else echo "ERROR: OS version different from AL1 or AL2." fi echo "--------------------COMPLETED--------------------"Achte darauf, die folgenden Werte im Skript zu ersetzen:
- rds_db_instance_endpoint durch den Endpunkt deiner DB-Instance
- rds_db_instance_port durch den Port deiner DB-Instance
- rds_db_name durch den Namen deiner PostgreSQL-Datenbank
- rds_db_instance_username durch den DB-Instance-Benutzernamen
- rds_db_instance_password durch das DB-Instance-Passwort
Das Skript auf Amazon S3 hochladen
Du kannst das Skript als Teilauftrag über die Amazon-EMR-Konsole, die AWS Command Line Interface (AWS CLI) oder die API ausführen. Gehe wie folgt vor, um die Amazon-EMR-Konsole zum Ausführen des Skripts zu verwenden:
-
Öffne die Amazon-EMR-Konsole.
-
Wähle auf der Seite Cluster List (Cluster-Liste) den Link für deinen Cluster aus.
-
Wähle auf der Seite Cluster-Details die Registerkarte Schritte aus.
-
Wähle auf der Registerkarte Schritte die Option Schritt hinzufügen aus.
-
Behalte im Dialogfeld Schritt hinzufügen die Standardwerte für Schritttyp und Name bei.
-
Gib für JAR-Speicherort Folgendes ein:
command-runner.jar -
Gib für Argumente Folgendes ein:
bash -c "aws s3 cp s3://example_bucket/script/hive_postgres_emr_step.sh .; chmod +x hive_postgres_emr_step.sh; ./hive_postgres_emr_step.sh"Ersetze den S3-Speicherort im Befehl durch den Speicherort, an dem du das Skript gespeichert hast.
-
Wähle Hinzufügen und führe den Teilauftrag aus.
Hive-Konfigurations-Aktualisierungen überprüfen
Gehe wie folgt vor:
-
Melde dich bei der Hive-Shell an und erstelle eine Hive-Tabelle.
Hinweis: Ersetze test_postgres im folgenden Beispiel durch den Namen deiner Hive-Tabelle.[hadoop@ip-X-X-X-X bin]$ hive Logging initialized using configuration in file:/etc/hive/conf.dist/hive-log4j2.properties Async: true hive> show databases; OK default Time taken: 0.569 seconds, Fetched: 1 row(s) hive> create table test_postgres(a int,b int); OK Time taken: 0.708 seconds -
Führe den folgenden Befehl aus, um PostgreSQL zu installieren:
[hadoop@ip-X-X-X-X bin]$ sudo yum install postgresql -
Stelle über die Befehlszeile eine Verbindung zur PostgreSQL-DB-Instance her.
Ersetze im Befehl die folgenden Werte:
mypostgresql.testabcd1111.us-west-2.rds.amazonaws.com durch den Endpunkt deiner DB-Instance
mypgdb durch den Namen deiner PostgreSQL-Datenbank
database_username durch den DB-Instance-Benutzernamen[hadoop@ip-X-X-X-X bin]$ psql --host=mypostgresql.testabcd1111.us-west-2.rds.amazonaws.com --port=5432 --username=database_username --password --dbname=mypgdb -
Wenn du dazu aufgefordert wirst, gib das Passwort für die DB-Instance ein.
-
Um dich zu vergewissern, dass du auf die Hive-Tabelle zugreifen kannst, die du zuvor erstellt hast, führe den folgenden Befehl aus:
mypgdb=> select * from "TBLS"; TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER | RETENTION | SD_ID | TBL_NAME | TBL_TYPE | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT | IS_REWRITE_ENABLED --------+-------------+-------+------------------+--------+-----------+-------+---------------+---------------+--------------------+--------------------+-------------------- 1 | 1555014961 | 1 | 0 | hadoop | 0 | 1 | test_postgres | MANAGED_TABLE | | | f (1 row)
Ähnliche Informationen
- Tags
- Amazon EMR
- Sprache
- Deutsch

Relevanter Inhalt
AWS OFFICIALAktualisiert vor einem Jahr