Direkt zum Inhalt

Wie verwende ich eine PostgreSQL-Datenbank als externen Metastore für Hive auf Amazon EMR?

Lesedauer: 6 Minute
0

Ich möchte eine DB-Instance von Amazon Relational Database Service (Amazon RDS) für PostgreSQL als meinen externen Metastore für Apache Hive auf Amazon EMR verwenden.

Lösung

Beachte vor Beginn Folgendes:

  • Bei dieser Lösung wird davon ausgegangen, dass du bereits eine aktive PostgreSQL-Datenbank hast.
  • Wenn du Amazon EMR Release-Version 5.7 oder früher verwendest, lade zuerst den PostgreSQL-JDBC-Treiber von der pgjDBC-Website herunter. Füge dann den Treiber zum Hive-Bibliothekspfad hinzu (/usr/lib/hive/lib). Die Amazon EMR Release-Versionen 5.8.0 und höher enthalten den PostgreSQL-JDBC-Treiber im Hive-Bibliothekspfad.

Eine PostgreSQL-DB-Instance als externen Metastore für Hive konfigurieren

Gehe wie folgt vor:

  1. Erstelle eine DB-Instance von Amazon RDS für PostgreSQL und die Datenbank.
    Hinweis: Du kannst die Datenbank erstellen, während du die DB-Instance in der Amazon-Aurora- und RDS-Konsole erstellst. Du kannst den Datenbanknamen im Feld Anfänglicher Datenbankname unter Zusätzliche Konfiguration angeben. Oder du kannst die PostgreSQL-Datenbank-Instance verbinden und dann die Datenbank erstellen.

  2. Um Verbindungen auf Port 5432 zwischen der Datenbank und der ElasticMapReduce-master-Sicherheitsgruppe zuzulassen, ändere die DB-Instance-Sicherheitsgruppe. Weitere Informationen findest du unter VPC-Sicherheitsgruppen.

  3. Starte einen Amazon-EMR-Cluster ohne externen Metastore. Amazon EMR verwendet in diesem Fall die Standard-MySQL-Datenbank.

  4. Verwende SSH, um eine Verbindung zum Primärknoten herzustellen.

  5. Aktualisiere die Hive-Konfiguration.
    Das Folgende ist ein Beispiel für eine Hive-Konfiguration. Ersetze die folgenden Werte durch deine eigenen Werte:
    mypostgresql.testabcd1111.us-west-2.rds.amazonaws.com durch den Endpunkt deiner DB-Instance
    mypgdb durch den Namen deiner PostgreSQL-Datenbank
    database_username durch den DB-Instance-Benutzernamen
    database_password durch das DB-Instance-Passwort

    [hadoop@ip-X-X-X-X ~]$ sudo vi /etc/hive/conf/hive-site.xml
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:postgresql://mypostgresql.testabcd1111.us-west-2.rds.amazonaws.com:5432/mypgdb</value>
        <description>PostgreSQL JDBC driver connection URL</description>
      </property>
    
      <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>org.postgresql.Driver</value>
        <description>PostgreSQL metastore driver class name</description>
      </property>
    
      <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>database_username</value>
        <description>the username for the DB instance</description>
      </property>
    
      <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>database_password</value>
        <description>the password for the DB instance</description>
      </property>
  6. Führe die folgenden Befehle aus, um das PostgreSQL-Schema zu erstellen:

    [hadoop@ip-X-X-X-X ~]$ cd /usr/lib/hive/bin/[hadoop@ip-X-X-X-X bin]$ ./schematool -dbType postgres -initSchema  
    Metastore connection URL:     jdbc:postgresql://mypostgresql.testabcd1111.us-west-2.rds.amazonaws.com:5432/mypgdb
    Metastore Connection Driver :     org.postgresql.Driver
    Metastore connection User:     test
    Starting metastore schema initialization to 2.3.0
    Initialization script hive-schema-2.3.0.postgres.sql
    Initialization script completed
    schemaTool completed
  7. Um die Aktualisierungen und Änderungen zu übernehmen, beende und starte die Hive-Services.

    [hadoop@ip-X-X-X-X bin]$ sudo initctl list |grep -i hivehive-server2 start/running, process 11818
    hive-hcatalog-server start/running, process 12708
    [hadoop@ip-X-X-X-X9 bin]$ sudo stop hive-server2
    hive-server2 stop/waiting
    [hadoop@ip-X-X-X-X bin]$ sudo stop hive-hcatalog-server
    hive-hcatalog-server stop/waiting
    [hadoop@ip-X-X-X-X bin]$ sudo start hive-server2
    hive-server2 start/running, process 18798
    [hadoop@ip-X-X-X-X bin]$ sudo start hive-hcatalog-server
    hive-hcatalog-server start/running, process 19614

    Hinweis: Um die Schritte 5 bis 7 zu automatisieren, führe das folgende Bash-Skript (hive_postgres_emr_step.sh) als Teilauftrag im EMR-Cluster aus.

    ## Automated Bash script to update the hive-site.xml and restart Hive
    
    ## Parameters
    rds_db_instance_endpoint='<rds_db_instance_endpoint>'
    rds_db_instance_port='<rds_db_instance_port>'
    rds_db_name='<rds_db_name>'
    rds_db_instance_username='<rds_db_instance_username>'
    rds_db_instance_password='<rds_db_instance_username>'
    
    ############################# Copying the original hive-site.xml
    sudo cp /etc/hive/conf/hive-site.xml /tmp/hive-site.xml
    
    ############################# Changing the JDBC URL
    old_jdbc=`grep "javax.jdo.option.ConnectionURL" -A +3 -B 1 /tmp/hive-site.xml | grep "<value>" | xargs`
    sudo sed -i "s|$old_jdbc|<value>jdbc:postgresql://$rds_db_instance_endpoint:$rds_db_instance_port/$rds_db_name</value>|g" /tmp/hive-site.xml
    
    ############################# Changing the Driver name
    old_driver_name=`grep "javax.jdo.option.ConnectionDriverName" -A +3 -B 1 /tmp/hive-site.xml | grep "<value>" | xargs`
    sudo sed -i "s|$old_driver_name|<value>org.postgresql.Driver</value>|g" /tmp/hive-site.xml
    
    ############################# Changing the database user
    old_db_username=`grep "javax.jdo.option.ConnectionUserName"  -A +3 -B 1 /tmp/hive-site.xml | grep "<value>" | xargs`
    sudo sed -i "s|$old_db_username|<value>$rds_db_instance_username</value>|g" /tmp/hive-site.xml
    
    ############################# Changing the database password and description
    connection_password=`grep "javax.jdo.option.ConnectionPassword" -A +3 -B 1 /tmp/hive-site.xml | grep "<value>" | xargs`
    sudo sed -i "s|$connection_password|<value>$rds_db_instance_password</value>|g" /tmp/hive-site.xml
    old_password_description=`grep "javax.jdo.option.ConnectionPassword" -A +3 -B 1 /tmp/hive-site.xml | grep "<description>" | xargs`
    new_password_description='<description>the password for the DB instance</description>'
    sudo sed -i "s|$password_description|$new_password_description|g" /tmp/hive-site.xml
    
    ############################# Moving hive-site to backup
    sudo mv /etc/hive/conf/hive-site.xml /etc/hive/conf/hive-site.xml_bkup
    sudo mv /tmp/hive-site.xml /etc/hive/conf/hive-site.xml
    
    ############################# Init Schema for Postgres
    /usr/lib/hive/bin/schematool -dbType postgres -initSchema
    
    ############################# Restart Hive
    ## Check Amazon Linux version and restart Hive
    OS_version=`uname -r`
    if [[ "$OS_version" == *"amzn2"* ]]; then
        echo "Amazon Linux 2 instance, restarting Hive..."
        sudo systemctl stop hive-server2
        sudo systemctl stop hive-hcatalog-server
        sudo systemctl start hive-server2
        sudo systemctl start hive-hcatalog-server
    elif [[ "$OS_version" == *"amzn1"* ]]; then
        echo "Amazon Linux 1 instance, restarting Hive"
        sudo stop hive-server2
        sudo stop hive-hcatalog-server
        sudo start hive-server2
        sudo start hive-hcatalog-server
    else
        echo "ERROR: OS version different from AL1 or AL2."
    fi
    echo "--------------------COMPLETED--------------------"

    Achte darauf, die folgenden Werte im Skript zu ersetzen:

    • rds_db_instance_endpoint durch den Endpunkt deiner DB-Instance
    • rds_db_instance_port durch den Port deiner DB-Instance
    • rds_db_name durch den Namen deiner PostgreSQL-Datenbank
    • rds_db_instance_username durch den DB-Instance-Benutzernamen
    • rds_db_instance_password durch das DB-Instance-Passwort

Das Skript auf Amazon S3 hochladen

Du kannst das Skript als Teilauftrag über die Amazon-EMR-Konsole, die AWS Command Line Interface (AWS CLI) oder die API ausführen. Gehe wie folgt vor, um die Amazon-EMR-Konsole zum Ausführen des Skripts zu verwenden:

  1. Öffne die Amazon-EMR-Konsole.

  2. Wähle auf der Seite Cluster List (Cluster-Liste) den Link für deinen Cluster aus.

  3. Wähle auf der Seite Cluster-Details die Registerkarte Schritte aus.

  4. Wähle auf der Registerkarte Schritte die Option Schritt hinzufügen aus.

  5. Behalte im Dialogfeld Schritt hinzufügen die Standardwerte für Schritttyp und Name bei.

  6. Gib für JAR-Speicherort Folgendes ein:

    command-runner.jar
  7. Gib für Argumente Folgendes ein:

    bash -c "aws s3 cp s3://example_bucket/script/hive_postgres_emr_step.sh .; chmod +x hive_postgres_emr_step.sh; ./hive_postgres_emr_step.sh"

    Ersetze den S3-Speicherort im Befehl durch den Speicherort, an dem du das Skript gespeichert hast.

  8. Wähle Hinzufügen und führe den Teilauftrag aus.

Hive-Konfigurations-Aktualisierungen überprüfen

Gehe wie folgt vor:

  1. Melde dich bei der Hive-Shell an und erstelle eine Hive-Tabelle.
    Hinweis: Ersetze test_postgres im folgenden Beispiel durch den Namen deiner Hive-Tabelle.

    [hadoop@ip-X-X-X-X bin]$ hive
    Logging initialized using configuration in file:/etc/hive/conf.dist/hive-log4j2.properties Async: true
    hive> show databases;
    OK
    default
    Time taken: 0.569 seconds, Fetched: 1 row(s)
    hive> create table test_postgres(a int,b int);
    OK
    Time taken: 0.708 seconds
  2. Führe den folgenden Befehl aus, um PostgreSQL zu installieren:

    [hadoop@ip-X-X-X-X bin]$ sudo yum install postgresql
  3. Stelle über die Befehlszeile eine Verbindung zur PostgreSQL-DB-Instance her.
    Ersetze im Befehl die folgenden Werte:
    mypostgresql.testabcd1111.us-west-2.rds.amazonaws.com durch den Endpunkt deiner DB-Instance
    mypgdb durch den Namen deiner PostgreSQL-Datenbank
    database_username durch den DB-Instance-Benutzernamen

    [hadoop@ip-X-X-X-X bin]$ psql --host=mypostgresql.testabcd1111.us-west-2.rds.amazonaws.com --port=5432 --username=database_username --password --dbname=mypgdb
  4. Wenn du dazu aufgefordert wirst, gib das Passwort für die DB-Instance ein.

  5. Um dich zu vergewissern, dass du auf die Hive-Tabelle zugreifen kannst, die du zuvor erstellt hast, führe den folgenden Befehl aus:

    
    mypgdb=>  select * from "TBLS";
     TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER  | RETENTION | SD_ID |   TBL_NAME    |   TBL_TYPE    | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT | IS_REWRITE_ENABLED
    --------+-------------+-------+------------------+--------+-----------+-------+---------------+---------------+--------------------+--------------------+--------------------
          1 |  1555014961 |     1 |                0 | hadoop |         0 |     1 | test_postgres | MANAGED_TABLE |                    |                    | f
    (1 row)

Ähnliche Informationen

Einen externen Metastore für Hive konfigurieren

Eine Verbindung zu einer DB-Instance herstellen, auf der die PostgreSQL-Datenbank-Engine ausgeführt wird

AWS OFFICIALAktualisiert vor 2 Jahren