从Spark程序中访问Glue数据目录

0

【以下的问题经过翻译处理】 客户按照 http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-glue.html 中的指示创建了 EMR 集群,并在 Glue 中创建了数据目录。然而,客户尝试使用下面的代码访问表时遇到了错误:“ops.eventnote” table doesn’t exist。确认过表在目录中已经存在。是否有其他不同的方式指定 Glue 上下文?

profile picture
EXPERTE
gefragt vor 6 Monaten1 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 请确保启用了Hive支持,并且可以直接使用SparkSession.sql来执行SQL查询。

以下是Python示例。在Java或Scala中工作方式相同。

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("Test").enableHiveSupport().getOrCreate()
spark.sql("show tables").show()
profile picture
EXPERTE
beantwortet vor 6 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen