从Spark程序中访问Glue数据目录

0

【以下的问题经过翻译处理】 客户按照 http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-glue.html 中的指示创建了 EMR 集群,并在 Glue 中创建了数据目录。然而,客户尝试使用下面的代码访问表时遇到了错误:“ops.eventnote” table doesn’t exist。确认过表在目录中已经存在。是否有其他不同的方式指定 Glue 上下文?

profile picture
전문가
질문됨 6달 전1회 조회
1개 답변
0

【以下的回答经过翻译处理】 请确保启用了Hive支持,并且可以直接使用SparkSession.sql来执行SQL查询。

以下是Python示例。在Java或Scala中工作方式相同。

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("Test").enableHiveSupport().getOrCreate()
spark.sql("show tables").show()
profile picture
전문가
답변함 6달 전

로그인하지 않았습니다. 로그인해야 답변을 게시할 수 있습니다.

좋은 답변은 질문에 명확하게 답하고 건설적인 피드백을 제공하며 질문자의 전문적인 성장을 장려합니다.

질문 답변하기에 대한 가이드라인