如何从 EMR serverless spark jobs 连接 postgresql 数据库

【以下的问题经过翻译处理】 Hi，我想在 EMR Serverless上运行一个Job，该Job从 PostgreSQL 中读取和写入数据。我已经下载了 Jar 文件并将其上传到 S3，并在管理控制台的 Spark 属性中设置了 "spark.jars"。然而，作业失败了。

谢谢，Muthu

トピック

タグ

言語

中文 (简体)

エキスパート

質問済み 5ヶ月前40ビュー

1回答

これらの回答は役に立ちましたか？コミュニティがあなたの知識を活用できるように、正解に賛成票を投じてください。

【以下的回答经过翻译处理】感谢大家的回复，我按 Dacort 评论的方法解决了问题，通过在 VPC 中设置我的无服务器应用程序，并确保安全组具有对数据库的访问权限。这是我的代码片段： sample_data = spark.read.format("jdbc").options(

url='jdbc:postgresql://<sample-name>.<region-name>.rds.amazonaws.com/dev',

dbtable='public."<sample-name>"',

user='<sample-user>',

password='<sample-pass>',

driver='org.postgresql.Driver').load()

这是我之前遇到的错误信息 Caused by: java.net.SocketTimeoutException: connect timed out : org.postgresql.util.PSQLException: The connection attempt failed.

エキスパート

回答済み 5ヶ月前

関連するコンテンツ