如何从 EMR serverless spark jobs 连接 postgresql 数据库

Question

【以下的问题经过翻译处理】 Hi，我想在 EMR Serverless上运行一个Job，该Job从 PostgreSQL 中读取和写入数据。我已经下载了 Jar 文件并将其上传到 S3，并在管理控制台的 Spark 属性中设置了 "spark.jars"。然而，作业失败了。

谢谢，Muthu

rePost Polyglot · Answer

【以下的回答经过翻译处理】 感谢大家的回复，我按 Dacort 评论的方法解决了问题，通过在 VPC 中设置我的无服务器应用程序，并确保安全组具有对数据库的访问权限。这是我的代码片段：
sample_data = spark.read.format("jdbc").options(

url='jdbc:postgresql://..rds.amazonaws.com/dev',

dbtable='public.""',

user='',

password='',

driver='org.postgresql.Driver').load()

这是我之前遇到的错误信息
Caused by: java.net.SocketTimeoutException: connect timed out : org.postgresql.util.PSQLException: The connection attempt failed.

相关内容