Glue与Snowflake连接器是必需的吗?

0

【以下的问题经过翻译处理】 我正在阅读去年发布的一篇关于如何将数据从Snowflake迁移到S3的博客,并将链接与需要在Snowflake和S3之间传输数据的客户分享。 https://aws.amazon.com/blogs/big-data/performing-data-transformations-using-snowflake-and-aws-glue/

现在客户回来说他们需要启动EKS/ECS容器,并且因为指南提到了市场,他们已经尝试使用市场上名为“Snowflake Connector for AWS Glue”的官方连接器。

由于我没有Snowflake环境,所以我不确定市场上的Snowflake连接器是否是必需的。 我的理解是不需要,因为博客中很清楚地说明了加载JDBC jar文件以访问Snowflake。但这仍然令我很困惑。如果不需要,为什么我们还要在市场上发布该连接器呢?

如果有两种方法来实现这一点(一种使用自定义连接器,一种使用市场连接器),它们之间有什么区别?(性能、可伸缩性、支持)

profile picture
专家
已提问 3 个月前1 查看次数
1 回答
0

【以下的回答经过翻译处理】 你好,

“Snowflake Connector for AWS Glue”以容器形式交付,因此MarketPlace页面显示支持的服务是ECS和EKS,但是客户无需完全启动ECS/EKS集群。

根据Glue文档关于如何订阅市场连接器的描述,一旦你订阅了Snowflake连接器,将会要求你进行配置,然后启动它。此时,你将回到Glue Studio,要求你为连接器创建连接。

请注意,在此流程中,没有部署ECS/EKS集群的步骤。

若要了解Spark和JDBC连接器之间的区别,请参考此博客文章

希望这有所帮助。

profile picture
专家
已回答 3 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则