Glue与Snowflake连接器是必需的吗？

Question

【以下的问题经过翻译处理】 我正在阅读去年发布的一篇关于如何将数据从Snowflake迁移到S3的博客，并将链接与需要在Snowflake和S3之间传输数据的客户分享。

现在客户回来说他们需要启动EKS/ECS容器，并且因为指南提到了市场，他们已经尝试使用市场上名为“[Snowflake Connector for AWS Glue](https://aws.amazon.com/marketplace/pp/prodview-xdyn5il56d7a2)”的官方连接器。

由于我没有Snowflake环境，所以我不确定市场上的Snowflake连接器是否是必需的。
我的理解是不需要，因为博客中很清楚地说明了加载JDBC jar文件以访问Snowflake。但这仍然令我很困惑。如果不需要，为什么我们还要在市场上发布该连接器呢？

如果有两种方法来实现这一点（一种使用自定义连接器，一种使用市场连接器），它们之间有什么区别？（性能、可伸缩性、支持）

rePost Polyglot · Answer

【以下的回答经过翻译处理】 你好，

“Snowflake Connector for AWS Glue”以容器形式交付，因此MarketPlace页面显示支持的服务是ECS和EKS，但是客户无需完全启动ECS/EKS集群。

根据[Glue文档关于如何订阅市场连接器](https://docs.aws.amazon.com/glue/latest/ug/connectors-chapter.html#subscribe-marketplace-connectors)的描述，一旦你订阅了Snowflake连接器，将会要求你进行配置，然后启动它。此时，你将回到Glue Studio，要求你为连接器创建连接。

请注意，在此流程中，没有部署ECS/EKS集群的步骤。

若要了解Spark和JDBC连接器之间的区别，请参考[此博客文章](https://aws.amazon.com/blogs/big-data/developing-testing-and-deploying-custom-connectors-for-your-data-stores-with-aws-glue/)。

希望这有所帮助。

Glue与Snowflake连接器是必需的吗？

Ajoutez votre réponse

Contenus pertinents