如何在AWS Serverless平台上运行Spark代码?

0

【以下的问题经过翻译处理】 AWS Serverless上运行Spark代码的最快方法是什么?最好通过notebook进行,能够运行DynamicFrames更好。

profile picture
EXPERT
asked 6 months ago49 views
1 Answer
0

【以下的回答经过翻译处理】 最快的方式是在Spark中运行Glue ETL job中的工作负载。

您可以将SageMaker Notebooks连接到Glue Dev Endpoints,然后将代码提取出来并放入Glue ETL jobs中。

在Glue中,Glue ETL库(DynamicFrames等)将全部可用。

否则,客户还可以考虑在EKS上运行EMR并与EMR Studio连接。但是,这需要对管理EKS集群和在EKS中管理Fargate的知识。

profile picture
EXPERT
answered 6 months ago

You are not logged in. Log in to post an answer.

A good answer clearly answers the question and provides constructive feedback and encourages professional growth in the question asker.

Guidelines for Answering Questions