如何在AWS Serverless平台上运行Spark代码?

0

【以下的问题经过翻译处理】 AWS Serverless上运行Spark代码的最快方法是什么?最好通过notebook进行,能够运行DynamicFrames更好。

profile picture
전문가
질문됨 6달 전47회 조회
1개 답변
0

【以下的回答经过翻译处理】 最快的方式是在Spark中运行Glue ETL job中的工作负载。

您可以将SageMaker Notebooks连接到Glue Dev Endpoints,然后将代码提取出来并放入Glue ETL jobs中。

在Glue中,Glue ETL库(DynamicFrames等)将全部可用。

否则,客户还可以考虑在EKS上运行EMR并与EMR Studio连接。但是,这需要对管理EKS集群和在EKS中管理Fargate的知识。

profile picture
전문가
답변함 6달 전

로그인하지 않았습니다. 로그인해야 답변을 게시할 수 있습니다.

좋은 답변은 질문에 명확하게 답하고 건설적인 피드백을 제공하며 질문자의 전문적인 성장을 장려합니다.

질문 답변하기에 대한 가이드라인