标记有以下标签的问题： 亚马逊 EMR 无服务器

【以下的问题经过翻译处理】 EMR Serverless 服务是否有利用 Spot 容量的计划？类似的，例如到 ECS 的 Fargate Spot。

【以下的问题经过翻译处理】 您能否建议使用哪些工具来迁移Spark应用程序到AWS？： Spark应用程序仅用于更改数据，没有任何UI。我们会定期启动它，可能每周启动几次。每次启动都会触及不同数量的来自Hadoop的数据。从我们团队中的不同人员启动该应用程序。 * 输入为：Hadoop / Kafka / HDFS中的表， * 输出为：Hadoop / Kafka和一些Clickhouse，但不是...

【以下的问题经过翻译处理】 *下面的CF堆栈出现错误，错误信息为“Resource handler returned message: Error occurred during operation 'CreateApplication'.”（RequestToken：<some-token-id>，HandlerErrorCode：GeneralServiceException）” *区域：eu...

【以下的问题经过翻译处理】 我知道EMR Serverless 有应用程序限制。但是当同一个应用程序上同时运行多个Job 时，它们是否可以共享Worker的 可用容量？或者如果一个作业被分配了工作，它们被分配了整个工作容量吗？

【以下的问题经过翻译处理】 我在EMR Serverless中运行了一个ETL作业，但是即使EMR应用程序和S3存储桶位于同一地区，我仍然被收取了NAT gateway费用。我还在VPC中配置了网关终端节点以连接S3，但仍然看到NAT gateway费用。使用EC2实例测试了VPC终端节点，可以连接到S3。我想知道为什么EMR Serverless要使用NAT gateway而不是VPC终端节点，...

【以下的问题经过翻译处理】 Hi，我想在 EMR Serverless上运行一个Job，该Job从 PostgreSQL 中读取和写入数据。我已经下载了 Jar 文件并将其上传到 S3，并在管理控制台的 Spark 属性中设置了 "spark.jars"。然而，作业失败了。 谢谢，Muthu

【以下的问题经过翻译处理】 你好， 我终于使用EMR无服务器应用程序解决了大部分问题，但根据日志显示，似乎在以下代码行中存在特定问题： if (DeltaTable.isDeltaTable(spark, targetDeltaTableURI)): 日志中的错误消息如下所示，你可以在日志的顶部看到数据帧已创建，但在检查Delta表是否存在时出现错误。 |135123 |167...

【以下的问题经过翻译处理】 你好，团队， 我想在 EMR Serverless 上运行使用 JDK 11 构建的 Spark 应用程序。由于默认映像不支持 JDK 11，因此我根据以下链接创建了自定义映像： Use case 2 : <https://aws.amazon.com/ru/blogs/big-data/add-your-own-libraries-and-application-...

【以下的问题经过翻译处理】 我正在评估EMR Serverless，通过文档了解到如何将Python依赖项打包到虚拟环境压缩包中并上传到S3，然后在Spark配置中使用。相比之下，对于EMR上的EKS，你需要构建包含依赖项的Docker镜像，将其上传到ECR，并使用 `spark.kubernetes.container.image` 选项指定。这种解决方案似乎比将虚拟环境打包成 .tar.gz ...

【以下的问题经过翻译处理】 当配置EMR Serverless应用程序时，您可以选择预初始化容量的磁盘大小和应用程序的最大磁盘限制：  但是，至少对于Hive作业，EMR Serverless将scratch和warehouse目录都存储在S3中。那么这个配置的磁盘空间用于什...

【以下的问题经过翻译处理】 使用Scala创建了一个Spark作业，现在尝试找到将日志记录到cloudwatch的方法。 到目前为止，我尝试将作业打包为一个[cloudwatch appender](https://github.com/kdgregory/log4j-aws-appenders)的uber Jar，并通过传递log4j选项来实现，如下所示： ``` --class Main ...

【以下的问题经过翻译处理】 我每个小时都会在EMR无服务器上运行作业。所有作业都提交到同一个应用程序中，没有预先初始化的容量。在运行之间终止应用程序是否有任何好处？运行之间大约有30分钟的间隔。有任何费用方面的弊端吗？