Explore how you can quickly prepare for, respond to, and recover from security events. Learn more.
All Content tagged with 亚马逊 EMR 无服务器
Run big data applications using open-source frameworks without managing clusters and servers
内容语言: 中文 (简体)
Select up to 5 tags to filter
排序方式 最新
20 条结果
【以下的问题经过翻译处理】 你好，团队，
我想在 EMR Serverless 上运行使用 JDK 11 构建的 Spark 应用程序。由于默认映像不支持 JDK 11，因此我根据以下链接创建了自定义映像：
Use case 2 : <https://aws.amazon.com/ru/blogs/big-data/add-your-own-libraries-and-application-...
【以下的问题经过翻译处理】 我正在评估EMR Serverless，通过文档了解到如何将Python依赖项打包到虚拟环境压缩包中并上传到S3，然后在Spark配置中使用。相比之下，对于EMR上的EKS，你需要构建包含依赖项的Docker镜像，将其上传到ECR，并使用 `spark.kubernetes.container.image` 选项指定。这种解决方案似乎比将虚拟环境打包成 .tar.gz ...
【以下的问题经过翻译处理】 当配置EMR Serverless应用程序时，您可以选择预初始化容量的磁盘大小和应用程序的最大磁盘限制：
但是，至少对于Hive作业，EMR Serverless将scratch和warehouse目录都存储在S3中。那么这个配置的磁盘空间用于什...
【以下的问题经过翻译处理】 使用Scala创建了一个Spark作业，现在尝试找到将日志记录到cloudwatch的方法。
到目前为止，我尝试将作业打包为一个[cloudwatch appender](https://github.com/kdgregory/log4j-aws-appenders)的uber Jar，并通过传递log4j选项来实现，如下所示：
```
--class Main ...
【以下的问题经过翻译处理】 我每个小时都会在EMR无服务器上运行作业。所有作业都提交到同一个应用程序中，没有预先初始化的容量。在运行之间终止应用程序是否有任何好处？运行之间大约有30分钟的间隔。有任何费用方面的弊端吗？
【以下的问题经过翻译处理】 是否可以在 EMR Serverless上运行 JDK11 应用程序？我试了下，报错如下：
```
Job execution failed, please check complete logs in configured logging destination. ExitCode: 1. Last few exceptions: Exception in th...
【以下的问题经过翻译处理】 我在单个EMR Notebook中同时使用pyspark和本地python内核(%%local)。我能够使用EMR bootstrap程序在pyspark内核中成功安装软件包，但我无法使用EMR bootstrap操作安装额外的本地python库(s3fs和其他软件包)。你能否提供一些指导呢？
