解决在EMR上的类路径问题
0
【以下的问题经过翻译处理】 在解决EMR的路径问题时有哪些一般性指导方针？在EMR上运行管道时，其中一个问题涉及到自定义jars相关的路径问题：
尽管客户已将所需的jar上传到S3并在集群创建时推送到EMR主节点，但数据处理管道经常因无法引用所需的依赖jar的特定版本而失败。尝试将以下参数设置为管道命令的一部分：
-D mapreduce.task.classpath.user.precedence -D mapreduce.job.user.classpath.first
1回答
- 新しい順
- 投票が多い順
- コメントが多い順
0
【以下的回答经过翻译处理】 这是一个广泛的话题，通常取决于你正在使用的框架。一般来说，在需要提交JAR的应用程序（如Spark或MR）中，推荐的方法是生成一个包含所有依赖项的fat JAR。这可以保证JVM始终从JAR中选择正确的库，而不是在集群中查找它们，在那里可能无法找到它们或选择错误的版本。
如果您有兴趣，可以在这篇第三方文章[http://tutorials.jenkov.com/maven/maven-build-fat-jar.html]中找到更多有关fat JAR和如何创建它们的详细信息。
関連するコンテンツ
- 質問済み 3年前
- 質問済み 6年前
AWS公式更新しました 1年前- AWS公式更新しました 4ヶ月前