解决在EMR上的类路径问题
0
【以下的问题经过翻译处理】 在解决EMR的路径问题时有哪些一般性指导方针？在EMR上运行管道时，其中一个问题涉及到自定义jars相关的路径问题：
尽管客户已将所需的jar上传到S3并在集群创建时推送到EMR主节点，但数据处理管道经常因无法引用所需的依赖jar的特定版本而失败。尝试将以下参数设置为管道命令的一部分：
-D mapreduce.task.classpath.user.precedence -D mapreduce.job.user.classpath.first
1개 답변
- 최신
- 최다 투표
- 가장 많은 댓글
0
【以下的回答经过翻译处理】 这是一个广泛的话题，通常取决于你正在使用的框架。一般来说，在需要提交JAR的应用程序（如Spark或MR）中，推荐的方法是生成一个包含所有依赖项的fat JAR。这可以保证JVM始终从JAR中选择正确的库，而不是在集群中查找它们，在那里可能无法找到它们或选择错误的版本。
如果您有兴趣，可以在这篇第三方文章[http://tutorials.jenkov.com/maven/maven-build-fat-jar.html]中找到更多有关fat JAR和如何创建它们的详细信息。
관련 콘텐츠
AWS 공식업데이트됨 2년 전- AWS 공식업데이트됨 일 년 전
- AWS 공식업데이트됨 4달 전
