解决在EMR上的类路径问题

Question

【以下的问题经过翻译处理】 在解决EMR的路径问题时有哪些一般性指导方针？在EMR上运行管道时，其中一个问题涉及到自定义jars相关的路径问题：

尽管客户已将所需的jar上传到S3并在集群创建时推送到EMR主节点，但数据处理管道经常因无法引用所需的依赖jar的特定版本而失败。尝试将以下参数设置为管道命令的一部分：

-D mapreduce.task.classpath.user.precedence
-D mapreduce.job.user.classpath.first

Answer

【以下的回答经过翻译处理】 这是一个广泛的话题，通常取决于你正在使用的框架。一般来说，在需要提交JAR的应用程序（如Spark或MR）中，推荐的方法是生成一个包含所有依赖项的fat JAR。这可以保证JVM始终从JAR中选择正确的库，而不是在集群中查找它们，在那里可能无法找到它们或选择错误的版本。

如果您有兴趣，可以在这篇第三方文章[]中找到更多有关fat JAR和如何创建它们的详细信息。

相关内容