解决在EMR上的类路径问题

0

【以下的问题经过翻译处理】 在解决EMR的路径问题时有哪些一般性指导方针?在EMR上运行管道时,其中一个问题涉及到自定义jars相关的路径问题:

尽管客户已将所需的jar上传到S3并在集群创建时推送到EMR主节点,但数据处理管道经常因无法引用所需的依赖jar的特定版本而失败。尝试将以下参数设置为管道命令的一部分:

-D mapreduce.task.classpath.user.precedence -D mapreduce.job.user.classpath.first

profile picture
EXPERTO
preguntada hace 6 meses9 visualizaciones
1 Respuesta
0

【以下的回答经过翻译处理】 这是一个广泛的话题,通常取决于你正在使用的框架。一般来说,在需要提交JAR的应用程序(如Spark或MR)中,推荐的方法是生成一个包含所有依赖项的fat JAR。这可以保证JVM始终从JAR中选择正确的库,而不是在集群中查找它们,在那里可能无法找到它们或选择错误的版本。

如果您有兴趣,可以在这篇第三方文章[http://tutorials.jenkov.com/maven/maven-build-fat-jar.html]中找到更多有关fat JAR和如何创建它们的详细信息。

profile picture
EXPERTO
respondido hace 6 meses

No has iniciado sesión. Iniciar sesión para publicar una respuesta.

Una buena respuesta responde claramente a la pregunta, proporciona comentarios constructivos y fomenta el crecimiento profesional en la persona que hace la pregunta.

Pautas para responder preguntas