无法使用Docker启动Spark历史服务器和查看Spark UI

0

【以下的问题经过翻译处理】 在按照中提到的内容在本地启动 spark history server 并运行 spark ui 但在启动容器时出错 https://docs.aws.amazon.com/glue/latest/dg/monitor-spark-ui-history.html 报错信息如下:

2023-02-22 17:54:07 使用 Spark 的默认 log4j 配置文件:org/apache/spark/log4j-defaults.properties
2023-02-22 17:54:07 23/02/22 22:54:07 INFO HistoryServer:启动守护进程,进程名称:1@514d84090bb7
2023-02-22 17:54:07 23/02/22 22:54:07 INFO SignalUtils:为 TERM 注册信号处理程序
2023-02-22 17:54:07 23/02/22 22:54:07 INFO SignalUtils:为 HUP 注册信号处理程序
2023-02-22 17:54:07 23/02/22 22:54:07 INFO SignalUtils:为 INT 注册信号处理程序
2023-02-22 17:54:07 23/02/22 22:54:07 警告 NativeCodeLoader:无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类
2023-02-22 17:54:08 23/02/22 22:54:08 INFO SecurityManager:将视图 acls 更改为:root
2023-02-22 17:54:08 23/02/22 22:54:08 信息 SecurityManager:将修改 ACLS 更改为:root
2023-02-22 17:54:08 23/02/22 22:54:08 INFO SecurityManager:将视图 acls 组更改为:
2023-02-22 17:54:08 23/02/22 22:54:08 INFO SecurityManager:将修改 ACLS 组更改为:
2023-02-22 17:54:08 23/02/22 22:54:08 信息 SecurityManager:** SecurityManager:身份验证已禁用; ui acls 禁用;具有查看权限的用户:Set(root);具有查看权限的组:Set();具有修改权限的用户:Set(root);具有修改权限的组:Set()
2023-02-22 17:54:08 23/02/22 22:54:08 信息 FsHistoryProvider:历史服务器 ui acls 已禁用;具有管理员权限的用户:;具有管理员**权限的组:
2023-02-22 17:54:08 线程“main”中的异常 java.lang.reflect.InvocationTargetException
2023-02-22 17:54:08 在 sun.reflect.NativeConstructorAccessorImpl.newInstance0(本机方法)
2023-02-22 17:54:08 在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
2023-02-22 17:54:08 在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
2023-02-22 17:54:08 在 java.lang.reflect.Constructor.newInstance(Constructor.java:423)
2023-02-22 17:54:08 在 org.apache.spark.deploy.history.HistoryServer$.main(HistoryServer.scala:300)
2023-02-22 17:54:08 在 org.apache.spark.deploy.history.HistoryServer.main(HistoryServer.scala)
2023-02-22 17:54:08 引起:org.apache.hadoop.fs.UnsupportedFileSystemException:方案“s3”没有文件系统
2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:3281)
2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3301)
2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:124)
2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3352)
2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3320)
2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem.get(FileSystem.java:479)
2023-02-22 17:54:08 在 org.apache.hadoop.fs.Path.getFileSystem(Path.java:365)
2023-02-22 17:54:08 在 org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:116)
2023-02-22 17:54:08 在 org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:88)
2023-02-22 17:54:08 ... 还有 6 个

profile picture
EXPERTE
gefragt vor 5 Monaten29 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 导致报错的操作是:因为传了-Dspark.history.fs.logDirectory=s3://的name,而不是s3a://的name。

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen