无法使用Docker启动Spark历史服务器和查看Spark UI

0

【以下的问题经过翻译处理】 在按照中提到的内容在本地启动 spark history server 并运行 spark ui 但在启动容器时出错 https://docs.aws.amazon.com/glue/latest/dg/monitor-spark-ui-history.html 报错信息如下:

2023-02-22 17:54:07 使用 Spark 的默认 log4j 配置文件:org/apache/spark/log4j-defaults.properties
2023-02-22 17:54:07 23/02/22 22:54:07 INFO HistoryServer:启动守护进程,进程名称:1@514d84090bb7
2023-02-22 17:54:07 23/02/22 22:54:07 INFO SignalUtils:为 TERM 注册信号处理程序
2023-02-22 17:54:07 23/02/22 22:54:07 INFO SignalUtils:为 HUP 注册信号处理程序
2023-02-22 17:54:07 23/02/22 22:54:07 INFO SignalUtils:为 INT 注册信号处理程序
2023-02-22 17:54:07 23/02/22 22:54:07 警告 NativeCodeLoader:无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类
2023-02-22 17:54:08 23/02/22 22:54:08 INFO SecurityManager:将视图 acls 更改为:root
2023-02-22 17:54:08 23/02/22 22:54:08 信息 SecurityManager:将修改 ACLS 更改为:root
2023-02-22 17:54:08 23/02/22 22:54:08 INFO SecurityManager:将视图 acls 组更改为:
2023-02-22 17:54:08 23/02/22 22:54:08 INFO SecurityManager:将修改 ACLS 组更改为:
2023-02-22 17:54:08 23/02/22 22:54:08 信息 SecurityManager:** SecurityManager:身份验证已禁用; ui acls 禁用;具有查看权限的用户:Set(root);具有查看权限的组:Set();具有修改权限的用户:Set(root);具有修改权限的组:Set()
2023-02-22 17:54:08 23/02/22 22:54:08 信息 FsHistoryProvider:历史服务器 ui acls 已禁用;具有管理员权限的用户:;具有管理员**权限的组:
2023-02-22 17:54:08 线程“main”中的异常 java.lang.reflect.InvocationTargetException
2023-02-22 17:54:08 在 sun.reflect.NativeConstructorAccessorImpl.newInstance0(本机方法)
2023-02-22 17:54:08 在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
2023-02-22 17:54:08 在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
2023-02-22 17:54:08 在 java.lang.reflect.Constructor.newInstance(Constructor.java:423)
2023-02-22 17:54:08 在 org.apache.spark.deploy.history.HistoryServer$.main(HistoryServer.scala:300)
2023-02-22 17:54:08 在 org.apache.spark.deploy.history.HistoryServer.main(HistoryServer.scala)
2023-02-22 17:54:08 引起:org.apache.hadoop.fs.UnsupportedFileSystemException:方案“s3”没有文件系统
2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:3281)
2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3301)
2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:124)
2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3352)
2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3320)
2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem.get(FileSystem.java:479)
2023-02-22 17:54:08 在 org.apache.hadoop.fs.Path.getFileSystem(Path.java:365)
2023-02-22 17:54:08 在 org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:116)
2023-02-22 17:54:08 在 org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:88)
2023-02-22 17:54:08 ... 还有 6 个

profile picture
专家
已提问 5 个月前24 查看次数
1 回答
0

【以下的回答经过翻译处理】 导致报错的操作是:因为传了-Dspark.history.fs.logDirectory=s3://的name,而不是s3a://的name。

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则