Knowledge Center Monthly Newsletter - March 2025
Stay up to date with the latest from the Knowledge Center. See all new and updated Knowledge Center articles published in the last month and re:Post’s top contributors.
【以下的问题经过翻译处理】 在按照中提到的内容在本地启动 spark history server 并运行 spark ui 但在启动容器时出错 https://docs.aws.amazon.com/glue/latest/dg/monitor-spark-ui-history.html 报错信息如下:
2023-02-22 17:54:07 使用 Spark 的默认 log4j 配置文件:org/apache/spark/log4j-defaults.properties 2023-02-22 17:54:07 23/02/22 22:54:07 INFO HistoryServer:启动守护进程,进程名称:1@514d84090bb7 2023-02-22 17:54:07 23/02/22 22:54:07 INFO SignalUtils:为 TERM 注册信号处理程序 2023-02-22 17:54:07 23/02/22 22:54:07 INFO SignalUtils:为 HUP 注册信号处理程序 2023-02-22 17:54:07 23/02/22 22:54:07 INFO SignalUtils:为 INT 注册信号处理程序 2023-02-22 17:54:07 23/02/22 22:54:07 警告 NativeCodeLoader:无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类 2023-02-22 17:54:08 23/02/22 22:54:08 INFO SecurityManager:将视图 acls 更改为:root 2023-02-22 17:54:08 23/02/22 22:54:08 信息 SecurityManager:将修改 ACLS 更改为:root 2023-02-22 17:54:08 23/02/22 22:54:08 INFO SecurityManager:将视图 acls 组更改为: 2023-02-22 17:54:08 23/02/22 22:54:08 INFO SecurityManager:将修改 ACLS 组更改为: 2023-02-22 17:54:08 23/02/22 22:54:08 信息 SecurityManager:** SecurityManager:身份验证已禁用; ui acls 禁用;具有查看权限的用户:Set(root);具有查看权限的组:Set();具有修改权限的用户:Set(root);具有修改权限的组:Set() 2023-02-22 17:54:08 23/02/22 22:54:08 信息 FsHistoryProvider:历史服务器 ui acls 已禁用;具有管理员权限的用户:;具有管理员**权限的组: 2023-02-22 17:54:08 线程“main”中的异常 java.lang.reflect.InvocationTargetException 2023-02-22 17:54:08 在 sun.reflect.NativeConstructorAccessorImpl.newInstance0(本机方法) 2023-02-22 17:54:08 在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) 2023-02-22 17:54:08 在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 2023-02-22 17:54:08 在 java.lang.reflect.Constructor.newInstance(Constructor.java:423) 2023-02-22 17:54:08 在 org.apache.spark.deploy.history.HistoryServer$.main(HistoryServer.scala:300) 2023-02-22 17:54:08 在 org.apache.spark.deploy.history.HistoryServer.main(HistoryServer.scala) 2023-02-22 17:54:08 引起:org.apache.hadoop.fs.UnsupportedFileSystemException:方案“s3”没有文件系统 2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:3281) 2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3301) 2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:124) 2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3352) 2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3320) 2023-02-22 17:54:08 在 org.apache.hadoop.fs.FileSystem.get(FileSystem.java:479) 2023-02-22 17:54:08 在 org.apache.hadoop.fs.Path.getFileSystem(Path.java:365) 2023-02-22 17:54:08 在 org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:116) 2023-02-22 17:54:08 在 org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:88) 2023-02-22 17:54:08 ... 还有 6 个
【以下的回答经过翻译处理】 导致报错的操作是:因为传了-Dspark.history.fs.logDirectory=s3://的name,而不是s3a://的name。
您未登录。 登录 发布回答。
一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。