跳至内容

All Content tagged with Amazon EMR

Amazon EMR is a cloud big data platform for running large-scale distributed data processing jobs, interactive SQL queries, and machine learning (ML) applications using open-source analytics frameworks such as Apache Spark, Apache Hive, and Presto.

内容语言: 中文 (简体)

筛选内容
选择要筛选的标签
排序方式
排序方式 最新
140 条结果
【以下的问题经过翻译处理】 我正在使用EMR API中的boto3 python库中的listSteps功能。我将"1"赋值给Marker项,但收到错误消息:"Marker '1' is not valid."。 在Marker中哪个值是合法的? API:<https://docs.aws.amazon.com/emr/latest/APIReference/API_ListSteps.htm...
1
回答
0
点赞数
83
检视次数
专家
已提问 2 年前
【以下的问题经过翻译处理】 一整天都无法创建一个简单的EMR集群!一直出现以下错误: * 2023-04-11 20:35:59,668 INFO i-0ef1cde5b1311d42c: new instance started * **2023-04-11 20:35:59,684 ERROR i-0ef1cde5b1311d42c: failed to start. bootstrap ac...
1
回答
0
点赞数
100
检视次数
专家
已提问 2 年前
【以下的问题经过翻译处理】 您能否建议使用哪些工具来迁移Spark应用程序到AWS?: Spark应用程序仅用于更改数据,没有任何UI。我们会定期启动它,可能每周启动几次。每次启动都会触及不同数量的来自Hadoop的数据。从我们团队中的不同人员启动该应用程序。 * 输入为:Hadoop / Kafka / HDFS中的表, * 输出为:Hadoop / Kafka和一些Clickhouse,但不是...
1
回答
0
点赞数
136
检视次数
专家
已提问 2 年前
【以下的问题经过翻译处理】 *下面的CF堆栈出现错误,错误信息为“Resource handler returned message: Error occurred during operation 'CreateApplication'.”(RequestToken:<some-token-id>,HandlerErrorCode:GeneralServiceException)” *区域:eu...
1
回答
0
点赞数
130
检视次数
专家
已提问 2 年前
【以下的问题经过翻译处理】 我创建了一个自定义的ERM集群..Spark,Presto,zepeeling,hadoop,jupiter gateway...连接到ERM Studio后,没有可用的内核.. 这是为什么? 谢谢。
1
回答
0
点赞数
92
检视次数
专家
已提问 2 年前
【以下的问题经过翻译处理】 尝试将HUE作为EMR服务器上托管的Web界面,用于发出HIVE QL查询。文件连接能够正常工作,可以轻松探索S3文件(这可能不需要托管的Core节点)。但任何尝试使用HIVE QL创建表格的操作(这可能需要托管的Core节点以获得效率)都会导致远程过程调用错误:“java.net.NoRouteToHostException No Route to Host from...
1
回答
0
点赞数
124
检视次数
专家
已提问 2 年前
【以下的问题经过翻译处理】 一个客户正在使用EMR上的PySpark进行一些计算。 这些计算被保存在S3上,触发了一个SQS,该SQS会触发COPY命令传输到redshift。 到目前为止,一切顺利。 他们正在尝试找到解决方案,在redshift加载了新数据后,我们可以在那里摄取的特定项上运行一些查询。 他们认为可能可以在EMR本身中的每个项目后启动SQS进行计算(听起来有点复杂,不确定其...
1
回答
0
点赞数
75
检视次数
专家
已提问 2 年前
【以下的问题经过翻译处理】 在EMR上尝试将yarn命令添加到cron中。 我尝试在cron中直接调用yarn命令,但是似乎会跳过该命令。 以下是添加到cron中的命令: \*/1 \* \* \* \* hadoop date; yarn 无论我在哪里放置命令,脚本都会跳过它。如果我手动执行脚本,它能正常工作。但是通过cron调用yarn时,根本没有尝试。
1
回答
0
点赞数
88
检视次数
专家
已提问 2 年前
  • 1
  • 2
  • 3
  • 4
  • 5
  • •••
  • 12
  • Page size
    12 条/页