在Linux(Ubuntu)上进行模型训练期间,监测NVIDIA GPU的最佳方法是什么?

0

【以下的问题经过翻译处理】 在Linux(Ubuntu)Amazon EC2实例上监控NVIDIA GPU利用率,推荐使用哪个工具?我当前正在训练自定义的TensorFlow ML模型,并使用NVIDIA系统管理接口(nvidia-smi)跟踪内存使用情况,GPU利用率以及NVIDIA GPU设备的温度。

profile picture
專家
已提問 8 個月前檢視次數 29 次
1 個回答
0

【以下的回答经过翻译处理】 您可以通过cloudwatch监控NVIDIA GPU的指标。如下面链接所示:https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch-Agent-NVIDIA-GPU.html。您还可以使用Amazon SageMaker调试器分析报告来捕获系统指标。该报告提供以下信息:* 系统使用统计数据* 框架指标* 规则评估结果* 步骤持续时间* GPU利用率* 批量大小* CPU瓶颈* I / O瓶颈* 负载均衡* GPU内存

profile picture
專家
已回答 8 個月前

您尚未登入。 登入 去張貼答案。

一個好的回答可以清楚地回答問題並提供建設性的意見回饋,同時有助於提問者的專業成長。

回答問題指南