学习记录 01:Linux GPU 训练常用命令
进行深度学习实验时,需要了解 GPU 显存占用、 进程运行状态,以及如何保持远程训练任务持续运行。
1. 查看 GPU 状态
nvidia-smi
这条命令可以查看 GPU 利用率、显存占用、 驱动信息以及正在使用 GPU 的进程。
2. 定时刷新 GPU 状态
watch -n 2 nvidia-smi
每隔两秒刷新一次,适合观察模型训练时的资源变化。
3. 使用 tmux 管理训练会话
tmux new -s train
tmux ls
tmux attach -t train
可以创建名为 train 的会话、列出会话、 以及重新连接指定会话。 临时离开会话可以按 Ctrl+B,然后按 D。
实践总结: 使用 GPU 状态监控和 tmux,可以更方便地管理 远程深度学习实验,减少 SSH 连接中断造成的影响。