[已解决·实验日志] AutoDL系统盘异常爆满,原因是PyCharm 在连接到远程服务器调试时,自动执行后台任务(正在更新 python解释器), 将某些包&依赖项下载到了服务器上
今天照常用PyCharm尝试连接服务器,中途退出,准备服务器GPU关机,突然看到系统盘爆满,顿时血压升高,咱来一探究竟
参考文档:
- AutoDL帮助文档 (系统盘空间不足)
- Linux常用命令-CSDN博客
- 还有一种可能得原因是Miniconda3里头pkgs里的缓存的包有很多,可以清理掉,亲测不影响跑实验(openocc+occformer)
cd /
- 去到根目录看看,究竟是哪个文件夹占空间,使用du -sh命令来递归显示文件夹所占空间
du -sh
补充命令:
1-显示该文件夹下所有子文件夹所占的空间:
du -hc --max-depth=1
2-清理
pkgs
目录中未被使用的缓存包(即那些下载后但没有被任何环境使用的包),可以使用以下命令、以及缩写conda clean --packages
conda clean -p
3-除了包缓存,Conda 还会在本地存储一些索引信息,这些信息也会占用一定的磁盘空间。你可以使用以下命令清理索引缓存:(以及缩写)
conda clean --index-cache
conda clean -i
- 发现是tmp异常大,进去看看
更新,这次是:
,没有运行,只是连接环境
- 原来是这三个小家伙,分别进去看看
- 原来都一样,看来原因都是PyCharm 在连接到远程服务器时,自动执行后台任务(正在更新 python解释器), 将某些包&依赖项下载到了服务器上
- 得把它们删掉才行(很占空间,能手动清除,但无法根除)
rm -r AMWuAlRJCJ H7dSvaBbGU nYLCsYjVDI
- 把这三个小家伙递归删除,看看
tmp从18G → 88k,舒服了
- 这下舒服了,看看影不影响跑实现
- 实验照样能跑,亲测没有问题!
- 类似于“AMWuAlRJCJ” “H7dSvaBbGU” “nYLCsYjVDI”这些文件删掉,亲测也不影响实验,它们就是PyCharm自动更新python解释器下载的杂文件,特别占空间,删掉
- 类似于"torchelastic_gtz8gf26"或是"pymp-5qq4t5hb",这些文件是mmcv/mmdet运行中会产生的临时文件,都是0k,和PyCharm无关,直接命令行跑实验也会产生
原因分析
- 导师说连他都没有遇到过
- 导师说试试把自动上传消掉,但我试过了不可行,接着发现了问题所在↓
关键信息:正在更新 python解释器
找到了正在更新的内容↓
过了1个多小时再回来看:
越来越大了
如果这时关闭PyCharm,会显示:
这个后台任务就是正在更新 python解释器,得想办法关掉这个每次一连接服务器环境就默认自动执行的后台任务
本地win的PyCharm文件夹中的remote_sources也爆满了,得手动清理
每次重新连接到服务器的解释器环境,都会重新下载一整个数据集到本地
这相当于是把整个项目所有文件+数据集都下载下来了,推测是PyCharm版本(破解版)的问题
- 关于原因,有的帖子是说是因为包太多太复杂导致的,无论是更改PyCharm配置文件位置,还是更新PyCharm版本,都基本上无解
- 很占空间,能手动清除,但无法根除
24-11-22更新:
今天把本地文件夹换了一下位置,重新链接远程服务器的解释器环境,弹出了这个,点击“禁用自动上传”,但好像没效果;但基本上锁定了,就是PyCharm的问题!
24-12-28更新:
沉寂了许久,今天在PyCharm已经连接上服务器后,重新在新窗口打开项目/配置远程解释器,突然又开始更新python解释器了,发现了一个方法可以临时解决(偏方):
- 在PyCharm显示 ‘更新python解释器’ 时,进入服务器终端,把这些tmp里的文件删除:
25-1-2更新:
- 如果你正在跑实验,千万别全都删除,删到正在运行的tmp文件,会导致直接中断报错
- 输入:
ls -l
- 看各个tmp文件的日期,留下那几个时间很新的文件
- 跑实验的过程中最好别用pycharm打开那些不停下载临时文件占内存的项目
- 特别是torch开头的文件不要碰,在训练后可以删除,(看日期)本次训练前就有的可以删去
1月22日更新:
打开PyCharm后,又开始更新解释器了:
- 来到服务器,ls -l 查看tmp文件及日期
- 精准找到刚刚打开PyCharm时间接近的、一串英文大小写乱码的文件
- 亲测删去不影响正在运行的实验
- (温馨提示:跑实验时别碰torch开头的文件!!!)