博舍

[人工智能 人工智能成败的根本原因

[人工智能

作者主页(​​文火冰糖的硅基工坊​​​):​​文火冰糖(王文兵)的博客_文火冰糖的硅基工坊​

​目录​

​​前言:​​

​​错误的认知:​​

​​真正的原因:​​

​​解决问题的办法​​

​​办法1:关闭IE浏览器等其他应用程序(部分解决,不确定性)​​

​​办法2:重启机器(部分解决,不确定性)​​

​​办法3:降低训练时的batchsize的大小(部分解决,不确定性)​​

​​办法4:降低dataloader的线程数​​

​​办法5:增加Windows系统的物理内存(根本解决,高成本)​​

​​办法6:为所有硬盘启动(根本解决,低成本)​​

前言:

目前在训练模型时,经常出现如下的情况:“OSError:[WinError1455]页面文件太小,无法完成操作问题的解决办法”。这导致导致训练无法进行。

错误的认知:

误以为是显卡内存不足造成的,而更好显卡需要一笔大的费用,因此一直都没有用心解决此问题。经过多次出错,发现是乎不是GPU内存的问题,而是Windows内存的问题。

真正的原因:

OSError:[WinError1455错误显示,这是Windows的虚拟内存不够。

虚拟内存不够的根本原因,是物理内存空间不够,Windows在解决物理内存空间不够大时,采用了通过硬盘空间来扩展物理内存不够的问题。然后,这种方法,默认只针对C盘下的应用程序,不针对D:盘或其他盘的应用程序,而我个人的pytorch程序并运行C盘。

解决问题的办法办法1:关闭IE浏览器等其他应用程序(部分解决,不确定性)办法2:重启机器(部分解决,不确定性)

本质上与关闭IE等其他应用程序是一样的。

办法3:降低训练时的batchsize的大小(部分解决,不确定性)

pythontrain.py--img640--batch1--epochs5--datasteelcycle.yaml--weightsyolov5s.pt

办法4:降低dataloader的线程数

pythontrain.py--img640--batch1--epochs5--datasteelcycle.yaml--weightsyolov5s.pt --num_works1

办法5:增加Windows系统的物理内存(根本解决,高成本)

升级物理内存:16G->32G,彻底解决此问题。

办法6:为所有硬盘启动(根本解决,低成本)

 

 所有驱动器使用16M虚拟内存,而不仅仅系统盘。

作者主页(​​文火冰糖的硅基工坊​​​):​​文火冰糖(王文兵)的博客_文火冰糖的硅基工坊​

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。

上一篇

下一篇