欢迎访问我的网站,希望内容对您有用,感兴趣的可以加入免费知识星球。

模型训练中涉及到的几个名词

人工智能 迷途小书童 3年前 (2021-02-26) 2033次浏览 0个评论

epoch,是指在训练过程中,完整的数据集通过神经网络一次就是一个epoch。一个epoch,权重更新一次,因此仅仅使用一个epoch是不够的,那么epoch设成多少是合适的呢?这个其实没有定论,对于不同的数据,答案是不一样的。

batch-size,是指每次训练在训练集中取的样本数量,它影响到模型的优化程度和速度。硬件性能越好,batch-size可以设的越高,最常见的错误就是CUDA: out of memory,前提是使用gpu训练。

iteration,指训练需要的总迭代次数,等于数据集总数除以batch-size的值

最后举个例子:

比如说有 20000 个数据,计划进行 30 轮训练,那么 epoch = 30,一次训练使用100个数据,那么 batch-size = 100,训练一轮总共要迭代 200 次(即 20000 / 100 = 200),总的iteration = 200 * 30 = 6000次。

参考资料

喜欢 (0)

您必须 登录 才能发表评论!

Ads Blocker Image Powered by Code Help Pro

Ads Blocker Detected!!!

请关闭 Adblock 等类似浏览器插件,然后刷新页面访问,感谢您的支持!

We have detected that you are using extensions to block ads. Please support us by disabling these ads blocker.