小知识

  • Batch size 不是越大越收敛越快，Batch Size大每个epoch迭代的次数降低，但是收敛需要的epoch个数可能反而增加。
  • 找到一个合适的Batch size 会使得模型快速收敛，但是当数据量较大时，寻找这样的batch size反而要画很多时间，因此一般只通过调节lr让模型收敛。Batch size 只做到充分利用服务器资源。