TensorFlow - 优化器


优化器是扩展类,其中包括用于训练特定模型的附加信息。优化器类使用给定参数进行初始化,但重要的是要记住不需要张量。优化器用于提高训练特定模型的速度和性能。

TensorFlow 的基本优化器是 -

tf.train.Optimizer

该类定义在tensorflow/python/training/optimizer.py指定路径中。

以下是 Tensorflow 中的一些优化器 -

  • 随机梯度下降
  • 具有梯度裁剪的随机梯度下降
  • 势头
  • 涅斯特罗夫动量
  • 阿达格勒
  • 阿达德尔塔
  • RMS属性
  • 亚当
  • 阿达马克斯
  • SMORMS3

我们将重点关注随机梯度下降。下面提到了为其创建优化器的说明 -

def sgd(cost, params, lr = np.float32(0.01)):
   g_params = tf.gradients(cost, params)
   updates = []
   
   for param, g_param in zip(params, g_params):
      updates.append(param.assign(param - lr*g_param))
   return updates

基本参数在特定函数中定义。在后续章节中,我们将重点关注梯度下降优化和优化器的实现。