Gradient Descent With Momentum, TensorFLow

GD_momentum.py

def minimizar(optimizador, funcion_coste, acumulador, learning_rate_iniciaL_tf, rate_momemtum_tf):
    grads_and_vars = optimizador.compute_gradients(funcion_coste)
    gradientes,variables = [],[]
    for grad, var in grads_and_vars:
        variables.append(var)
        if grad is None:
            gradientes.append(grad)
            continue
            
        # accumulador = accumulador * momentum + gradiente
        accum_aux = tf.add(tf.mul(rate_momemtum_tf, acumulador), grad)
        accum_op = tf.assign(acumulador, accum_aux)
        gradientes.append(accum_aux)
       
    with tf.control_dependencies([accum_op]):  
        # variable = variable - lr * accumulador 
        optimizar = optimizador.apply_gradients(zip(gradientes, variables))
            
    return optimizar 

La explicación del algoritmo en p.valienteverde.com