（三）tensorflow2.0 - 自定义loss function（损失函数）-CFANZ编程社区

前文分别讲了tensorflow2.0中自定义Layer和自定义Model，本文将来讨论如何自定义损失函数。

（一）tensorflow2.0 - 自定义layer（二）tensorflow2.0 - 自定义Model
（三）tensorflow2.0 - 自定义loss function（损失函数）
（四）tensorflow2.0 - 实战稀疏自动编码器SAE

自定义损失函数有两种情况，一种比较简单，而另一种稍显复杂。
先来讨论第一种简单的情况，即不需要额外的参数。
什么叫额外的参数呢？损失函数有两个默认参数，分别为实际输出、预测输出，如果损失函数只需要这两个参数，那么设计起来就很方便。

# 定义损失函数
def custom_loss(y_actual,y_pred):
    custom_loss= (y_actual-y_pred)**2
    return custom_loss

# 使用该loss function
model.compile(loss=custom_loss, optimizer=...)

这种情况下，y_actual和y_pred的值会自动传入该损失函数中，无需操心，这种实现也比较简单。

第二种情况，损失函数需要额外的参数，即损失函数需要的数据不止是预测值和真实值这么简单，比如我要添加一个权重的惩罚项以防权重过大，这时上面方法就行不通了。

这种情况没办法，只能自己自行设计模型运行流程了。

class SAEModel(Model):
    # 可以传入一些超参数，用以动态构建模型
    # __init__()方法在创建模型对象时被调用
    def __init__(self, input_shape, hidden_shape=None):
        # 隐藏层节点个数默认为输入层的3倍
        if hidden_shape == None:
            hidden_shape = 3 * input_shape
        # 调用父类__init__()方法
        super(SAEModel, self).__init__()
        
        self.layer_1 = SAELayer(hidden_shape)
        self.layer_2 = layers.Dense(input_shape, activation=tf.nn.sigmoid)

    def call(self, input_tensor, training=False):
        # 输入数据
        hidden = self.layer_1(input_tensor)
        output = self.layer_2(hidden)
        return output
    
    # 计算损失值
    def get_loss(self, input_tensor):
        hidden = self.layer_1(input_tensor)
        output = self.layer_2(hidden)
        
        # 计算loss
        # 计算MSE
        mse = (1 / 2) * tf.reduce_sum(kb.square(input_tensor - output))
        # 计算权重乘法项
        alpha = 0.1
        W1 = self.layer_1.kernel
        W2 = self.layer_2.kernel
        weightPunish = (alpha / 2) * (tf.reduce_sum(kb.square(W1)) + tf.reduce_sum(kb.square(W2)))
        ans = tf.constant(mse + weightPunish)
        return ans
    
    def get_grad(self, input_tensor):
        with tf.GradientTape() as tape:
            tape.watch(self.variables)
            L = self.get_loss(input_tensor)
            g = tape.gradient(L, self.variables)
        return g

    def network_learn(self, input_tensor):
        g = self.get_grad(input_tensor)
        optimizers.Adam().apply_gradients(zip(g, self.variables))

在本模型中，为了自定义带有额外参数的loss function（即权重惩罚项），因此需要对整个模型的流程进行自定义。传统模型只需包括__init__()方法和call()方法即可，但在本例中，可以看出call()方法中的代码被get_loss()方法囊括了，这样是为了方便在计算损失函数时获得需要的参数。
本模型执行流程为：network_learn -> get_grad -> get_loss（执行一次神经网络训练过程，并计算损失值） -> get_grad（根据返回的损失值计算梯度并返回） -> network_learn（根据返回的梯度，使用某种优化器（本例为Adam）更新模型中所有需要训练的参数（也可以指定某些参数））

训练过程也变了，代码如下，需要手动进行设置了：

saeModel = SAEModel(inputList.shape[-1], hiddenNum)
for i in range(1000):
  saeModel.network_learn(tf.constant(inputList))

到此，我已介绍完如何使用tensorflow2.0自定义Layer、自定义Model、自定义Loss Function，接下来将会将这三者结合起来，实现一个完整的例子——（四）tensorflow2.0 - 实战稀疏自动编码器SAE

参考文献：

定制化训练：基础
Custom loss function in Tensorflow 2.0
Custom loss with extra argument in TF 2.0
Tensorflow 2.0 Custom loss function with multiple inputs