交流群:462197261站长百科站长论坛热门标签收藏本站北冥有鱼 互联网前沿资源第一站 助力全行业互联网+
点击这里给我发消息
  • 当前位置:
  • TensorFlow keras卷积神经网络 添加L2正则化方式

    我就废话不多说了,大家还是直接看代码吧!

    model = keras.models.Sequential([
     #卷积层1
     keras.layers.Conv2D(32,kernel_size=5,strides=1,padding="same",data_format="channels_last",activation=tf.nn.relu,kernel_regularizer=keras.regularizers.l2(0.01)),
     #池化层1
     keras.layers.MaxPool2D(pool_size=2,strides=2,padding="same"),
     #卷积层2
     keras.layers.Conv2D(64,kernel_size=5,strides=1,padding="same",data_format="channels_last",activation=tf.nn.relu),
     #池化层2
     keras.layers.MaxPool2D(pool_size=2,strides=2,padding="same"),
     #数据整理
     keras.layers.Flatten(),
     #1024个,全连接层
     keras.layers.Dense(1024,activation=tf.nn.relu),
     #100个,全连接层
     keras.layers.Dense(100,activation=tf.nn.softmax)
     ])
    import os
    os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
     
    from tensorflow.python.keras.datasets import cifar100
    from tensorflow.python import keras
    import tensorflow as tf
     
    class CNNMnist(object):
     
     model = keras.models.Sequential([
     #卷积层1
     keras.layers.Conv2D(32,kernel_size=5,strides=1,padding="same",data_format="channels_last",activation=tf.nn.relu,kernel_regularizer=keras.regularizers.l2(0.01)),
     #池化层1
     keras.layers.MaxPool2D(pool_size=2,strides=2,padding="same"),
     #卷积层2
     keras.layers.Conv2D(64,kernel_size=5,strides=1,padding="same",data_format="channels_last",activation=tf.nn.relu),
     #池化层2
     keras.layers.MaxPool2D(pool_size=2,strides=2,padding="same"),
     #数据整理
     keras.layers.Flatten(),
     #1024个,全连接层
     keras.layers.Dense(1024,activation=tf.nn.relu),
     #100个,全连接层
     keras.layers.Dense(100,activation=tf.nn.softmax)
     ])
     
     def __init__(self):
     (self.x_train,self.y_train),(self.x_test,self.y_test) = cifar100.load_data()
     
     self.x_train = self.x_train/255.0
     self.x_test = self.x_test/255.0
     
     
     def compile(self):
     CNNMnist.model.compile(optimizer=keras.optimizers.Adam(),loss=keras.losses.sparse_categorical_crossentropy,metrics=["accuracy"])
     
     def fit(self):
     CNNMnist.model.fit(self.x_train,self.y_train,epochs=1,batch_size=32)
     
     def evaluate(self):
     test_loss,test_acc = CNNMnist.model.evaluate(self.x_test,self.y_test)
     print(test_loss,test_acc)
     
    if __name__ == '__main__':
     cnn = CNNMnist()
     print(CNNMnist.model.summary())
     cnn.compile()
     cnn.fit()

    补充知识:初步了解TensorFlow如何实现正则化

    为了避免过拟合问题,一个非常常用的方法是正则化(regularization),正则化的思想就是在损失函数中加入刻画模型复杂程度的指标。

    假设用于刻画模型在训练数据上表现的损失函数为J(θ),那么在优化时不是直接优化J(θ),而是优化J(θ) + λR(w),其中R(w)刻画的是模型的复杂程度,而λ表示模型复杂损失在总损失中的比例,需要注意的是,这里的θ表示的是一个神经网络中所有的参数,它包括边上的权重w和偏置项b,但一般来说模型复杂度只由权重w决定。

    常用的刻画模型复杂度的函数R(w)有两种,一种是L1正则化,计算公式是:

    另一种是L2正则化,计算公式是:

    TensorFlow可以优化任意形式的损失函数,所以TensorFlow自然也可以优化带正则化的损失函数。

    L1正则化和L2正则化,在TensorFlow中分别以不同的函数实现它们,以下列代码为示例:

    #含有L1正则化的损失函数:
    loss = tf.reduce_mean(tf.square(y_ - y)) + tf.contrib.layers.l1_regularizer(λ)(w)
    
    #含有L2正则化的损失函数:
    loss = tf.reduce_mean(tf.square(y_ - y)) + tf.contrib.layers.l2_regularizer(λ)(w)
    

    loss为定义的损失函数,它由两个部分组成,第一个部分是均方误差损失函数,它刻画了模型在训练数据上的表现,第二个部分就是正则化,它防止模型过度模拟训练数据中的随机噪音;

    λ表示了正则化项的权重,w为需要计算正则化损失的参数。

    TensorFlow提供了tf.contrib.layers.l1_regularizer函数和tf.contrib.layers.l2_regularizer函数用来计算L1正则化和L2正则化,通过以下代码给出使用两个函数的样例:

    import tensorflow as tf
    weights = tf.constant([[1.0, -2.0], [-3.0, 4.0]])
    with tf.Session() as sess:
     #计算结果为5.0
     print(sess.run(tf.contrib.layers.l1_regularizer(0.5)(weights)))
     #计算结果为15 * 1/2 = 7.5,L2正则化乘以1/2可以方便求导
     print(sess.run(tf.contrib.layers.l2_regularizer(0.5)(weights)))

    在简单的神经网络中,这样的方式就可以很好地计算带正则化的损失函数了,但当神经网络的参数增多之后,这样的方式首先可能导致损失函数loss的定义很长,可读性差且容易出错,更主要的是,当网络结构复杂之后定义网络结构的部分和计算损失函数的部分可能不在同一个函数中,这样通过变量这种方式计算损失函数就不方便了。

    为了解决这个问题,可以使用TensorFlow中提供的集合(collection)来维护需要计算的正则化损失,以下列代码为示例给出通过集合计算一个5层神经网络带L2正则化的损失函数的计算方法:

    import tensorflow as tf
    
    #获取一层神经网络边上的权重,并将这个权重的L2正则化损失加入名称为losses的集合中
    def get_weight(shape, r):
     #生成一个变量
     var = tf.Variable(tf.random_normal(shape, stddev=1, seed=1), dtype=tf.float32)
     '''add_to_collection函数将这个新生成变量的L2正则化损失项加入集合
     这个函数的第一个参数losses是集合的名字,第二个参数是要加入这个集合的内容'''
     tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(r)(var))
     return var
    
    x = tf.placeholder(tf.float32, shape=(None, 2))
    y_ = tf.placeholder(tf.float32, shape=(None, 1))
    
    #定义了每一层网络中节点的个数
    layer_dimension = [2, 10, 10, 10, 1]
    #神经网络的层数
    n_layers = len(layer_dimension)
    
    #这个变量维护前向传播时最深层的节点,开始的时候就是输入层
    cur_layer = x
    #in_dimension为当前层的节点个数
    in_dimension = layer_dimension[0]
    
    #通过一个循环来生成5层全连接的神经网络结构
    for i in range(1, n_layers):
     #out_dimension为下一层的节点个数
     out_dimension = layer_dimension[i]
     #生成当前层中权重的变量,并将这个变量的L2正则化损失加入losses集合
     weight = get_weight([in_dimension, out_dimension], 0.001)
     bias = tf.Variable(tf.fill([1, out_dimension], 0.1))
     #使用ReLU激活函数
     cur_layer = tf.nn.relu(tf.matmul(cur_layer, weight) + bias)
     #进入下一层之前将下一层的节点个数更新为当前层节点个数
     in_dimension = out_dimension
    
    '''在定义神经网络前向传播的同时已经将所有的L2正则化损失加入了losses集合
    这里只需要计算刻画模型在训练数据上表现的损矣函数。'''
    mse_loss = tf.reduce_mean(tf.square(y_ - cur_layer))
    
    #将均方误差损失函数加入损失集合
    tf.add_to_collection('losses', mse_loss)
    
    '''get_collection返回一个列表,这个列表包含所有这个集合中的元素
    在这个样例中这些元素就是损失函数的不同部分,将它们加起来就可以得到最终的损失函数。'''
    loss = tf.add_n(tf.get_collection('losses'))
    

    以上这篇TensorFlow keras卷积神经网络 添加L2正则化方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持北冥有鱼。


    广而告之:
    热门推荐:
    html中iframe控制父页面刷新实现思路及代码

    一、应用场景 父页面 a.jsp 子页面 b.jsp,作为a页面中嵌入的iframe指向的页面 复制代码代码如下: <body> <iframe id="frame" src="b.jsp" .../> </body> 现在在b页面中做了一项操作,操作结束后,需要达到a页面中嵌入的iframe刷新 二、思路 在b···

    解决 FireFox 下[使用event很麻烦] 的问题.

    在FireFox下编写事件处理函数是很麻烦的事. 因为FireFox并没有 window.event . 如果要得到 event 对象,就必须要声明时间处理函数的第一个参数为event. 所以为了兼容IE与FireFox,一般的事件处理方法为: btn.onclick=handle_btn_click; function···

    PHP如何将图片文件上传到另外一台服务器上

      说,我有一个需求,就是一个临时功能。由于工作开发问题,我们有一个B项目,需要有一个商品添加的功能,涉及到添加商品内容,比如商品名字,商品描述,商品库存,商品图片等。后台商品添加的接口已经写完了,但是问题是目前没有后台页面,就是产品还没有出后台详细页面。前···

    javascript模拟命名空间

    在 C++ 和 C# 中,命名空间用于尽可能地减少名称冲突。例如,在 .NET Framework 中,命名空间有助于将 Microsoft.Build.Task.Message 类与 System.Messaging.Message 区分开来。JavaScript 没有任何特定语言功能来支持命名空间,但很容易使用对象来模拟命名空间。如果要创建一···

    angularjs实现的购物金额计算工具示例

    本文实例讲述了angularjs实现的购物金额计算工具。分享给大家供大家参考,具体如下: 当我们用js或者jquery进行购物车金额计算的时候会非常麻烦,今天,我们用angularjs一种新的方法进行购物车总额的计算.代码如下: <!DOCTYPE html> <html ng-app> <head> &···

    读Javascript高性能编程重点笔记

    第一点 //高效简洁 //低消能 children             //childNodes childElementCount //childNodes.length firstElementChild //firstChild lastEelmentChild //lastChild nextElementSibling ···

    杏林同学录(八)

    班级管理部分:    首页:superadmin.php <?php include ("class/config.php"); if ($superadmin){      //如果已经进行管理员登陆,进行密码验证   if (!($supername==$supervisor)||!($superpass···

    MySQL架构体系知识点总结

    一  数据库和数据库实例 在MySQL的学习研究中,存在两个非常容易混淆的概念,即数据库和数据库实例。在MySQL中,数据库和数据库实例定义如下: 数据库:存储数据的集合; 数据库实例:操作数据库的集合。 如上定义很清楚了,数据库是用来存储数据的,数据库实例是用来操作···

    解决vue+webpack打包路径的问题

    最近写了一个vue小项目,不想单独作为一个web项目发布,所以就准备放到资源项目的public文件夹下,遇到一些小问题,在此总结一下。 资源路径如下: public目录配置的访问路径为”/”,在这样的情况下,我们的访问路径就变成了”域名/vue-demo”。访问的时候发下程序未报错,但是页···

    微信小程序后台持续定位功能使用详解

    微信小程序团队在7月30日更新了 基础库 2.8.0 其中新添加了小程序后台持续定位功能和联系定位的接口 从上到下分别是 1.wx.onLocationChange//监听位置实时变化 2.wx.stopLocationUpdate//关闭监听实时位置变化,前后台都停止消息接收 3.wx.startLocationUpdate//开启小程序进···