本文为本人caffe分类网络训练、结果可视化、部署及量化具体过程的心得笔记。caffe目前官方已经停止支持了，但是caffe是目前工业落地最常用的深度学习框架，用的人挺多。其实主要怕自己忘了，弄个备份，弄caffe很久了，怕不用东西都忘了，但是本文主要是讲述caffe下的分类网络。caffe默认已经配置好了，而且尽可能是linux系统，本文基于ubuntu18系统。如果有错误，希望积极指正。
1 训练
1.1 数据准备
首先在caffe/data路径建立example_data文件夹，在example_data里建立三个文件夹。
train文件为训练文件数据，val为验证文件数据，dataSet为最后生成caffe所用数据存放文件夹。这里准备五类数据，分别放在文件夹0-4。标号必须为0到4。val文件夹也是一样的。
0到4文件夹存放各类图像，各类图像编号类似如下：
然后调用label.py创建数据集标签名，分别在train目录和val目录生成数据集标签文件，创建数据集的txt文件，如果是训练集命名为train.txt，如果是验证集命名为val.txt。label.py代码如下：
import os
# 各类分类文件夹名
dealPaths=['0','1','2','3','4']
# 创建数据集的txt文件，如果是训练集命名为train.txt如果是验证集命名为val.txt
imageData=open('imageData.txt','w')
for dealPath in dealPaths:
for filename in os.listdir(dealPath):
imageData.write(filename+' '+dealPath+"\n")
imageData.close()
生成的数据标签文件如下，这个数据标签文件包含所有训练集图像数据标签，图像必须是jpg文件。
然后将所有单个分类也就是0到4文件夹里面的数据放入一个文件夹。这里通过imageMove.py将所有图像移动到自己设定的set文件夹。但是如果是训练数据集，将set文件夹重命名为imageTrain，然后上一步得到的train.txt文件移动到imageTrain里面，然后将验证集数据集得到的set文件夹重命名为imageVal，把上一部得到的val.txt移动到imageVal文件夹里面。
import os
import shutil
movePaths=['0','1','2','3','4']
# 保存的文件夹
dstPath='set'
os.makedirs(dstPath,exist_ok=True)
imageCount=[]
for movePath in movePaths:
imageCount.append(len(os.listdir(movePath)))
print('current path is {}'.format(movePath))
for filename in os.listdir(movePath):
srcFile=os.path.join(movePath,filename)
dstFile=os.path.join(dstPath,filename)
shutil.copy(srcFile,dstFile)
if len(os.listdir(dstPath)) == sum(imageCount):
print('move sucess!')
else:
print('error')
对于建立图像训练集可能会出现jpg文件损坏以及其他问题，一些小工具可以见：
https://blog.csdn.net/LuohenYJ/article/details/86574451
1.2 创建lmdb文件
将上一节得到的imageTrain文件夹和imageVal文件夹移动到dataSet目录。如下所示：
其中create_data.sh用于创建lmbdb文件，make_data_mean.sh用于创建均值文件。首先在caffe根目录下运行create_data.sh文件，命令如下：
create_data.sh脚本具体内容如下，具体要改的参数都有标明，都是在caffe目录下使用相对路径名，绝对路径名容易出错。
#!/usr/bin/env sh
# Create the imagenet lmdb inputs
# N.B. set the path to the imagenet train + val data dirs
set -e
# 数据文件根目录
EXAMPLE=data/example_data
# 数据文件目录
DATA=data/example_data/dataSet
# 生成lmdb文件所用到目录
TOOLS=build/tools
# 生成的train.val的lmdb文件保存目录
TRAIN_DATA_ROOT=data/example_data/dataSet/imageTrain/
VAL_DATA_ROOT=data/example_data/dataSet/imageVal/
# Set RESIZE=true to resize the images to 256x256. Leave as false if images have
# already been resized using another tool.
RESIZE=true
# 改一改深度学习模型要求输入图像的大小
if $RESIZE; then
RESIZE_HEIGHT=227
RESIZE_WIDTH=227
else
RESIZE_HEIGHT=0
RESIZE_WIDTH=0
fi
if [ ! -d "$TRAIN_DATA_ROOT" ]; then
echo "Error: TRAIN_DATA_ROOT is not a path to a directory: $TRAIN_DATA_ROOT"
echo "Set the TRAIN_DATA_ROOT variable in create_imagenet.sh to the path" \
"where the ImageNet training data is stored."
exit 1
fi
if [ ! -d "$VAL_DATA_ROOT" ]; then
echo "Error: VAL_DATA_ROOT is not a path to a directory: $VAL_DATA_ROOT"
echo "Set the VAL_DATA_ROOT variable in create_imagenet.sh to the path" \
"where the ImageNet validation data is stored."
exit 1
fi
echo "Creating train lmdb..."
GLOG_logtostderr=1 $TOOLS/convert_imageset \
--resize_height=$RESIZE_HEIGHT \
--resize_width=$RESIZE_WIDTH \
# 打乱图像
--shuffle=true \
$TRAIN_DATA_ROOT \
# 训练集文件标签
$DATA/imageTrain/train.txt \
$EXAMPLE/example_data_train_lmdb
echo "Creating val lmdb..."
GLOG_logtostderr=1 $TOOLS/convert_imageset \
--resize_height=$RESIZE_HEIGHT \
--resize_width=$RESIZE_WIDTH \
--shuffle \
$VAL_DATA_ROOT \
# 测试集文件标签
$DATA/imageVal/val.txt \
$EXAMPLE/example_data_val_lmdb
echo "Done."
生成lmdb文件后，然后生成均值文件也就是example_data_mean.binaryproto文件
#!/usr/bin/env sh
# Compute the mean image from the imagenet training lmdb
# N.B. this is available in data/ilsvrc12
# 和前面一样
EXAMPLE=data/example_data
DATA=data/example_data
TOOLS=build/tools
$TOOLS/compute_image_mean $EXAMPLE/example_data_train_lmdb \
$DATA/example_data_mean.binaryproto
echo "Done."
最后我们会得到均值数据文件，分别是BGR通道训练样本均值。记得把这三个值记一下以后要用到。
所得到的文件lmdb和均值文件可以在example_data根目录下找到。训练模型用这三个文件就行了。
1.3 模型训练
训练时还需要solver文件来对参数进行更新， 同时还需要网络结构文件。在caffe/examples下建立example_data文件夹下进行训练。将前面的lmdb文件和均值文件复制到改文件夹下，如下图所示。橙色框选的文件是上步所获得的，红色框选的文件是网络结构参数文件和调参文件。backup是生成用于保存训练模型的文件夹，caffe.log是训练时生成的日志文件。
solver文件就用示例的配置alexnet文件。solver文件主要参数搜索就用，其中net值得是模型结构文件路径，训练习惯以caffe为根目录，snapshot_prefix为模型保存目录。
# 网络结构地址
net: "examples/example_data/alexnet_train_val.prototxt"
test_iter: 200
test_interval: 200
base_lr: 0.0001
lr_policy: "step"
gamma: 0.1
stepsize: 1000
display: 100
max_iter: 3000
momentum: 0.9
weight_decay: 0.0005
snapshot: 1000
# 模型保存文件
snapshot_prefix: "examples/example_data/backup/"
solver_mode: GPU
至于train_val模型文件，有两部分需要改，第一部分是开头的data文件，需要配置lmdb文件，train和val都配置。其次是均值部分，一种方法是类似配置lmdb文件一样，设定mean_file路径，另外一种是直接给出均值，把前面BGR均值用mean_value:给出。batch_size的修改具体见搜索。lmdb图像输入大小需要和crop_size对应。如下所示：
name: "AlexNet"
layer {
name: "data"
type: "Data"
top: "data"
top: "label"
include {
phase: TRAIN
}
transform_param {
mirror: true
crop_size: 227
mean_file: "examples/example_data/example_data_mean.binaryproto"
#mean_value: 85.0205
#mean_value: 85.0205
#mean_value: 85.0205
}
data_param {
source: "examples/example_data/example_data_train_lmdb"
batch_size: 4
backend: LMDB
}
}
layer {
name: "data"
type: "Data"
top: "data"
top: "label"
include {
phase: TEST
}
transform_param {
mirror: false
crop_size: 227
mean_file: "examples/example_data/example_data_mean.binaryproto"
#mean_value: 85.0205
#mean_value: 85.0205
#mean_value: 85.0205
}
data_param {
source: "examples/example_data/example_data_val_lmdb"
batch_size: 8
backend: LMDB
}
}
另外一个要改的就是结尾的num_output，将最后一个num_output改为分类个数，本文有5类所以num_output:5
layer {
name: "conv10"
type: "Convolution"
bottom: "fire9/concat"
top: "conv10"
convolution_param {
# 输出，按照分类个数确定
num_output: 5
kernel_size: 1
weight_filler {
type: "gaussian"
mean: 0.0
std: 0.01
}
}
}
layer {
name: "relu_conv10"
type: "ReLU"
bottom: "conv10"
top: "conv10"
}
layer {
name: "pool10"
type: "Pooling"
bottom: "conv10"
top: "pool10"
pooling_param {
pool: AVE
global_pooling: true
}
}
layer {
name: "loss"
type: "SoftmaxWithLoss"
bottom: "pool10"
bottom: "label"
top: "loss"
#include {
# phase: TRAIN
#}
}
layer {
name: "accuracy"
type: "Accuracy"
bottom: "pool10"
bottom: "label"
top: "accuracy"
#include {
# phase: TEST
#}
}
最后进行训练时还是在caffe根目录下输入以下指令。第一个训练指令就是直接训练文件，输出结果打印在命令行。推荐用第二个训练命令，在结果打印在命令行同时，也将结果保存为log日志文件方便以后分析使用。其中-solver表示训练参数，后面跟训练参数文件。如果用到gpu设置 -gpu=0选择用哪个gpu。
./build/tools/caffe train -solver examples/example_data/alexnet_solver.prototxt
./build/tools/caffe train -solver examples/example_data/alexnet_solver.prototxt 2>&1| tee examples/example_data/caffe.log
还有一种训练方式，就是用已有模型进行微调 finetune。如果你不是自己设计模型，这种方式比直接训练要好得多。比如获得squeezenet的solver.prototxt，train_val.prototxt以及模型文件。类似前面直接训练修改solver.protoxt，train_val.prototxt。对于train_val.prototxt修改，只需要修改source处data文件，由于是用别人的模型微调不要改mean值，直接用人家的mean值不要用自己的mean值。
layer {
name: "data"
type: "Data"
top: "data"
top: "label"
include {
phase: TRAIN
}
transform_param {
crop_size: 227
mean_value: 104
mean_value: 117
mean_value: 123
}
data_param {
source: "examples/example_data/example_data_train_lmdb"
batch_size: 32
backend: LMDB
}
}
layer {
name: "data"
type: "Data"
top: "data"
top: "label"
include {
phase: TEST
}
transform_param {
crop_size: 227
mean_value: 104
mean_value: 117
mean_value: 123
}
data_param {
source: "examples/example_data/example_data_train_lmdb"
batch_size: 25 #not *iter_size
backend: LMDB
}
}
对于train_val最后的输出，如果想微调的层就把名字改了，一般都是从后往前改。名字不改的层就不会训练。loss和accuray层不需要改，由于不需要top5输出。accuracy_top5层就被删除了。
layer {
#原来是conv10
name: "conv10_example"
type: "Convolution"
bottom: "fire9/concat"
#原来是conv10
top: "conv10_example"
convolution_param {
num_output: 5
kernel_size: 1
weight_filler {
type: "gaussian"
mean: 0.0
std: 0.01
}
}
}
layer {
#原来是relu_conv10
name: "relu_conv10_example"
type: "ReLU"
bottom: "conv10_example"
top: "conv10_example"
}
layer {
#原来是pool10
name: "pool10_example"
type: "Pooling"
bottom: "conv10_example"
top: "pool10_example"
pooling_param {
pool: AVE
global_pooling: true
}
}
layer {
name: "loss"
type: "SoftmaxWithLoss"
bottom: "pool10_example"
bottom: "label"
top: "loss"
#include {
# phase: TRAIN
#}
}
layer {
name: "accuracy"
type: "Accuracy"
bottom: "pool10_example"
bottom: "label"
top: "accuracy"
#include {
# phase: TEST
#}
}
调用参数如下，只是加了weight命令，指向微调网络的模型。
./build/tools/caffe train -solver examples/example_data/solver.prototxt -weights examples/example_data/squeezenet_v1.1.caffemodel 2>&1| tee examples/example_data/caffe.log
从训练日志可以看到，训练时会忽视名字改动的层，进行微调。
训练结束后，可以对训练好的模型进行Testing。还是在caffe根目录下输入以下命令进行测试。model表示模型结构参数文件，weights表示模型权重文件路径。会输出当前模型在test数据下准确率和loss。
./build/tools/caffe test -model examples/example_data/train_val.prototxt -weights examples/example_data/backup/solver_iter_100.caffemodel
1.4 训练部分参考文件
除了官方文件外，参考的内容有：
训练自己的数据集
caffe入门
caffe官方教程
solver参数设置
solver参数说明
模型微调1
模型微调2
模型微调3
模型微调4
经典网络总结
经典网络模型
caffe猫狗大战训练
2 结果可视化
2.1 训练数据展示
在caffe的训练过程中，需要图形化训练数据结果。caffe中自带了工具显示结果。在examples/example_data下建立analyze文件，然后把训练过程生成的caffe.log移动到该文件夹。然后将caffe根目录tools/extra文件夹下的extract_seconds.py、parse_log.py、parse_log.sh和plot_training_log.py.example文件移动到该文件夹下。
在analyze当前目录下输入以下指令就可以可视化训练日志
./plot_training_log.py.example 0 save.png caffe.log
上面0表示可视化的类型，save.png表示可视化保存的图像名，caffe.log表示日志文件。
可视化类型具体参数如下。0、1、2等序号表示可视化类型，vs为横坐标参数，vs右边为纵坐标参数
0: Test accuracy vs. Iters
1: Test accuracy vs. Seconds
2: Test loss vs. Iters
3: Test loss vs. Seconds
4: Train learning rate vs. Iters
5: Train learning rate vs. Seconds
6: Train loss vs. Iters
7: Train loss vs. Seconds
绘图结果如下：
这种方法所画出来的图每次都是随机样式且无法定制参数。如果要定制可视化图像，在analyze当前目录下，输入以下参数提取log文件。
./parse_log.py caffe.log ./
这样将得到以下两个文件，分别表示训练数据和测试数据
caffe.log.train
caffe.log.test
这种方法和前面可视化命令都会得到这两个文件，但是实质内容有所区别。通过parse_log.py得到的文件内容更规则。如caffe.log.test具体内容如下：
然后在当前文件夹下建立drawCaffe.py文件可视化训练log。drawCaffe.py内容如下：
import pandas as pd
import matplotlib.pyplot as plt
#训练文件
train_log = pd.read_csv("caffe.log.train")
#测试文件
test_log = pd.read_csv("caffe.log.test")
_, ax1 = plt.subplots()
# 可可视化参数NumIters,Seconds,LearningRate,accuracy,loss
ax1.set_title("train loss and test loss")
ax1.plot(train_log["NumIters"], train_log["loss"], alpha=0.5)
ax1.plot(test_log["NumIters"], test_log["loss"], 'g')
ax1.plot(train_log["NumIters"], train_log["accuracy"], alpha=0.5)
ax1.plot(test_log["NumIters"], test_log["accuracy"], 'g')
ax1.set_xlabel('NumIters')
plt.legend(loc='best')
# 保存图像
plt.savefig("save.png", dpi=300)
plt.show()
dfTrain= pd.DataFrame(data=train_log, columns=['NumIters', 'loss', 'accuracy'])
dfTest = pd.DataFrame(data=test_log, columns=['NumIters', 'loss', 'accuracy'])
dfTrain.to_csv('train.csv')
dfTest.to_csv('val.csv')
print("done")
通过以上代码能够分析log文件，同时把训练参数结果保存为train.csv和val.csv。其他就是matplotlib美化图像。绘图结果如下：
2.2 网络模型可视化
通过netscope可以可视化caffe模型。打开下面链接的网页，打开Editor，将网络结构的prototxt文件复制到网页左侧编辑框后，shift+enter，就可以直接显示网络结构。非常的简单和方便。同时将鼠标选中某层 将可视化其参数。
http://ethereon.github.io/netscope/quickstart.html
如下图所示：
当然这种方式可视化很简单。但是目前深度学习网络框架很多，但不同框架之间可视化网络层方法差别。一个深度学习模型结构可视化神器Netron，可以直接可视化不同框架下网络的模型。Netron支持tf, caffe, keras,mxnet等多种框架模型的可视化，具体地址如下：
https://github.com/lutzroeder/Netron
Netron安装很简单，具体看官方例子。Netron使用也非常简单，View设置显示内容，点击具体某个层可以看到该层具体参数。通过File-export可是导出网络结构为png图像或者svg图像。Netron具体界面如下：
2.3 ROC曲线绘制
2.3.1 二分类ROC曲线绘制
ROC曲线中的主要两个指标就是真正率和假正率，。其中横坐标为假正率（FPR），纵坐标为真正率（TPR)。ROC用于评价模型的预测能力，基于混淆矩阵得出的。TPR越高，同时FPR越低（即ROC曲线越陡），那么模型的性能就越好。曲线下面积AOC（Area Under Curve）被定义为ROC曲线下的面积，使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。
AUC的一般判断标准：
0.5 - 0.7：效果较低，但用于预测股票已经很不错了；
0.7 - 0.85：效果一般；
0.85 - 0.95：效果很好；
0.95 - 1：效果非常好，但一般不太可能。
本文主要通过sklearn.metrics中的roc_curve, auc函数，并通过opencv中的DNN模块调用caffe模型实现分类。主要计算ROC时，输入的是真实样本标签和判断为正样本的概率。二分类ROC曲线绘制python代码(caffe_roc.py)如下：
'''
opencv调用caffe并计算roc
'''
import numpy as np
'''
opencv调用caffe并计算roc
'''
import numpy as np
import matplotlib.pyplot as plt
import cv2
import os
from sklearn import metrics
# 真实图像标签为0的图像路径
imagePath_0 = ['0']
# 真实图像标签为1的图像路径
imagePath_1 = ['1']
# 正类标签
poslabel = 1
# 模型路径
prototxtFile = 'deploy_227.prototxt'
modelFile = 'model_227.caffemodel'
# 真实分类结果
trueResult = []
# 检测结果
detectProbs = []
# 图像检测
def detectCaffe(srcImg):
detectImg = srcImg.copy()
blob = cv2.dnn.blobFromImage(
detectImg, 1, (227, 227), (92.713, 106.446, 118.115), swapRB=False)
net = cv2.dnn.readNetFromCaffe(prototxtFile, modelFile)
net.setInput(blob)
detections = net.forward()
# 分类结果
order = detections[0].argmax()
prob = detections[0].max()
#print('the predict class is:',order)
#print('the positive class prob is: ', prob)
# 返回分类结果和概率
return order, prob
# 图像检测
def imageDetect(detectImagePath, trueLabel):
for imageFileName in os.listdir(detectImagePath):
imageFilePath = os.path.join(detectImagePath, imageFileName)
print("current detect image is: ", imageFileName)
srcImg = cv2.imread(imageFilePath)
if srcImg is None:
print("error image is: ", imageFilePath)
continue
detectOrder, detectProb = detectCaffe(srcImg)
trueResult.append(trueLabel)
# 如果正样本编号和检测结果标签一致直接保存分类概率
if detectOrder == poslabel:
detectProbs.append(detectProb)
# 如果不一致保存正样本的分类概率
else:
detectProbs.append(1-detectProb)
# 画ROC图，输入真实标签，正样本模型分类概率，正样本编号
def drawROC(trueResult, detectProbs, poslabel):
fpr, tpr, thresholds = metrics.roc_curve(
trueResult, detectProbs, pos_label=poslabel)
#auc = metrics.roc_auc_score(y, scores)
roc_auc = metrics.auc(fpr, tpr)
# 计算约登指数Youden Index（TPR-FPR或者TPR+TNR-1）
tpr_fpr = list(tpr-fpr)
bestIndex = tpr_fpr.index(max(tpr_fpr))
print("约登指数为{}".format(max(tpr_fpr)))
tprBest = tpr[bestIndex]
fprBest = fpr[bestIndex]
thresholdsBest = thresholds[bestIndex]
print("最佳约登指数阈值为:", thresholdsBest)
# 假正率为横坐标，真正率为纵坐标做曲线
plt.plot(fpr, tpr, color='darkorange',
label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', linestyle='--')
#plt.xlim([0.0, 1.0])
#plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic example')
plt.legend(loc="lower right")
# 画出约登指数最大值
plt.plot(fprBest, tprBest, "ro")
plt.savefig("roc.png", dpi=300)
plt.show()
return fpr, tpr, thresholds, bestIndex
def main():
# 0标签图像遍历
for imagePath in imagePath_0:
imageDetect(imagePath, 0)
for imagePath in imagePath_1:
imageDetect(imagePath, 1)
# poslabel正例标签
fpr, tpr, thresholds, bestIndex = drawROC(
trueResult, detectProbs, poslabel)
np.save('fpr.npy', fpr)
np.save('tpr.npy', tpr)
np.save('thresholds', thresholds)
return fpr, tpr, thresholds
if __name__ == '__main__':
fpr, tpr, thresholds = main()
同时计算约登指数Youden Index（TPR-FPR或者TPR+TNR-1），取使得约登指数最大的阈值为最佳阈值。二分类ROC曲线绘制结果如下图所示，area为AUC值。另外二分类ROC曲线detectProbs 用的是分类概率和真实标签对比绘制ROC曲线。
2.3.2 多分类ROC曲线绘制
由于ROC曲线是针对二分类的情况，对于多分类问题，先将分类标签转换为独热编码。比如n=3时标签转换为：
0->100
1->010
2->001
多分类ROC曲线绘制有两种方法：
- 每种类别下，都可以得到m个测试样本为该类别的概率（矩阵P中的列）。所以，根据概率矩阵P和标签矩阵L中对应的每一列，可以计算出各个阈值下的假正例率（FPR）和真正例率（TPR），从而绘制出一条ROC曲线。这样总共可以绘制出n条ROC曲线。最后对n条ROC曲线取平均，即可得到最终的ROC曲线。
首先，对于一个测试样本：1）标签只由0和1组成，1的位置表明了它的类别（可对应二分类问题中的‘’正’’），0就表示其他类别（‘’负‘’）；2）要是分类器对该测试样本分类正确，则该样本标签中1对应的位置在概率矩阵P中的值是大于0对应的位置的概率值的。基于这两点，将标签矩阵L和概率矩阵P分别按行展开，转置后形成两列，这就得到了一个二分类的结果。所以，此方法经过计算后可以直接得到最终的ROC曲线。
上面的两个方法得到的ROC曲线是不同的，当然曲线下的面积AUC也是不一样的。 在python中，方法1和方法2分别对应sklearn.metrics.roc_auc_score函数中参数average值为'macro'和'micro'的情况。本文主要是应用方法2，方法1太麻烦。方法1可以见：
https://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html
caffe下绘制多分类ROC曲线代码(caffe_roc_multi.cpp)如下所示：
'''
opencv调用caffe并计算多分类roc
'''
import numpy as np
import matplotlib.pyplot as plt
import cv2
import os
from sklearn import metrics
from sklearn.preprocessing import label_binarize
# 真实图像标签为0的图像路径
imagePath_0 = ['0']
# 真实图像标签为1的图像路径
imagePath_1 = ['1']
# 真实图像标签2的图像路径
imagePath_2 = ['2']
# 图像分类标签
imageClass = [0, 1, 2]
# 图像分类颜色
classColor = ['aqua', 'darkorange', 'cornflowerblue']
# 模型路径
prototxtFile = 'deploy.prototxt'
modelFile = 'model.caffemodel'
# 真实分类结果
trueResult = []
# 检测分类结果
detectResult = []
# 最佳阈值结果
thresholdsBest = [1]*len(imageClass)
# 图像检测
def detectCaffe(srcImg):
detectImg = srcImg.copy()
# 自己输入均值
blob = cv2.dnn.blobFromImage(
detectImg, 1, (227, 227), (101.897, 111.704, 121.366), swapRB=False)
net = cv2.dnn.readNetFromCaffe(prototxtFile, modelFile)
net.setInput(blob)
detections = net.forward()
# 分类结果
order = detections[0].argmax()
prob = detections[0].max()
#print('the predict class is:',order)
#print('the predict class prob is: ', prob)
# 返回分类结果和概率
return order, prob
# 图像检测
def imageDetect(detectImagePath, trueLabel):
for imageFileName in os.listdir(detectImagePath):
imageFilePath = os.path.join(detectImagePath, imageFileName)
print("current detect image is: ", imageFileName)
srcImg = cv2.imread(imageFilePath)
if srcImg is None:
print("error image is: ", imageFilePath)
continue
detectOrder, detectProb = detectCaffe(srcImg)
trueResult.append(trueLabel)
# 如果真实标签和检测结果标签一直直接保存分类概率
detectResult.append(detectOrder)
# 画ROC图，输入真实标签，模型分类标签
def drawROC(trueResult, detectResult):
# 将图像标签二值化
trueResultBinary = label_binarize(trueResult, classes=imageClass)
detectResultBinary = label_binarize(detectResult, classes=imageClass)
# 计算每一类的ROC
fpr = dict()
tpr = dict()
roc_auc = dict()
thresholds = dict()
# 单独计算每一类ROC值
for i in range(len(imageClass)):
# 提取第i类预测数据
fpr[i], tpr[i], thresholds[i] = metrics.roc_curve(
trueResultBinary[:, i], detectResultBinary[:, i])
roc_auc[i] = metrics.auc(fpr[i], tpr[i])
# Compute micro-average ROC curve and ROC area
# micro法计算总的roc
fprMicro, tprMicro, _ = metrics.roc_curve(
trueResultBinary.ravel(), detectResultBinary.ravel())
# 计算auc值
roc_aucMircro = metrics.auc(fprMicro, tprMicro)
plt.figure()
# 假正率为横坐标，真正率为纵坐标做曲线
plt.plot(fprMicro, tprMicro, color='deeppink', label='ROC curve (area = {:0.2f})'.format(roc_aucMircro),
linestyle=':', linewidth=4)
# 画出每一类的ROC曲线
for i in range(len(imageClass)):
plt.plot(fpr[i], tpr[i], color=classColor[i],
label='ROC curve of class{} (area = {:0.2f})'.format(
i, roc_auc[i]),
)
# 计算约登指数Youden Index（TPR-FPR或者TPR+TNR-1）
tpr_fpr = list(tpr[i]-fpr[i])
bestIndex = tpr_fpr.index(max(tpr_fpr))
tprBest = tpr[i][bestIndex]
fprBest = fpr[i][bestIndex]
thresholdsBest[i] = thresholds[i][bestIndex]
# 画出约登指数最大值
plt.plot(fprBest, tprBest, "ro", color=classColor[i])
plt.plot([0, 1], [0, 1], 'k--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Some extension of Receiver operating characteristic to multi-class')
plt.legend(loc="best")
# 保存图像
plt.savefig("multi_roc.png", dpi=300)
return fpr, tpr,trueResultBinary,detectResultBinary
def main():
# 0标签图像遍历
for imagePath in imagePath_0:
if not os.path.isdir(imagePath):
continue
imageDetect(imagePath, 0)
for imagePath in imagePath_1:
if not os.path.isdir(imagePath):
continue
imageDetect(imagePath, 1)
for imagePath in imagePath_2:
if not os.path.isdir(imagePath):
continue
imageDetect(imagePath, 2)
fpr, tpr,trueResultBinary,detectResultBinary = drawROC(trueResult, detectResult)
np.save('fpr.npy', fpr)
np.save('tpr.npy', tpr)
np.save('thresholdsBest.npy', thresholdsBest)
return fpr, tpr,trueResultBinary,detectResultBinary
if __name__ == '__main__':
fpr, tpr,trueResultBinary,detectResultBinary = main()
对于单个分类曲线计算约登指数Youden Index（TPR-FPR或者TPR+TNR-1），取使得约登指数最大的阈值为最佳阈值。多分类ROC曲线绘制结果如下图所示，area为AUC值。另外多分类ROC曲线detectResult 用的是预测标签和真实标签对比绘制ROC曲线。
2.4 结果可视化部分参考文件
caffe训练日志可视化1
caffe训练日志可视化2
Netscope
Netron
ROC理论1
ROC理论2
ROC曲线绘制1
ROC曲线绘制2
3 部署和量化
3.1 部署
部署有三种推荐方式，OpenCV DNN模块调用caffe模型/mini-caffe/ncnn。本文主要介绍DNN调用caffe模型和ncnn。
OpenCV调用caffe模型代码(dnn_test.cpp)如下：
#include "pch.h"
#include <iostream>
#include <fstream>
#include <sstream>
#include <opencv2/opencv.hpp>
#include <opencv2/dnn.hpp> //dnn模块
#include <time.h>
using namespace std;
using namespace cv;
using namespace ::dnn; //调用DNN命名空间
clock_t start, finish;
String model_file = "model/model.caffemodel"; //模型结构文件
String model_text = "model/deploy.prototxt"; //模型数据
//图像深度学习检测
double detect_NN(Mat detectImg, Net net)
{
if (net.empty())
{
cout << "no model!" << endl;
return -1;
}
//initialize images(输入图像初始化)
Mat src = detectImg.clone();
if (src.empty())
{
return -1;
}
//图像识别转换
//第一个参数输入图像，第二个参数图像放缩大小，第三个参数输入图像尺寸,第四个参数模型训练图像三个通道RGB的均值（均值文件）
start = clock();
Mat inputBlob;
//resize(src, src, Size(227, 227));
// 参数分别为输入图像，归一化参数，模型大小，BGR均值
inputBlob = blobFromImage(src, 1.0, Size(227, 227), Scalar(92.71, 106.44, 118.11));
Mat prob; //输出结果
//循环
for (int i = 0; i < 1; i++)
{
net.setInput(inputBlob, "data");
prob = net.forward("prob"); //输出层2
}
Mat probMat = prob.reshape(1, 1); //转化为1行2列
Point classNumber; //最大值的位置
double classProb;
//最大值多少
//最大最小值查找，忽略最小值
minMaxLoc(probMat, NULL, &classProb, NULL, &classNumber);
int classidx = classNumber.x;
printf("classidx is:%d\n", classidx);
printf("prob is %f\n", classProb);
finish = clock();
double duration = (double)(finish - start);
printf("run time is %f ms\n", duration);
return duration;
}
int main()
{
Net net = readNetFromCaffe(model_text, model_file);
Mat detectImg = imread("image/cat.jpg");
double runTime = detect_NN(detectImg, net);
return 0;
}
以上只是caffe简单调用分类模型。其他网络调用可以参见以下链接：
https://docs.opencv.org/4.1.1/d6/d0f/group__dnn.html
https://blog.csdn.net/LuohenYJ/column/info/34751
另外一种就是通过ncnn，ncnn调用已经写过博客，可以参见以下链接：
https://github.com/Tencent/ncnn/wiki/ncnn-组件使用指北-alexnet
https://blog.csdn.net/LuohenYJ/article/details/97031156
实际ncnn使用参考ncnn在github/examples目录文件调用。地址如下：
https://github.com/Tencent/ncnn/tree/master/examples
但是不管ncnn都需要输入模型均值，输入图像后要减去训练均值。如果不知道均值，只有binaryproto文件，可以建立mean.py读取binaryproto文件里面的信息,获得BGR均值。代码如下：
#coding=utf-8
import caffe
import numpy as np
# 待转换的pb格式图像均值文件路径
MEAN_PROTO_PATH = 'mean.binaryproto'
# 转换后的numpy格式图像均值文件路径
MEAN_NPY_PATH = 'mean.npy'
# 创建protobuf blob
blob = caffe.proto.caffe_pb2.BlobProto()
# 读入mean.binaryproto文件内容
data = open(MEAN_PROTO_PATH, 'rb' ).read()
# 解析文件内容到blob
blob.ParseFromString(data)
# 将blob中的均值转换成numpy格式，array的shape （mean_number，channel, hight, width）
array = np.array(caffe.io.blobproto_to_array(blob))
# 一个array中可以有多组均值存在，故需要通过下标选择其中一组均值
mean_npy = array[0]
print(mean_npy.mean(1).mean(1))
np.save(MEAN_NPY_PATH ,mean_npy)
3.2 量化
caffe模型太大，速度太慢。可通过float32转int8进行模型压缩和速度提升。量化的意思就是一般而言，神经网络模型的参数都是用的32bit长度的浮点型数表示，实际上不需要保留那么高的精度，可以通过量化，比如用0~255表示原来32个bit所表示的精度，通过牺牲精度来降低每一个权值所需要占用的空间。常用量化方法为int8量化，float 32进行int 8量化，能够使模型尺寸更小、推断更快、耗电更低。唯一的缺点，模型精度会下降。
int8量化主要方法可以见下图(图来自网上):
本文主要在ncnn下实现caffe的int8量化。caffe的int8量化项目地址为：
https://github.com/BUG1989/caffe-int8-convert-tools
量化方法非常简单,首先
git clone https://github.com/BUG1989/caffe-int8-convert-tools
然后进入caffe-int8-convert-tools，把验证集和caffe模型参数放入该目录，输入以下命令实现量化：
python caffe-int8-convert-tool-dev-weight.py --proto=model/deploy.prototxt --model=model/deploy.caffemodel --mean 92.713 106.446 118.15 --images=val/ --output=model.table
官方教程命令为：
python caffe-int8-convert-tool-dev-weight.py --proto=test/models/mobilenet_v1.prototxt --model=test/models/mobilenet_v1.caffemodel --mean 103.94 116.78 123.68 --norm=0.017 --images=test/images/ output=mobilenet_v1.table --group=1 --gpu=1
使用教程如下：
$ python caffe-int8-convert-tool.py --help
usage: caffe-int8-convert-tool.py [-h] [--proto PROTO] [--model MODEL]
[--mean MEAN MEAN MEAN] [--norm NORM]
[--images IMAGES] [--output OUTPUT]
[--gpu GPU]
find the pretrained caffe models int8 quantize scale value
optional arguments:
-h, --help show this help message and exit
--proto PROTO path to deploy prototxt.
--model MODEL path to pretrained weights
--mean MEAN value of mean
--norm NORM value of normalize
--images IMAGES path to calibration images
--output OUTPUT path to output calibration table file
--gpu GPU use gpu to forward
proto/model是caffe模型参数文件，mean为BGR均值，norm是caffe模型归一化参数，有些模型没有归一化就不要填，image是用于校准图像目录(jpg图像)。量化时需要校准，具体原理见:
https://arleyzhang.github.io/articles/923e2c40/
这样量化后获得输出文件model.table，在将caff模型转换为ncnn模型时，加入model.table，如下所示，就可以得到量化的模型。
./caffe2ncnn deploy.prototxt model.caffemodel model_int8.param model_int8.bin 256 model.table
上面256指的是quantizelevel量化级别，如果为0就不进行量化。如果某些层不想量化，打开model.table，输出那一层的量化参数。
调用int量化后的模型，和原来ncnn调用不量化的模型一样，ncnn会自动调用量化模型。
如果不行量化模型或者模型量化后精度较低，可以在ncnn下对模型优化ncnnoptimize。也就是合并模型某些层，比如conv层和relu层，具体如下：
https://github.com/Tencent/ncnn/wiki/model-optimize
调用命令很简单如下所示，其中65536表示2的16次方，即FP16，这表示模型优化还会将模型从float32转为float16。
ncnnoptimize model.param model.bin model-opt.param model-opt.bin 65536
对于squeezenet，就精度而言model和model-opt精度差不多，model_int8精度越降5%。就速度而言model-opt为model的95%，model_int8为model的90%。正常使用情况推荐：
model>model-opt>model_int8
3.4 部署和量化部分参考文件
OpenCV调用Caffe1
OpenCV调用Caffe2
OpenCV深度学习调用实例
ncnn入门1
ncnn入门2
caffe量化1
caffe量化2
ncnn量化详解
4 总结
本文只写了caffe分类模型的相关笔记，目标检测就没写了。因为用darknet的yolo比较多。有空在写caffe目标检测的笔记。
