2024年4月6日发(作者：)
谈世磊等:基于
Y0L0v5
网络模型的人员口罩佩戴实时检测
《
激光杂志
》
2021
年第
42
卷第
2
期
LASER
JOURNAL(
Vol.
42
,No.
2,2021
)
•
光电技术与应用
•
147
基于
YOLOv5
网络模型的人员口罩佩戴实时检测
谈世磊
J
别雄波
S
卢功林
J
谈小虎'
'重庆大学自动化学院
，
重庆
400044
；
2
重庆科技发展战略研究院有限责任公司
，
重庆
401123
；
'太原科技大学应用科学学院
，
太原
030024
摘要:近年来
，
随着硬件算力的提升和人工智能算法的创新发展
，
使得深度学习算法在目标检测方面有
着广泛的应用
。
针对现有人工方式查看人员口罩佩戴情况的不足
，
提出了一种基于深度学习
YOLO
v
5
算法实
现对口罩佩戴情况的实时检测
。
算法首先将数据集进行归一化处理
，再将数据接入
YOLO
v
5
网络进行迭代训
练
，
并将最优权重数据保存用作测试集测试
，
算法通过
tensorboard
可视化显示训练和测试结果
。
实验结果表
明
，
所提算法检测的准确性高
，
实时性强
，
满足实际使用需求
。
关键词:
YOLOv5
；
口罩检测
；
最优权重
;
tensorboard
中图分类号:
TN249
文献标识码
：
A
doi
：
10.
14016/j.
cnki.
jgzz.
2021.02.
147
Real-time
detection
for
mask-wearing
of
personnel
based
on
YOLOv5
network
model
TAN
Shilei
1
,
BIE
Xiongbo
2
,
LU
Gonglin
1
,TAN
Xiaohu
3
1
College
of
automation,
Chongqing
University
,
Chongqing
400044,
China
；
2
Chongqing
Academy
of
Science
and
Technology
far
Development
,
Chongqing
400123
,
China
；
3
College
of
Applied
Sciences
,
Taiyuan
University
of
science
and
technology
,
Taiyuan
030024
,
China
Abstract:
In
recent
years
,
with
the
improvement
of
hardware
computing
power
and
the
innovation
and
develop
ment
of
an
artificial
intelligence
algorithm
,
a
deep
learning
algorithm
has
been
widely
used
in
target
detection.
Given
the
deficiency
of
the
existing
manual
way
to
check
the
masks'
wearing
,
this
paper
proposes
a
real-time
detection
meth
・
od
based
on
deep
learning
YOLOv5
algorithm.
Firstly
,
the
data
set
is
normalised
,
and
then
the
data
is
connected
to
the
YOLOv5
network
for
iterative
training
,
and
the
optimal
weight
data
is
saved
for
the
test
set
test.
The
algorithm
vis
ually
displays
the
training
and
test
results
through
Tensorboard.
The
experimental
results
show
that
the
proposed
algo
rithm
has
high
accuracy
,
strong
real-time
performance
,
and
is
able
to
meet
the
practical
demands.
Key
words
:
YOLOv5
；
mask
detection
；
optimal
weight
；
Tensorboard
1
引言
近年来
，
人工智能技术被应用于各行各业中
，
从
现有产品的实际效果来看
，计算机视觉和自然语言处
理算法的效果显著
，
优于现有的人工或机器学习方
法
。
目标识别作为计算机视觉算法的一个主要应用
，
相关算法也被应用于航空航天探测
、
交通安全
、
工业
设备产品检测等方面
。
视觉算法较传统目标检测识
收稿日期
：
2020-07-14
基金项目
：
国家自然科学基金重点项目
(
N
。
.
61933012)
作者
简介:谈世磊
(1990-),
博士研究生
，
研究方向
：
计算机视觉
、
群体
无人机系统
、
自适应控制等
。
：
tanshilei@
cqu.
edu.
cn
通讯作者:
别雄波
(1988-),
硕士
，
中级工程师
,
研究方向:光纤传感
、
算
法研究
。
别方法在多目标
、
大尺度
、
多重叠等方面效果更
佳
H
O
由于新冠疫情在全球蔓延
，
危害着
70
亿人口的
生命财产安全
，
目前我国要求人员在乘坐公共交通
(火车
、
地铁
、
飞机等)和人员聚集场所(商场
、
医院
、
农贸市场等)必须佩戴口罩
。
针对人员是否佩戴口罩
采用的主要方法是人工查看方式
，
在固定的出入口配
备检查人员
，
这种方法不具有全天候性
，
且在大流量
人口出入区域容易产生漏检情况
，
这样给疫情防控带
来了很大的安全隐患
。
目前全国范围内有少部分学者对口罩佩戴检测
做了研究
。
邓黄潇⑹提出了运用迁移学习和
Retina
Net
网络对口罩佩戴检测
，
验证集下
AP
到达
86.
5%
。
肖俊杰⑷运用了
YOLOv3
和
YCrCb
方法
，
口罩检测
http
:
//www.
laserjoumal.
cn
148
谈世磊等:基于
Y0L0v5
网络模型的人员口罩佩戴实时检测
《
激光杂志
》
2021
年第
42
卷第
2
期
LASER
JOURNAL(
Vol.
42
,
No.
2
,
2021
)
AP
达
89%,
同时正确佩戴识别了达
82.
5%
o
牛作东
等人⑺提出了
Retina
Face
算法进行了优化
，
增加了
佩戴检测任务
，
同时引进了自注意力机制
，
实验结果
表明检测效果较好
。
管军霖等人⑻运用
YOLOv4
方
法,检测精度和速度都比较理想
，
可以满足大部分场
合口罩佩戴检测需求
。
邹佰翰等人⑼提出了轻量级
用了
Mosaic
方式增强数据
，
这种方式对小目标检测效
果比较理想
，
符合本文口罩这种小目标检测需求
。
YOLO
算法中都需要将输入图像的尺寸变换成固定
大小
，
再送入检测模型中训练
，
本文设计图片标准尺
寸为
460x460x3
。
在网络训练前都需要设定初始的
锚框,
YOLOv5
设定的初始锚框为
［
116,90,
156,198,
373,326
］
、
［
30,61,
62,45,
59,119
］
、
［
10,13,
16,
30,
33,23
］
。
网络模型在基础锚框的基础上训练得
到预测框
，
并和真实框进行比较,根据差值反向更新,
迭代调整网络模型参数
。
CNN
的口罩人脸检测方法
，
分析了
Pyramid
Box-Lite
模型
、
基于
SSD
算法的
Keras
模型和基于
Center
Face
的口罩检测模型
，
对这
3
种模型进行了测试分析
，
给
出了各种方法的优劣和适用性情况。
谢征宇等人
"°)
提岀了一种运用于轨道交通车站的口罩佩戴检测技
术
，
分析了百度公司的
Pyramid
Box
算法
、
滴滴公司的
DFS
算法和华为的
Model
Arts
平台口罩检测套件
。
在上文所提学者研究的基础上
，
利用新提出的
YOLO
v
5
网络模型进行口罩佩戴检测
。
该研究首先对
获取到的图像进行归一化处理,然后将训练图片送入
YOLO
v
5
模型进行训练
，
得到最佳的网络权重数据
，
再
对测试图片进行预测分析,检测流程如图
1
所示
。
实
验结果表明:所提算法在检测速度和准确性方面均优
于上述学者所提算法
，
证明了方法的有效性和实
用性
。
训练
图片
测试
图片
2.
2
Backbone
Backbone
包含
Focus
结构和
CSP
结构
。
Focus
结
构不存在与
YOLOv3
［
13
-'
61
和
v4
版本中
，
其关键步骤
为切片操作
，
如图
3
所示
。
例如将原始图像
416*416
*3
接入
Focus结构中
，
通过切片操作
，
变为
208
*208
*12
的特征图
，
接下来进行一次
32
个卷积核操作
，
变
为
208
*208
*32
的特征图
。
人员口罩
数据集
图
3
切片操作
测试结果
图
1
检测流程图
2
YOLOv5
网络模型介绍
YOLOv5
(You
Only
Look
Once
)
是由
Ultralytics
LLC
公司于
2020
年
5
月份提出
，
其图像推理速度最
快达
0.
007
s,
即每秒可处理
140
帧
，
满足视频图像实
时检测需求
，
同时结构更为小巧
,YOLOv5s
版本的权
重数据文件为
YOLO
v
4
［
11
-
12
］
的
1/9,
大小为
27
MB
O
其网络模型结构如图
2
所示
。
YOLOv4
目前只在主干网络中采用了
CSP
结构
，
v5
版中设计了
2
种
CSP
结构
,
CSP1
_X
和
CSP2_X
。
其中
,
CSP1
_X
结构主要应用于
Backbone
网络中
，
CSP2_X
结构主要应用于
Neck
结构中
。
二者结构具
体图
2
中所示
。
2.
3
Neck
Neck
中采用了
FPN+PAN
的结构
，
FPN
是自上而
下的
，
利用上采样的方式对信息进行传递融合
，
获得
预测的特征图
。
PAN
采用自底向上的特征金字塔
。
具体结构如图
4
所示
。
由上图可知模型主要分为
4
个部分
，
分别为
In
put
‘
Backbone
、
Neck
和
Prediction
o
2.
1
Input
端
Input
端包括
Mosaic
数据增强
、
图片尺寸处理
、
自
适应锚框计算三部分
。
YOLO
v
5
与
YOLOv4
一样都采
2.
4
Prediction
Prediction
包括
Bounding
box
损失函数和非极大
值抑制
(
NMS)
。
YOLOv5
中使用
GIOU_Loss
作为损
http
:
//www.
laserjournal,
cn
谈世磊等:基于
Y0L0
v
5
网络模型的人员口罩佩戴实时检测
《
激光杂志
》
2021
年第
42
卷第
2
期
LASER
JOURNAL(Vol.
42,
No.
2,2021
)
失函数
，
有效解决了边界框不重合时问题
。
在目标检
测预测结果处理阶段
，
针对出现的众多目标框的筛
149
选
，
采用加权
NMS
操作
，
获得最优目标框
。
本文采用
giou_loss
作为损失函数
，
如公式
(
2)
所
示,具体内容见参考文献
［
17
］
。
在模型迭代到
450
次
时
，
损失函数保持稳定
，
数值在
0.01
左右
。
3
实验及结果
3.
1
实验数据集及实验环境
实验从线上收集了
5
000
张人员口罩佩戴图像
，
制作训练和测试数据集.数据集包括了
3
种类别
，
分
别为
mask
、
none
、
poor
。
其中
，
mask
表不人员已正确佩
戴口罩;
none
表示人员未佩戴口罩;
poor
表示人员已
佩戴口罩
，
但佩戴不规范,未能达到防护效果
。
数据
查准率
，
即预测数据集中预测正确正样本总数
/
实际正样本总数,如公式
(
3)
所示
，
其中
FP
表示将负
类别预测为正确类别数
。
在模型迭代到
350
次时
，
数
值大于
0.9
。
TP
precision
=护+刖
(3)
mAP.0
5
ta«
集采用
PASCAL
VOC
格式
，
并在原数据集的基础上进
行扩充
，
采用翻转和旋转两种方式
，
得到了
30
000
张
图片。
图片目标标注使用
Labellmg,
标注后的文件以
xml
作为后缀
，
文件名和图片名称一致
。
对数据集的
划分如表
1
所示
。
表
1
人员口罩检测数据集划分
参数
总数据集数
训练集
数值(张)
0
50
100
150200
250
300
350400
450
500
30
000
recall
21
000
9
000
测试集
实验环境使用
Ubuntu
16.
04
操作系统
，
选用
Ten-
sorFlow
架构
，
使用
GeForce
GTX
TITAN
的显卡进行运
算
。
具体实验配置如表
2
所示
。
0
50
100
150
200
250
300
350
400
450
500
si
h'
”
愣
A
0.7
0.6
0.5
0.4
0.3
0.2
0
50
100150
200
250
300
350400
450
500
1.1
表
2
实验环境配置
参数
giou_loss
recall
配置
图
5
模型性能评估
CPU
GPU
系统环境
Intel(R)
Core(TM)
i5-8400
CPU
@
2.
80
GHz
GeForce
GTX
TITAN
Ubuntu
16.
04
从图
5
各数据性能评估结果可以得出
，
所用
YOLOv5
网络模型在训练阶段结果比较理想
。
语言
Python2.
7
加速环境
CUDA9.
0
3.2
YOLOv5
网络训练
网络模型训练阶段,迭代批量设置大小为
128,
衰
减系数为
0.
000
5
,
总迭代次数为
500
次
，
初始学习率
设置为
0.
001
,
当迭代次数分别达到
400
次和
450
次
时,将学习率分别降低至
0.000
1
和
0.
000
01
o
大约
在
450
次迭代后
，
模型收敛
。
其平均精度均值
(
mAP)
、
召回率
(
recall)
、
损失函数
(
giou_loss)
查准率
(precision)
如图
5
所示
。
从图中可以看出
，
平均精度
均值
，
即所有类别的平均精度求和除以数据集中所有
类的平均精度的平均值,当模型迭代到
30
次时
，
平均
精度均值接近于
1
。
召回率
，
即样本中的正确类别被
预测正确的概率,如公式
1
所示
，
其中
7P
表示将正确
类预测为正确类别数
，
F/V
表示将正确类别预测为负
3.3
实验结果与分析
模型训练完成后
，
将测试数据集输入至模型中
，
测试结果如图
6
所示
。
图中蓝色目标框表示以正确
佩戴口罩;黄色目标框表示为佩戴口罩
；
粉红色目标
框表示未按标准规范佩戴口罩
。
目标框上的数值代
表为各类别标签的置信度
。
从算法测试结果可以看
出算法很好地区分了
3
种口罩佩戴情况
，
同时在多目
标下没有出现漏检情况
。
实验通过准确率来衡量算法测试的实际效果
，
为
算法对每张图片各类别检测的
Accuracy
求和后除以
该图片各类别目标的和
N
：
V
Accuracy
宀
⑷
人员口罩目标检测准确率
Accuracy
等于图片中
算法正确检测出的样本数除以图片中各类别的
样本总数
，
即检测正确样本数
Nm*
和检测错误样本数
N
f
血
，
具体表示如下式所示
：
仏叫=芒盂
：
⑸
类别数
。
在模型迭代到
20
次时
，
数值接近于
1
。
http
:
//www.
laserjoumal.
cn
150
谈世磊等:基于
Y0L0v5
网络模型的人员口罩佩戴实时检测
《
激光杂志
》
2021
年第
42
卷第
2
期
LASER
JOURNAL(Vol.
42,
No.
2,2021
)
Processing
of
Mobile
Robot
Based
on
OpenCV
[
J
]
.
Journal
of
Computer
Science
,
2017
,
28(5
)
：
255-275.
[2]
Alshemali
B
,
Kalita
J.
Improving
the
reliability
of
deep
neural
networks
in
NLP
：
A
review
[
J
]
.
Knowledge
-
Based
Systems
,2020
,
191.
[3
]
Jung
N
,
Lee
G.
Automated
classification
of
building
infor
mation
modeling
(
B1M
)
case
studies
by
BIM
use
based
on
natural
language
processing
(
NLP)
and
unsupervised
leam-
ing[
J
j
.
Advanced
Engineering
Informatics
,
2019
,
41
(
8
)
:
100917.
1-100917.
10.
[4]
A
N
B,
B
J
N
F,
C
S
C,
et
al.
The
Hanabi
challenge
:
A
new
frontier
for
Al
research
[
J
j
.
Artificial
Intelligence
,
2020,
280.
[5]
邓黄潇•基于迁移学习与
RetinaNet
的口罩佩戴检测的
方法
[J]
・
电子技术与软件工程
,2020,
01
(05):209-
211.
[6]
[7]
肖俊杰.基于
YOLOv3
和
YCrCb
的人脸口罩检测与规范
佩戴识别
[J].
软件,
2020,041(007):164-169.
图
6
算法测试效果
牛作东
，
覃涛
，李捍东
，
等.改进
RetinaFace
的自然场景
口罩佩戴检测算法
[J]
・
计算机工程与应用
，
2020.
12
：
1
-7.
表
3
给出了本文算法与参考文献中其他
3
种算
法测试性能对比,本文算法的准确率为
92.4%
，
分别
比文献中的
3
种算法提高了
6%
、
3.4%
.4.7%
；
检测
速度为
140
帧
/s,
相比于文献
［
8
］
中的算法提高了近
8
倍的速度
，
这得益于
YOLO
v
5
较小的权重数据
。
由此
可知本文所提算法均优于其他
3
种现有算法,能够满
足实时检测要求
。
表
3
算法性能对比
算法
[8]
[9]
管军霖智鑫.基于
YOLOv4
卷积神经网络的口罩佩戴
检测方法
[J]
・
现代信息科技
，
2020,
011(004)
：
9-12.
邹佰翰
，
秦亚亭,苑晓兵
，
等.基于轻量级
CNN
的口罩人
脸检测方法现状研究
[J].
软件
，
2020,
041(008):186-
188.
[10]
谢征宇
，
曹志威,李永玲
，
等.基于视频的轨道交通车站
乘客口罩佩戴检测及测温技术
[J].
中国铁路,
2020,3
：
126-131.
[11]
Bochkovskiy
A
, Wang
C
Y
,
Liao
H
Y
M.
YOLOv4
:
Opti
帧
/s
准确率
(％)
mal
Speed
and
Accuracy
of
Object
Detection
[
J
j
.
2020
,
57
(5):9-12.
参考文献
5
86.
45
89.04
5
参考文献
6
参考文献
8
本文算法
35
[12]
Wu
D,
Lv
S,
Jiang
M
,
et
al.
Using
channel
pruning-based
YOLO
v4
deep
learning
algorithm
for
the
real-time
and
ac
curate
detection
of
apple
flowers
in
natural
environments
87.7
92.4
1&3
140
[
J
]
.
Computers
and
Electronics
in
Agriculture
,
2020
,
178
(5)
：
174-178.
4
结束语
综上所述
，
为实现检测的准确性和实时性
，
并将
人工从繁杂的检测工作中解放岀来
，
提出一种基于
YOLO
v
5
网络模型的人员口罩佩戴实时检测算法
。
该
方法经实验测试,准确率高且能达到视频图像实时性
要求
，
证明本文方法具有一定的优势,但是受时间与
精力的限制
，
算法还存在一定的局限性
，
目前只在实
验环节通过了验证
，
后期将测试完成后的算法部署至
云服务器端
，
并在需检测口罩的地点安装网络摄像头
采集人员口罩佩戴信息,通过互联网上传信息至云端
进行处理
，
处理结果返回监控中心实时查看
，
验证后
进行批量推广应用
。
[13
]
Redmon
J
,
Farhadi
A.
YOLOv3
:
An
Incremental
Improve
ment
[
J
]
.
arXiv
e-prints,
2018,87(8)
：
101-104.
[14]
Xu
Z
F,
Jia
R
S,
Sun
H
M,
et
al.
Light
-
Y0L0v3
：
fast
method
for
detecting
green
mangoes
in
complex
scenes
using
picking
robots
[
J
J
.
Applied
Intelligence
,
2020
,(6)
：
1
-18.
[15]
J.
Tianchi
,
LI
Qiang,
MAOSONG
L,
et
al.
Target
detec
・
tion
method
combining
inverted
residual
block
and
YOLOv3
[
J].
Transducer
and
Microsystem
Technologies
,
2019,36
(11):56-61.
[16]
PANG
L,
LIU
H,
CHEN
Y,
et
al.
Real-time
Concealed
Object
Detection
from
Passive
Millimeter
Wave
Images
Based
on
the
YOLOv3
Algorithm
[
J
]
.
Sensors
(
Basel,
Switzerland)
,
2020,
20(6)
：
44-50.
_17]
Rezatofighi
H
,
Tsoi
N
,
Gwak
J
Y,
et
al.
Generalized
Inter
section
Over
Union
:
A
Metric
and
a Loss
for
Bounding
Box
Regression
[
C
]
//
2019
IEEE/CVF
Conference
on
Comput
er
Vision
and
Pattern
Recognition
(
CVPR
).
IEEE
,
2020.
参考文献
|
1
]
Zhang
S
J
,
Zhang
Lei
,
Gao
R.
Research
on
Visual
Image
http
:
//www.
laserjoumal.
cn
发布评论