1.课题来源与背景1.1 课题来源于省自然科学基金项目“基于视频监控的群体异常事件检测关键技术研究”1.2 研究背景视频中异常事件检测研究在公共安全领域有非常重要的研究价值。现有的检测方法仍然存在检测率低,定位精度差的问题。国内外研究人员大致从两个方向解决视频异常事件检测问题:(1)帧级检测准确率较高,但是并不能体现出异常事件发生的具体区域和内容。(2)像素级检测可以显示异常区域,但无法体现视频帧之间的时间相关性。针对上述问题,提出一系列面向视频监控的群体异常事件检测方法,包括基于CNN和LSTM的视频异常事件检测研究、基于FCN和LSTM的视频异常事件检测研究、基于光流场和ELM的视频异常事件检测研究等。2.研究目的与意义2.1研究目的通过对极限学习机、卷积神经网络、全卷积神经网络、长短期记忆网络的研究,提出一系列面向视频监控的群体异常事件检测方法,包括基于CNN和LSTM的视频异常事件检测研究、基于FCN和LSTM的视频异常事件检测研究、基于光流场和ELM的视频异常事件检测研究。2.2.研究意义视频异常事件检测是智能视频监控中一个重要研究方向,在安防领域具有广泛应用前景,视频异常检测系统发挥着很大的作用。视频异常检测系统一方面减少罪案的发生;另一方面可以做到提前预警、快速出警。智能视频监控系统在人类生活发挥越来越重要的作用,视频群体异常事件检测具有特别大发展前景。3.主要论点与论据项目在基于帧级、像素级的视频群体异常事件检测等方面,突破传统视频异常事件检测人工提取特征的局限性,加入视频的时序关系特征,充分考虑集成的有效度、开放性、扩展性,实现各子系统的管理和信息最大程度的共享,便于今后系统的扩充及增容等,预留未来的功能拓展,解决关键问题如下:(1)基于帧级的视频异常事件检测先对输入的视频进行数据预处理,将处理好的数据利用设计的卷积神经网络,得到每一帧的图像深度特征。再通过LSTM算法得出视频的时序关系特征,并根据得到的深度特征融合时序关系特征,训练视频异常事件检测模型,根据训练好的模型进行分类,判断每一帧发生异常事件的概率,判断每一帧是否发生异常。(2)基于像素级的视频异常事件检测提出一种融合全卷积神经网络和记忆网络的视频异常事件检测模型(FCN-LSTM)。首先利用卷积神经网络提取视频帧的图像特征,并输出3个不同深度的中间层结果,这些中间层结果代表着视频帧图像的浅层纹理特征和深层逻辑特征。然后把中间层结果分别输入记忆网络中,以时间为轴线分析前后帧之间语义信息的相关性。最后利用残差结构融合不同深度的图像特征和语义信息,构成不同层级的多模态特征,并通过跳级结构和上采样把多模态特征扩大成与原视频帧大小相同的预测图。4.创见与创新对视频群体异常事件检测模型进行仿真,具体如下:(1)基于人工提取特征的方法,实现基于人工提取特征的视频异常事件检测。完成了基于ELM算法的视频异常事件检测的仿真,提取了视频群体运动表述特征:人群的平均动能、人群的方向熵、人群的距离势能等特征,训练了基于ELM算法和SVM算法的视频群体异常事件检测模型。(2)基于深度特征的群体视频异常事件检测完成了基于CNN和LSTM的视频异常事件检测,根据深度学习的卷积神经网络提取深度特征,结合LSTM算法实现视频异常事件检测仿真,在测试集上F1达到94%以上,模型具有较强的泛化能力。同时,在UCSD数据集和UMN数据集上与其他模型进行了比较,该模型的AUC远高于其他模型。(3)基于FCN和LSTM相结合的视频局部异常事件检测。基于FCN和LSTM构建的深度学习模型FCN-rLSTM,可以进行端对端、像素对像素的训练。为了得到更精细的语义分割结果,我们引入残差的思想,结合了来自卷积层的深度图像特征信息和来自LSTM层的深度语义信息,并且加快了训练的速度。我们在标准数据集UCSD上进行了实验,取得了良好的结果,在测试集上准确率达到了99.88%,F1达到94.86%,可见该模型具有较强的泛化能力。同时,在UCSD数据集上与其他模型进行了比较,该模型的AUC达到98.2%,远高于其他模型。实验结果表明,该模型的性能优于其他模型。5.社会经济效益在项目实施过程中,开展与中小科技企业的科技合作,解决技术关键和技术难点问题,提升创新能力。积极开展产学研成果合作,并进行科研成果转化,提升企业的创新能力,为企业创造一定的经济效益。6.历年获奖情况无7.成果简介项目在基于帧级、像素级的视频群体异常事件检测等方面,突破传统视频异常事件检测人工提取特征的局限性,加入视频的时序关系特征。完成视频群体异常事件检测的仿真,实现基于人工提取特征的视频异常事件检测;基于深度特征的群体视频异常事件检测;基于FCN和LSTM相结合的视频局部异常事件检测。