找到13项技术成果数据。
找技术 >基于时间振荡相关与空间整合编码的视觉感知-眼动控制神经网络系统的模拟研究与应用
成熟度:-
技术类型:-
应用行业:科学研究和技术服务业
技术简介
人类和某些动物的视觉感知认知系统表现出了极高的灵敏度和准确度。人类和这些动物的视觉感知和眼动控制机制,以及相关神经信息编码的动力学、信息学和统计学习的原理和实现技术是该成果的主要内容。该成果主要体现在三个方面:自底向上的视觉感知和时间相关神经信息编码;由顶向下的眼动控制和空间相关神经信息编码;自底向上的视觉感知和由顶向下的眼动控制相结合视觉神经网络模型及其应用。在第一个方面,该成果通过对视点数据的分析提出了两个原创性视觉选择性注意模型:基于人类视觉系统尺度选择和基于全局稀有性的图像显著性感知计算模型。通过与真实人眼视点基准测试库对比显示了良好的预测效果。此外,该成果研究了如何通过视觉感知神经元的脉冲同步振荡实现特征捆绑和时间相关的神经信息编码。相应地提出了采用WilsOn-COwan振荡子的脉冲同步发放模型,并通过环域定理等理论分析,给出了脉冲同步振荡发生的边界条件。该模型可以对图像内不同物体以不同的相位进行编码表达和特征捆绑,同时通过脉冲发放一致性检测对编码信号进行解码以实现不同物体的图像分割和初步理解。在第二个方面,该成果研究了视网膜中央凹成像模拟、基于Hebbian神经学习规则的稀疏编码、基于LGBP不变性特征响应的纹理区域描述及相应的图像目标编码表示方法。这些方法在FERET和FRGC基准人脸图像库中的图像重构和识别应用上显示了良好的效果。此外,该成果提出了一套视觉图像目标上下文空间相关神经信息编码的理论、技术和系统。该系统可以模拟高级感知认知神经元对眼动的多级多尺度控制机制,可以根据目标外围由远到近的视觉上下文进行渐进式空间关系编码,也可以应用于视觉目标的搜索。在第三个方面,该成果提出了特征驱动和任务驱动双向结合的视觉感知-眼动控制神经网络系统。通过将模型复杂度与推广性的机器学习理论成功应用于视觉神经网络建模,该成果提出的群体细胞神经编码结构在UniversityOfBern国际基准头肩像数据库的编解码测试中取得了显著性的实验结果:在小样本(30个训练样本vs.270个测试样本)情况下,多细胞编码在目标搜索和定位的精度上的平均综合误差在3.1个像素左右,相对单细胞和k-近邻编码高出35.6%和16.4%,但编码量分别只是二者的88%和5%。这为进一步探索发现高效的视觉神经信息编码技术和应用展示了良好的前景。
开放、不确定环境下视觉感知与行为的类脑机器理解
成熟度:-
技术类型:-
应用行业:制造业
技术简介
目前已经全面超额的完成了本项目的研究内容。本项目根据项目计划书的规定,开展开放、不确定环境下视觉感知与行为的类脑机器理解的研究。 从以几方面总结神经科学对计算机视觉的启发点:A) 基本视觉皮层的特征;B) 初级视皮层的原理扩展到高级区域;C) 顺向、逆向、侧向联接;D) 视觉神经分层认知机制;E) 视觉神经系统的选择性注意机制;F) 动态信息的选择性记忆机制。 先后提出了可变形、各向异性膨胀深度卷积网络及其在特殊物体和特殊人物的检测中应用、多层次感知残差注意力孪生网络及其在高效在线目标跟踪中的应用、基于交互感知的时空金字塔注意力深度神经网络及其在行为分类中的应用、借鉴灵长类大脑局部和整体物体感知机制的目标检测与实例分割联合框架、多任务共享的神经网络及其在高效在线目标跟踪中的应用、人脑动态注意力感知物体尺度启发的目标跟踪神经网络、基于长短期记忆网络强化学习的视频内容语义描述,开发成功网络异质媒体监测系统、网络直播智能监控系统、网络内容审核系统,并在实战发挥重要作用。项目执行期内在IJCV、PAMI等IEEE Transactions上和ICCV、ECCV、CVPR、AAAI、ACM MM上发表论文论著共44篇。 申请和授权专利41项。 本项目成果获2020度国家自然科学奖二等奖1项(已公示)。
自然场景视觉感知和大数据分析
成熟度:正在研发
技术类型:-
应用行业:制造业
技术简介
p 1自然场景视觉感知自然场景视觉感知与理解是人工智能的前沿热点,其主要任务是对场景中的视觉要素进行认知,进而推断出其中包含的场景语义。IMAGINE实验室近年来相继从场景构成分析、场景内容推理、场景结构建模等角度对这一问题展开了系统研究,着重探索了融合先验建模与深度学习的自然场景视觉理解这一问题。相关成果在工业生产、安全监控等多个行业中进行了推广,先后获中国发明专利授权20余项,部分专利成果已在国家级高新技术企业和江苏省高新技术企业得到应用转化。近年来实验室还在多项国际/国内竞赛中取得佳绩,如:1)在教育部主办的2018年中国研究生智慧城市技术赛中,项目组研究生组成的NJU_Imagine_Lab队获视频动作识别组唯一的一等奖;另一支队伍NJU-Imagine-Lab队获车牌识别组唯一的一等奖(总参赛队伍1079支、共四个组别);2018年中国研究生智慧城市技术赛,项目组研究生获视频动作识别组唯一的一等奖和车牌识别组唯一的一等奖(部分队员的证书)2)项目组研究生组成的NJU_ImagineLab_Psenet 队在国际模式识别大会ICPR18的MTWI2018网络图像的文本检测国际挑战赛参赛1424个队伍中位列第5;3)在创新工厂、搜狗、美团点评、美图联合主办的第二届全球AI挑战赛(AI Challenger 2018)的无人驾驶视觉感知赛道中,实验室队伍获得亚军(AI Challenger2018覆盖81个国家、1100所高校、990家公司的近万支队伍)。课题组研究生在第二届全球AI挑战赛无人驾驶视觉感知赛道获得亚军应用案例基于深度相机的场景物体定位与抓取项目自然场景文字检测项目自然场景文字检测项目自动驾驶中的物体检测项目2大数据分析大数据具有规模大、种类多、产生速度快、有价值数据密度低等特点。对大数据信息分析具有重要意义,也是目前研究的热点,其主要任务是利用数据分析的方法从大数据中获取有价值信息。IMAGINE实验室近年来结合深度学习前沿技术和传统数据分析方法进行数据分析和预测,并在海关大数据分析项目和国网电力冰风灾害预测项目中进行应用。 /p
基于移动平台的视频信息隐藏关键技术研究
成熟度:可规模生产
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
该项目为国家自然科学基金资助联合基金面上项目(项目批准号:U1536121)。该项目主要研究成果如下:1.在移动视频的信息隐藏嵌入关键技术研究方面:将视觉感知模型引入移动视频信息隐藏机制,利用视觉感知模型计算视觉感知强度,实现最大限度隐藏。将视觉感知强度引入视频信息隐藏机制,探索了不同特征视频的对比敏感度、空域敏感度及时域敏感度三者之间的相互影响和作用强度,建立了基于视觉感知模型的块属性判决方法。构建了基于 STC 的视频信息隐藏模型,实现了视频信息隐藏和视觉感知模型的融合。2.在适应于移动平台的视频信息隐藏优化算法研究方面:从编码模式、DCT 系数、MV、熵编码等多个角度尝试构建了隐藏模型,结合编码理论,提高嵌入效率,提出了一种适用于移动通信电路域信道的抗语音声码器断续传输处理和有损压缩的信息隐藏算法。提出了适用于移动平台的分片多线程信息隐藏技术,有机地实现了隐藏的多线程编程。在核心隐藏算法理论研究的基础上,基于手机平台开发了系统应用平台。3.在移动平台视频信息隐藏的应用安全研究方面:提出了基于组件签名和数据加密的保证组件通信安全的解决方案;提出了一种基于机器学习的动态加载漏洞检测方法;提出了一个针对 Android 数据生命周期的风险评估模型;提出了一种应用层的隐私数据安全容器,为移动平台视频信息隐藏的应用建立了一个保护隐私的安全执行环境。提出了一种新的针对 Android 系统漏洞的修复策略构建模型,设计和实现了针对 Android 系统漏洞的热修复容器;提出了一种基于机器学习的权限动态管理方案。通过将 APP 运行在基于应用层的自主可控安全容器中,实现了移动平台上视频信息隐藏应用不受程序更新的影响。该项目在取得丰富的理论研究成果的同时还将研究成果进行了实际应用,将移动平台的视频信息隐藏优化算法进行了实现,通过将其运行在所实现的移动平台安全容器内,提高了应用安全性。
一种视觉感知网络中摄像机的组合选择方法
成熟度:正在研发
技术类型:发明
应用行业:文化、体育和娱乐业
技术简介
本发明公开了一种视觉感知网络中摄像机的组合选择方法,包括以下步骤:目标图像视觉直方图在线生成:在多个摄像机视域范围重叠情况下,对在线获得的观察到相同目标的多路摄像机的视频数据进行运动检测,由检测结果确定目标在视频帧图像空间的子区域,即获得目标图像区域;对目标图像区域进行局部特征提取;根据预先训练生成的视觉词典,计算该视角下目标图像区域的视觉直方图;序贯前向摄像机选择:选择一个最优视角,即最优摄像机;在未被选择的摄像机集合中,选择次优摄像机,将其加入已选摄像机集合,并从候选摄像机集合中剔除;不断重复直到所选摄像机计数达到需要的摄像机计数。
面向自动驾驶的高精度立体视觉感知系统
成熟度:通过小试
技术类型:-
应用行业:租赁和商务服务业
技术简介
本项目致力于开发一款基于双目相机、激光雷达、GPS和IMU等车载传感器的高精度立体视觉感知系统,旨在实现自动驾驶地图的高精度测绘和点云数据获取,从而提升自动驾驶系统的可靠性和安全性。随着自动驾驶技术的不断发展,高精度的地理信息数据变得越来越重要。自动驾驶技术公司和汽车制造商需要可靠的地图数据来支持自动驾驶系统的开发和测试。本项目研发的高精度感知系统能够很好地满足这一需求,提供准确的路况信息和点云数据。
面向高清/超高清的感知视频编码及其并行技术研究
成熟度:-
技术类型:-
应用行业:交通运输、仓储和邮政业
技术简介
该项目组围绕“高效的感知视频编码技术”研究,主要研究成果如下: 1.面向视频编码的视觉感知模型构建与建模:时空特性改进的恰可察失真模型、改进的显著性检测模型。 2.基于视觉特性的感知视频编码框架:提出一种基于显著性区域优先的最小可察觉失真模型(SRP-JND);提出了一种基于SRP-JND模型的感知视频编码算法;基于人眼视觉特性的率失真优化技术。 3.基于视觉特性的视频质量评价方法:基于Psytechnics方法,提出了一种全参考视频质量评价方法;针对基于相似性(SSIM)图像质量评价。 4.面向HEVC/H.265的编解码技术优化算法:CU划分快速算法;改进的帧层码率分配模型;HEVC的帧间快速算法研究;基于人眼主观特性的熵编码技术优化;环路滤波优化算法;HEVC中码率控制算法研究与优化;帧内与DCT变换。 5.适用于高清视频的帧率上变换算法:在单向运动估计和双向运动估计两种框架的基础上,提出了两种帧率上变换算法FSTFRC和BLFRC。 6.视频传输的丢包补偿技术:提出了一种基于样本和快速结构化的空间域错误隐藏改进算法;时空域结合的错误隐藏算法。 7.高清/超高清视频并行加速方案:完成了全I帧和全P帧的HEVC实时编解码系统,实现符合HEVC码流的全高清1080p实时编解码系统。
微装配机器人的视觉感知与智能控制技术研究
成熟度:-
技术类型:-
应用行业:制造业
技术简介
针对微装配机器人应用中存在的装配效率低和质量不稳定问题,本项目将机器学习相关理论引入微装配机器人领域,以ICF靶装配为应用原型,围绕机器人微装配中的视觉感知和智能控制两大科学问题,深入研究显微视觉场景下目标零件的自动识别、微装配过程中目标零件的智能跟踪、跨尺度零件位姿测量和具有自学习能力的机器人智能装配控制等关键技术,提出基于卷积神经网络的微零件的自动识别定位方法、基于“跟踪器+检测器”组合模式的微零件跟踪算法和基于强化学习的微装配机器人控制模型,有效的提升了微零件的装配效率和质量。 本项目研制出冷冻罩组件、微球-微管组件装配机器人系统样机,可实现冷冻罩和微管-微孔组件的机器人装配,装配的微靶已成功应用于激光核聚变实验。机器人样机的装配指标达到国内领先、国际一流的水平(与美国国家点火装置NIF微靶装配对标)。本项目研究成果共发表论文12篇,其中SCI收录6篇,EI收录论文6 篇;申请国家发明专利3项,培养研究生3名,达到项目预期成果要求。
螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法,范式图案通过螺旋形式运动,采用正弦方式实现范式的顺‑逆时针旋转,通过脑电采集设备采集使用者注视刺激图案时产生的脑电信号,将处理后的脑电信号输入计算机,采集到的脑电信号利用典型相关分析实现对脑电信号的特征提取及分类识别,本发明基于稳态运动视觉电位,设计了螺旋运动范式,图案整个运动过程中保持亮度恒定,降低了使用者的视觉疲劳,提高了EEG信噪比,对注视目标辨识准确率也更高,具有低闪烁,低适应性的特点,可以提升脑‑机接口的交互性能。
仿生视觉系统
成熟度:正在研发
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
仿生视觉系统 仿生视觉系统包含两个主要部分:仿生视觉感知模型和仿生视觉皮层模型,这两个模型都是基于生物视觉系统的生理结构而构建的。仿生视觉系统前段的视觉感知,采用高于生物视觉器官的电子器件,作为视觉模块的基本单元,获取目标的三维数据。在视觉感知段对图像信号进行色彩校正、图像锐化等初级处理,并发送至视觉处理子系统(类似于大脑视觉皮层)用作进一步处理,例如纹理分割、分类、识别、跟踪等等。仿生视觉处理系统应用了细胞神经网络,用于模拟人类视觉系统的视皮层。仿生视觉系统的功能是图像视觉信息处理,模拟动物的视觉功能,实现对复杂场景中多目标的探测、分类、识别、理解、跟踪等任务,并具有比生物的视觉系统更优越的性能。
找到13项技术成果数据。
找技术 >基于时间振荡相关与空间整合编码的视觉感知-眼动控制神经网络系统的模拟研究与应用
成熟度:-
技术类型:-
应用行业:科学研究和技术服务业
技术简介
人类和某些动物的视觉感知认知系统表现出了极高的灵敏度和准确度。人类和这些动物的视觉感知和眼动控制机制,以及相关神经信息编码的动力学、信息学和统计学习的原理和实现技术是该成果的主要内容。该成果主要体现在三个方面:自底向上的视觉感知和时间相关神经信息编码;由顶向下的眼动控制和空间相关神经信息编码;自底向上的视觉感知和由顶向下的眼动控制相结合视觉神经网络模型及其应用。在第一个方面,该成果通过对视点数据的分析提出了两个原创性视觉选择性注意模型:基于人类视觉系统尺度选择和基于全局稀有性的图像显著性感知计算模型。通过与真实人眼视点基准测试库对比显示了良好的预测效果。此外,该成果研究了如何通过视觉感知神经元的脉冲同步振荡实现特征捆绑和时间相关的神经信息编码。相应地提出了采用WilsOn-COwan振荡子的脉冲同步发放模型,并通过环域定理等理论分析,给出了脉冲同步振荡发生的边界条件。该模型可以对图像内不同物体以不同的相位进行编码表达和特征捆绑,同时通过脉冲发放一致性检测对编码信号进行解码以实现不同物体的图像分割和初步理解。在第二个方面,该成果研究了视网膜中央凹成像模拟、基于Hebbian神经学习规则的稀疏编码、基于LGBP不变性特征响应的纹理区域描述及相应的图像目标编码表示方法。这些方法在FERET和FRGC基准人脸图像库中的图像重构和识别应用上显示了良好的效果。此外,该成果提出了一套视觉图像目标上下文空间相关神经信息编码的理论、技术和系统。该系统可以模拟高级感知认知神经元对眼动的多级多尺度控制机制,可以根据目标外围由远到近的视觉上下文进行渐进式空间关系编码,也可以应用于视觉目标的搜索。在第三个方面,该成果提出了特征驱动和任务驱动双向结合的视觉感知-眼动控制神经网络系统。通过将模型复杂度与推广性的机器学习理论成功应用于视觉神经网络建模,该成果提出的群体细胞神经编码结构在UniversityOfBern国际基准头肩像数据库的编解码测试中取得了显著性的实验结果:在小样本(30个训练样本vs.270个测试样本)情况下,多细胞编码在目标搜索和定位的精度上的平均综合误差在3.1个像素左右,相对单细胞和k-近邻编码高出35.6%和16.4%,但编码量分别只是二者的88%和5%。这为进一步探索发现高效的视觉神经信息编码技术和应用展示了良好的前景。
开放、不确定环境下视觉感知与行为的类脑机器理解
成熟度:-
技术类型:-
应用行业:制造业
技术简介
目前已经全面超额的完成了本项目的研究内容。本项目根据项目计划书的规定,开展开放、不确定环境下视觉感知与行为的类脑机器理解的研究。 从以几方面总结神经科学对计算机视觉的启发点:A) 基本视觉皮层的特征;B) 初级视皮层的原理扩展到高级区域;C) 顺向、逆向、侧向联接;D) 视觉神经分层认知机制;E) 视觉神经系统的选择性注意机制;F) 动态信息的选择性记忆机制。 先后提出了可变形、各向异性膨胀深度卷积网络及其在特殊物体和特殊人物的检测中应用、多层次感知残差注意力孪生网络及其在高效在线目标跟踪中的应用、基于交互感知的时空金字塔注意力深度神经网络及其在行为分类中的应用、借鉴灵长类大脑局部和整体物体感知机制的目标检测与实例分割联合框架、多任务共享的神经网络及其在高效在线目标跟踪中的应用、人脑动态注意力感知物体尺度启发的目标跟踪神经网络、基于长短期记忆网络强化学习的视频内容语义描述,开发成功网络异质媒体监测系统、网络直播智能监控系统、网络内容审核系统,并在实战发挥重要作用。项目执行期内在IJCV、PAMI等IEEE Transactions上和ICCV、ECCV、CVPR、AAAI、ACM MM上发表论文论著共44篇。 申请和授权专利41项。 本项目成果获2020度国家自然科学奖二等奖1项(已公示)。
自然场景视觉感知和大数据分析
成熟度:正在研发
技术类型:-
应用行业:制造业
技术简介
p 1自然场景视觉感知自然场景视觉感知与理解是人工智能的前沿热点,其主要任务是对场景中的视觉要素进行认知,进而推断出其中包含的场景语义。IMAGINE实验室近年来相继从场景构成分析、场景内容推理、场景结构建模等角度对这一问题展开了系统研究,着重探索了融合先验建模与深度学习的自然场景视觉理解这一问题。相关成果在工业生产、安全监控等多个行业中进行了推广,先后获中国发明专利授权20余项,部分专利成果已在国家级高新技术企业和江苏省高新技术企业得到应用转化。近年来实验室还在多项国际/国内竞赛中取得佳绩,如:1)在教育部主办的2018年中国研究生智慧城市技术赛中,项目组研究生组成的NJU_Imagine_Lab队获视频动作识别组唯一的一等奖;另一支队伍NJU-Imagine-Lab队获车牌识别组唯一的一等奖(总参赛队伍1079支、共四个组别);2018年中国研究生智慧城市技术赛,项目组研究生获视频动作识别组唯一的一等奖和车牌识别组唯一的一等奖(部分队员的证书)2)项目组研究生组成的NJU_ImagineLab_Psenet 队在国际模式识别大会ICPR18的MTWI2018网络图像的文本检测国际挑战赛参赛1424个队伍中位列第5;3)在创新工厂、搜狗、美团点评、美图联合主办的第二届全球AI挑战赛(AI Challenger 2018)的无人驾驶视觉感知赛道中,实验室队伍获得亚军(AI Challenger2018覆盖81个国家、1100所高校、990家公司的近万支队伍)。课题组研究生在第二届全球AI挑战赛无人驾驶视觉感知赛道获得亚军应用案例基于深度相机的场景物体定位与抓取项目自然场景文字检测项目自然场景文字检测项目自动驾驶中的物体检测项目2大数据分析大数据具有规模大、种类多、产生速度快、有价值数据密度低等特点。对大数据信息分析具有重要意义,也是目前研究的热点,其主要任务是利用数据分析的方法从大数据中获取有价值信息。IMAGINE实验室近年来结合深度学习前沿技术和传统数据分析方法进行数据分析和预测,并在海关大数据分析项目和国网电力冰风灾害预测项目中进行应用。 /p
基于移动平台的视频信息隐藏关键技术研究
成熟度:可规模生产
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
该项目为国家自然科学基金资助联合基金面上项目(项目批准号:U1536121)。该项目主要研究成果如下:1.在移动视频的信息隐藏嵌入关键技术研究方面:将视觉感知模型引入移动视频信息隐藏机制,利用视觉感知模型计算视觉感知强度,实现最大限度隐藏。将视觉感知强度引入视频信息隐藏机制,探索了不同特征视频的对比敏感度、空域敏感度及时域敏感度三者之间的相互影响和作用强度,建立了基于视觉感知模型的块属性判决方法。构建了基于 STC 的视频信息隐藏模型,实现了视频信息隐藏和视觉感知模型的融合。2.在适应于移动平台的视频信息隐藏优化算法研究方面:从编码模式、DCT 系数、MV、熵编码等多个角度尝试构建了隐藏模型,结合编码理论,提高嵌入效率,提出了一种适用于移动通信电路域信道的抗语音声码器断续传输处理和有损压缩的信息隐藏算法。提出了适用于移动平台的分片多线程信息隐藏技术,有机地实现了隐藏的多线程编程。在核心隐藏算法理论研究的基础上,基于手机平台开发了系统应用平台。3.在移动平台视频信息隐藏的应用安全研究方面:提出了基于组件签名和数据加密的保证组件通信安全的解决方案;提出了一种基于机器学习的动态加载漏洞检测方法;提出了一个针对 Android 数据生命周期的风险评估模型;提出了一种应用层的隐私数据安全容器,为移动平台视频信息隐藏的应用建立了一个保护隐私的安全执行环境。提出了一种新的针对 Android 系统漏洞的修复策略构建模型,设计和实现了针对 Android 系统漏洞的热修复容器;提出了一种基于机器学习的权限动态管理方案。通过将 APP 运行在基于应用层的自主可控安全容器中,实现了移动平台上视频信息隐藏应用不受程序更新的影响。该项目在取得丰富的理论研究成果的同时还将研究成果进行了实际应用,将移动平台的视频信息隐藏优化算法进行了实现,通过将其运行在所实现的移动平台安全容器内,提高了应用安全性。
一种视觉感知网络中摄像机的组合选择方法
成熟度:正在研发
技术类型:发明
应用行业:文化、体育和娱乐业
技术简介
本发明公开了一种视觉感知网络中摄像机的组合选择方法,包括以下步骤:目标图像视觉直方图在线生成:在多个摄像机视域范围重叠情况下,对在线获得的观察到相同目标的多路摄像机的视频数据进行运动检测,由检测结果确定目标在视频帧图像空间的子区域,即获得目标图像区域;对目标图像区域进行局部特征提取;根据预先训练生成的视觉词典,计算该视角下目标图像区域的视觉直方图;序贯前向摄像机选择:选择一个最优视角,即最优摄像机;在未被选择的摄像机集合中,选择次优摄像机,将其加入已选摄像机集合,并从候选摄像机集合中剔除;不断重复直到所选摄像机计数达到需要的摄像机计数。
面向自动驾驶的高精度立体视觉感知系统
成熟度:通过小试
技术类型:-
应用行业:租赁和商务服务业
技术简介
本项目致力于开发一款基于双目相机、激光雷达、GPS和IMU等车载传感器的高精度立体视觉感知系统,旨在实现自动驾驶地图的高精度测绘和点云数据获取,从而提升自动驾驶系统的可靠性和安全性。随着自动驾驶技术的不断发展,高精度的地理信息数据变得越来越重要。自动驾驶技术公司和汽车制造商需要可靠的地图数据来支持自动驾驶系统的开发和测试。本项目研发的高精度感知系统能够很好地满足这一需求,提供准确的路况信息和点云数据。
面向高清/超高清的感知视频编码及其并行技术研究
成熟度:-
技术类型:-
应用行业:交通运输、仓储和邮政业
技术简介
该项目组围绕“高效的感知视频编码技术”研究,主要研究成果如下: 1.面向视频编码的视觉感知模型构建与建模:时空特性改进的恰可察失真模型、改进的显著性检测模型。 2.基于视觉特性的感知视频编码框架:提出一种基于显著性区域优先的最小可察觉失真模型(SRP-JND);提出了一种基于SRP-JND模型的感知视频编码算法;基于人眼视觉特性的率失真优化技术。 3.基于视觉特性的视频质量评价方法:基于Psytechnics方法,提出了一种全参考视频质量评价方法;针对基于相似性(SSIM)图像质量评价。 4.面向HEVC/H.265的编解码技术优化算法:CU划分快速算法;改进的帧层码率分配模型;HEVC的帧间快速算法研究;基于人眼主观特性的熵编码技术优化;环路滤波优化算法;HEVC中码率控制算法研究与优化;帧内与DCT变换。 5.适用于高清视频的帧率上变换算法:在单向运动估计和双向运动估计两种框架的基础上,提出了两种帧率上变换算法FSTFRC和BLFRC。 6.视频传输的丢包补偿技术:提出了一种基于样本和快速结构化的空间域错误隐藏改进算法;时空域结合的错误隐藏算法。 7.高清/超高清视频并行加速方案:完成了全I帧和全P帧的HEVC实时编解码系统,实现符合HEVC码流的全高清1080p实时编解码系统。
微装配机器人的视觉感知与智能控制技术研究
成熟度:-
技术类型:-
应用行业:制造业
技术简介
针对微装配机器人应用中存在的装配效率低和质量不稳定问题,本项目将机器学习相关理论引入微装配机器人领域,以ICF靶装配为应用原型,围绕机器人微装配中的视觉感知和智能控制两大科学问题,深入研究显微视觉场景下目标零件的自动识别、微装配过程中目标零件的智能跟踪、跨尺度零件位姿测量和具有自学习能力的机器人智能装配控制等关键技术,提出基于卷积神经网络的微零件的自动识别定位方法、基于“跟踪器+检测器”组合模式的微零件跟踪算法和基于强化学习的微装配机器人控制模型,有效的提升了微零件的装配效率和质量。 本项目研制出冷冻罩组件、微球-微管组件装配机器人系统样机,可实现冷冻罩和微管-微孔组件的机器人装配,装配的微靶已成功应用于激光核聚变实验。机器人样机的装配指标达到国内领先、国际一流的水平(与美国国家点火装置NIF微靶装配对标)。本项目研究成果共发表论文12篇,其中SCI收录6篇,EI收录论文6 篇;申请国家发明专利3项,培养研究生3名,达到项目预期成果要求。
螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法,范式图案通过螺旋形式运动,采用正弦方式实现范式的顺‑逆时针旋转,通过脑电采集设备采集使用者注视刺激图案时产生的脑电信号,将处理后的脑电信号输入计算机,采集到的脑电信号利用典型相关分析实现对脑电信号的特征提取及分类识别,本发明基于稳态运动视觉电位,设计了螺旋运动范式,图案整个运动过程中保持亮度恒定,降低了使用者的视觉疲劳,提高了EEG信噪比,对注视目标辨识准确率也更高,具有低闪烁,低适应性的特点,可以提升脑‑机接口的交互性能。
仿生视觉系统
成熟度:正在研发
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
仿生视觉系统 仿生视觉系统包含两个主要部分:仿生视觉感知模型和仿生视觉皮层模型,这两个模型都是基于生物视觉系统的生理结构而构建的。仿生视觉系统前段的视觉感知,采用高于生物视觉器官的电子器件,作为视觉模块的基本单元,获取目标的三维数据。在视觉感知段对图像信号进行色彩校正、图像锐化等初级处理,并发送至视觉处理子系统(类似于大脑视觉皮层)用作进一步处理,例如纹理分割、分类、识别、跟踪等等。仿生视觉处理系统应用了细胞神经网络,用于模拟人类视觉系统的视皮层。仿生视觉系统的功能是图像视觉信息处理,模拟动物的视觉功能,实现对复杂场景中多目标的探测、分类、识别、理解、跟踪等任务,并具有比生物的视觉系统更优越的性能。
找到13项技术成果数据。
找技术 >基于时间振荡相关与空间整合编码的视觉感知-眼动控制神经网络系统的模拟研究与应用
成熟度:-
技术类型:-
应用行业:科学研究和技术服务业
技术简介
人类和某些动物的视觉感知认知系统表现出了极高的灵敏度和准确度。人类和这些动物的视觉感知和眼动控制机制,以及相关神经信息编码的动力学、信息学和统计学习的原理和实现技术是该成果的主要内容。该成果主要体现在三个方面:自底向上的视觉感知和时间相关神经信息编码;由顶向下的眼动控制和空间相关神经信息编码;自底向上的视觉感知和由顶向下的眼动控制相结合视觉神经网络模型及其应用。在第一个方面,该成果通过对视点数据的分析提出了两个原创性视觉选择性注意模型:基于人类视觉系统尺度选择和基于全局稀有性的图像显著性感知计算模型。通过与真实人眼视点基准测试库对比显示了良好的预测效果。此外,该成果研究了如何通过视觉感知神经元的脉冲同步振荡实现特征捆绑和时间相关的神经信息编码。相应地提出了采用WilsOn-COwan振荡子的脉冲同步发放模型,并通过环域定理等理论分析,给出了脉冲同步振荡发生的边界条件。该模型可以对图像内不同物体以不同的相位进行编码表达和特征捆绑,同时通过脉冲发放一致性检测对编码信号进行解码以实现不同物体的图像分割和初步理解。在第二个方面,该成果研究了视网膜中央凹成像模拟、基于Hebbian神经学习规则的稀疏编码、基于LGBP不变性特征响应的纹理区域描述及相应的图像目标编码表示方法。这些方法在FERET和FRGC基准人脸图像库中的图像重构和识别应用上显示了良好的效果。此外,该成果提出了一套视觉图像目标上下文空间相关神经信息编码的理论、技术和系统。该系统可以模拟高级感知认知神经元对眼动的多级多尺度控制机制,可以根据目标外围由远到近的视觉上下文进行渐进式空间关系编码,也可以应用于视觉目标的搜索。在第三个方面,该成果提出了特征驱动和任务驱动双向结合的视觉感知-眼动控制神经网络系统。通过将模型复杂度与推广性的机器学习理论成功应用于视觉神经网络建模,该成果提出的群体细胞神经编码结构在UniversityOfBern国际基准头肩像数据库的编解码测试中取得了显著性的实验结果:在小样本(30个训练样本vs.270个测试样本)情况下,多细胞编码在目标搜索和定位的精度上的平均综合误差在3.1个像素左右,相对单细胞和k-近邻编码高出35.6%和16.4%,但编码量分别只是二者的88%和5%。这为进一步探索发现高效的视觉神经信息编码技术和应用展示了良好的前景。
开放、不确定环境下视觉感知与行为的类脑机器理解
成熟度:-
技术类型:-
应用行业:制造业
技术简介
目前已经全面超额的完成了本项目的研究内容。本项目根据项目计划书的规定,开展开放、不确定环境下视觉感知与行为的类脑机器理解的研究。 从以几方面总结神经科学对计算机视觉的启发点:A) 基本视觉皮层的特征;B) 初级视皮层的原理扩展到高级区域;C) 顺向、逆向、侧向联接;D) 视觉神经分层认知机制;E) 视觉神经系统的选择性注意机制;F) 动态信息的选择性记忆机制。 先后提出了可变形、各向异性膨胀深度卷积网络及其在特殊物体和特殊人物的检测中应用、多层次感知残差注意力孪生网络及其在高效在线目标跟踪中的应用、基于交互感知的时空金字塔注意力深度神经网络及其在行为分类中的应用、借鉴灵长类大脑局部和整体物体感知机制的目标检测与实例分割联合框架、多任务共享的神经网络及其在高效在线目标跟踪中的应用、人脑动态注意力感知物体尺度启发的目标跟踪神经网络、基于长短期记忆网络强化学习的视频内容语义描述,开发成功网络异质媒体监测系统、网络直播智能监控系统、网络内容审核系统,并在实战发挥重要作用。项目执行期内在IJCV、PAMI等IEEE Transactions上和ICCV、ECCV、CVPR、AAAI、ACM MM上发表论文论著共44篇。 申请和授权专利41项。 本项目成果获2020度国家自然科学奖二等奖1项(已公示)。
自然场景视觉感知和大数据分析
成熟度:正在研发
技术类型:-
应用行业:制造业
技术简介
p 1自然场景视觉感知自然场景视觉感知与理解是人工智能的前沿热点,其主要任务是对场景中的视觉要素进行认知,进而推断出其中包含的场景语义。IMAGINE实验室近年来相继从场景构成分析、场景内容推理、场景结构建模等角度对这一问题展开了系统研究,着重探索了融合先验建模与深度学习的自然场景视觉理解这一问题。相关成果在工业生产、安全监控等多个行业中进行了推广,先后获中国发明专利授权20余项,部分专利成果已在国家级高新技术企业和江苏省高新技术企业得到应用转化。近年来实验室还在多项国际/国内竞赛中取得佳绩,如:1)在教育部主办的2018年中国研究生智慧城市技术赛中,项目组研究生组成的NJU_Imagine_Lab队获视频动作识别组唯一的一等奖;另一支队伍NJU-Imagine-Lab队获车牌识别组唯一的一等奖(总参赛队伍1079支、共四个组别);2018年中国研究生智慧城市技术赛,项目组研究生获视频动作识别组唯一的一等奖和车牌识别组唯一的一等奖(部分队员的证书)2)项目组研究生组成的NJU_ImagineLab_Psenet 队在国际模式识别大会ICPR18的MTWI2018网络图像的文本检测国际挑战赛参赛1424个队伍中位列第5;3)在创新工厂、搜狗、美团点评、美图联合主办的第二届全球AI挑战赛(AI Challenger 2018)的无人驾驶视觉感知赛道中,实验室队伍获得亚军(AI Challenger2018覆盖81个国家、1100所高校、990家公司的近万支队伍)。课题组研究生在第二届全球AI挑战赛无人驾驶视觉感知赛道获得亚军应用案例基于深度相机的场景物体定位与抓取项目自然场景文字检测项目自然场景文字检测项目自动驾驶中的物体检测项目2大数据分析大数据具有规模大、种类多、产生速度快、有价值数据密度低等特点。对大数据信息分析具有重要意义,也是目前研究的热点,其主要任务是利用数据分析的方法从大数据中获取有价值信息。IMAGINE实验室近年来结合深度学习前沿技术和传统数据分析方法进行数据分析和预测,并在海关大数据分析项目和国网电力冰风灾害预测项目中进行应用。 /p
基于移动平台的视频信息隐藏关键技术研究
成熟度:可规模生产
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
该项目为国家自然科学基金资助联合基金面上项目(项目批准号:U1536121)。该项目主要研究成果如下:1.在移动视频的信息隐藏嵌入关键技术研究方面:将视觉感知模型引入移动视频信息隐藏机制,利用视觉感知模型计算视觉感知强度,实现最大限度隐藏。将视觉感知强度引入视频信息隐藏机制,探索了不同特征视频的对比敏感度、空域敏感度及时域敏感度三者之间的相互影响和作用强度,建立了基于视觉感知模型的块属性判决方法。构建了基于 STC 的视频信息隐藏模型,实现了视频信息隐藏和视觉感知模型的融合。2.在适应于移动平台的视频信息隐藏优化算法研究方面:从编码模式、DCT 系数、MV、熵编码等多个角度尝试构建了隐藏模型,结合编码理论,提高嵌入效率,提出了一种适用于移动通信电路域信道的抗语音声码器断续传输处理和有损压缩的信息隐藏算法。提出了适用于移动平台的分片多线程信息隐藏技术,有机地实现了隐藏的多线程编程。在核心隐藏算法理论研究的基础上,基于手机平台开发了系统应用平台。3.在移动平台视频信息隐藏的应用安全研究方面:提出了基于组件签名和数据加密的保证组件通信安全的解决方案;提出了一种基于机器学习的动态加载漏洞检测方法;提出了一个针对 Android 数据生命周期的风险评估模型;提出了一种应用层的隐私数据安全容器,为移动平台视频信息隐藏的应用建立了一个保护隐私的安全执行环境。提出了一种新的针对 Android 系统漏洞的修复策略构建模型,设计和实现了针对 Android 系统漏洞的热修复容器;提出了一种基于机器学习的权限动态管理方案。通过将 APP 运行在基于应用层的自主可控安全容器中,实现了移动平台上视频信息隐藏应用不受程序更新的影响。该项目在取得丰富的理论研究成果的同时还将研究成果进行了实际应用,将移动平台的视频信息隐藏优化算法进行了实现,通过将其运行在所实现的移动平台安全容器内,提高了应用安全性。
一种视觉感知网络中摄像机的组合选择方法
成熟度:正在研发
技术类型:发明
应用行业:文化、体育和娱乐业
技术简介
本发明公开了一种视觉感知网络中摄像机的组合选择方法,包括以下步骤:目标图像视觉直方图在线生成:在多个摄像机视域范围重叠情况下,对在线获得的观察到相同目标的多路摄像机的视频数据进行运动检测,由检测结果确定目标在视频帧图像空间的子区域,即获得目标图像区域;对目标图像区域进行局部特征提取;根据预先训练生成的视觉词典,计算该视角下目标图像区域的视觉直方图;序贯前向摄像机选择:选择一个最优视角,即最优摄像机;在未被选择的摄像机集合中,选择次优摄像机,将其加入已选摄像机集合,并从候选摄像机集合中剔除;不断重复直到所选摄像机计数达到需要的摄像机计数。
面向自动驾驶的高精度立体视觉感知系统
成熟度:通过小试
技术类型:-
应用行业:租赁和商务服务业
技术简介
本项目致力于开发一款基于双目相机、激光雷达、GPS和IMU等车载传感器的高精度立体视觉感知系统,旨在实现自动驾驶地图的高精度测绘和点云数据获取,从而提升自动驾驶系统的可靠性和安全性。随着自动驾驶技术的不断发展,高精度的地理信息数据变得越来越重要。自动驾驶技术公司和汽车制造商需要可靠的地图数据来支持自动驾驶系统的开发和测试。本项目研发的高精度感知系统能够很好地满足这一需求,提供准确的路况信息和点云数据。
面向高清/超高清的感知视频编码及其并行技术研究
成熟度:-
技术类型:-
应用行业:交通运输、仓储和邮政业
技术简介
该项目组围绕“高效的感知视频编码技术”研究,主要研究成果如下: 1.面向视频编码的视觉感知模型构建与建模:时空特性改进的恰可察失真模型、改进的显著性检测模型。 2.基于视觉特性的感知视频编码框架:提出一种基于显著性区域优先的最小可察觉失真模型(SRP-JND);提出了一种基于SRP-JND模型的感知视频编码算法;基于人眼视觉特性的率失真优化技术。 3.基于视觉特性的视频质量评价方法:基于Psytechnics方法,提出了一种全参考视频质量评价方法;针对基于相似性(SSIM)图像质量评价。 4.面向HEVC/H.265的编解码技术优化算法:CU划分快速算法;改进的帧层码率分配模型;HEVC的帧间快速算法研究;基于人眼主观特性的熵编码技术优化;环路滤波优化算法;HEVC中码率控制算法研究与优化;帧内与DCT变换。 5.适用于高清视频的帧率上变换算法:在单向运动估计和双向运动估计两种框架的基础上,提出了两种帧率上变换算法FSTFRC和BLFRC。 6.视频传输的丢包补偿技术:提出了一种基于样本和快速结构化的空间域错误隐藏改进算法;时空域结合的错误隐藏算法。 7.高清/超高清视频并行加速方案:完成了全I帧和全P帧的HEVC实时编解码系统,实现符合HEVC码流的全高清1080p实时编解码系统。
微装配机器人的视觉感知与智能控制技术研究
成熟度:-
技术类型:-
应用行业:制造业
技术简介
针对微装配机器人应用中存在的装配效率低和质量不稳定问题,本项目将机器学习相关理论引入微装配机器人领域,以ICF靶装配为应用原型,围绕机器人微装配中的视觉感知和智能控制两大科学问题,深入研究显微视觉场景下目标零件的自动识别、微装配过程中目标零件的智能跟踪、跨尺度零件位姿测量和具有自学习能力的机器人智能装配控制等关键技术,提出基于卷积神经网络的微零件的自动识别定位方法、基于“跟踪器+检测器”组合模式的微零件跟踪算法和基于强化学习的微装配机器人控制模型,有效的提升了微零件的装配效率和质量。 本项目研制出冷冻罩组件、微球-微管组件装配机器人系统样机,可实现冷冻罩和微管-微孔组件的机器人装配,装配的微靶已成功应用于激光核聚变实验。机器人样机的装配指标达到国内领先、国际一流的水平(与美国国家点火装置NIF微靶装配对标)。本项目研究成果共发表论文12篇,其中SCI收录6篇,EI收录论文6 篇;申请国家发明专利3项,培养研究生3名,达到项目预期成果要求。
螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法,范式图案通过螺旋形式运动,采用正弦方式实现范式的顺‑逆时针旋转,通过脑电采集设备采集使用者注视刺激图案时产生的脑电信号,将处理后的脑电信号输入计算机,采集到的脑电信号利用典型相关分析实现对脑电信号的特征提取及分类识别,本发明基于稳态运动视觉电位,设计了螺旋运动范式,图案整个运动过程中保持亮度恒定,降低了使用者的视觉疲劳,提高了EEG信噪比,对注视目标辨识准确率也更高,具有低闪烁,低适应性的特点,可以提升脑‑机接口的交互性能。
仿生视觉系统
成熟度:正在研发
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
仿生视觉系统 仿生视觉系统包含两个主要部分:仿生视觉感知模型和仿生视觉皮层模型,这两个模型都是基于生物视觉系统的生理结构而构建的。仿生视觉系统前段的视觉感知,采用高于生物视觉器官的电子器件,作为视觉模块的基本单元,获取目标的三维数据。在视觉感知段对图像信号进行色彩校正、图像锐化等初级处理,并发送至视觉处理子系统(类似于大脑视觉皮层)用作进一步处理,例如纹理分割、分类、识别、跟踪等等。仿生视觉处理系统应用了细胞神经网络,用于模拟人类视觉系统的视皮层。仿生视觉系统的功能是图像视觉信息处理,模拟动物的视觉功能,实现对复杂场景中多目标的探测、分类、识别、理解、跟踪等任务,并具有比生物的视觉系统更优越的性能。
找到13项技术成果数据。
找技术 >基于时间振荡相关与空间整合编码的视觉感知-眼动控制神经网络系统的模拟研究与应用
成熟度:-
技术类型:-
应用行业:科学研究和技术服务业
技术简介
人类和某些动物的视觉感知认知系统表现出了极高的灵敏度和准确度。人类和这些动物的视觉感知和眼动控制机制,以及相关神经信息编码的动力学、信息学和统计学习的原理和实现技术是该成果的主要内容。该成果主要体现在三个方面:自底向上的视觉感知和时间相关神经信息编码;由顶向下的眼动控制和空间相关神经信息编码;自底向上的视觉感知和由顶向下的眼动控制相结合视觉神经网络模型及其应用。在第一个方面,该成果通过对视点数据的分析提出了两个原创性视觉选择性注意模型:基于人类视觉系统尺度选择和基于全局稀有性的图像显著性感知计算模型。通过与真实人眼视点基准测试库对比显示了良好的预测效果。此外,该成果研究了如何通过视觉感知神经元的脉冲同步振荡实现特征捆绑和时间相关的神经信息编码。相应地提出了采用WilsOn-COwan振荡子的脉冲同步发放模型,并通过环域定理等理论分析,给出了脉冲同步振荡发生的边界条件。该模型可以对图像内不同物体以不同的相位进行编码表达和特征捆绑,同时通过脉冲发放一致性检测对编码信号进行解码以实现不同物体的图像分割和初步理解。在第二个方面,该成果研究了视网膜中央凹成像模拟、基于Hebbian神经学习规则的稀疏编码、基于LGBP不变性特征响应的纹理区域描述及相应的图像目标编码表示方法。这些方法在FERET和FRGC基准人脸图像库中的图像重构和识别应用上显示了良好的效果。此外,该成果提出了一套视觉图像目标上下文空间相关神经信息编码的理论、技术和系统。该系统可以模拟高级感知认知神经元对眼动的多级多尺度控制机制,可以根据目标外围由远到近的视觉上下文进行渐进式空间关系编码,也可以应用于视觉目标的搜索。在第三个方面,该成果提出了特征驱动和任务驱动双向结合的视觉感知-眼动控制神经网络系统。通过将模型复杂度与推广性的机器学习理论成功应用于视觉神经网络建模,该成果提出的群体细胞神经编码结构在UniversityOfBern国际基准头肩像数据库的编解码测试中取得了显著性的实验结果:在小样本(30个训练样本vs.270个测试样本)情况下,多细胞编码在目标搜索和定位的精度上的平均综合误差在3.1个像素左右,相对单细胞和k-近邻编码高出35.6%和16.4%,但编码量分别只是二者的88%和5%。这为进一步探索发现高效的视觉神经信息编码技术和应用展示了良好的前景。
开放、不确定环境下视觉感知与行为的类脑机器理解
成熟度:-
技术类型:-
应用行业:制造业
技术简介
目前已经全面超额的完成了本项目的研究内容。本项目根据项目计划书的规定,开展开放、不确定环境下视觉感知与行为的类脑机器理解的研究。 从以几方面总结神经科学对计算机视觉的启发点:A) 基本视觉皮层的特征;B) 初级视皮层的原理扩展到高级区域;C) 顺向、逆向、侧向联接;D) 视觉神经分层认知机制;E) 视觉神经系统的选择性注意机制;F) 动态信息的选择性记忆机制。 先后提出了可变形、各向异性膨胀深度卷积网络及其在特殊物体和特殊人物的检测中应用、多层次感知残差注意力孪生网络及其在高效在线目标跟踪中的应用、基于交互感知的时空金字塔注意力深度神经网络及其在行为分类中的应用、借鉴灵长类大脑局部和整体物体感知机制的目标检测与实例分割联合框架、多任务共享的神经网络及其在高效在线目标跟踪中的应用、人脑动态注意力感知物体尺度启发的目标跟踪神经网络、基于长短期记忆网络强化学习的视频内容语义描述,开发成功网络异质媒体监测系统、网络直播智能监控系统、网络内容审核系统,并在实战发挥重要作用。项目执行期内在IJCV、PAMI等IEEE Transactions上和ICCV、ECCV、CVPR、AAAI、ACM MM上发表论文论著共44篇。 申请和授权专利41项。 本项目成果获2020度国家自然科学奖二等奖1项(已公示)。
自然场景视觉感知和大数据分析
成熟度:正在研发
技术类型:-
应用行业:制造业
技术简介
p 1自然场景视觉感知自然场景视觉感知与理解是人工智能的前沿热点,其主要任务是对场景中的视觉要素进行认知,进而推断出其中包含的场景语义。IMAGINE实验室近年来相继从场景构成分析、场景内容推理、场景结构建模等角度对这一问题展开了系统研究,着重探索了融合先验建模与深度学习的自然场景视觉理解这一问题。相关成果在工业生产、安全监控等多个行业中进行了推广,先后获中国发明专利授权20余项,部分专利成果已在国家级高新技术企业和江苏省高新技术企业得到应用转化。近年来实验室还在多项国际/国内竞赛中取得佳绩,如:1)在教育部主办的2018年中国研究生智慧城市技术赛中,项目组研究生组成的NJU_Imagine_Lab队获视频动作识别组唯一的一等奖;另一支队伍NJU-Imagine-Lab队获车牌识别组唯一的一等奖(总参赛队伍1079支、共四个组别);2018年中国研究生智慧城市技术赛,项目组研究生获视频动作识别组唯一的一等奖和车牌识别组唯一的一等奖(部分队员的证书)2)项目组研究生组成的NJU_ImagineLab_Psenet 队在国际模式识别大会ICPR18的MTWI2018网络图像的文本检测国际挑战赛参赛1424个队伍中位列第5;3)在创新工厂、搜狗、美团点评、美图联合主办的第二届全球AI挑战赛(AI Challenger 2018)的无人驾驶视觉感知赛道中,实验室队伍获得亚军(AI Challenger2018覆盖81个国家、1100所高校、990家公司的近万支队伍)。课题组研究生在第二届全球AI挑战赛无人驾驶视觉感知赛道获得亚军应用案例基于深度相机的场景物体定位与抓取项目自然场景文字检测项目自然场景文字检测项目自动驾驶中的物体检测项目2大数据分析大数据具有规模大、种类多、产生速度快、有价值数据密度低等特点。对大数据信息分析具有重要意义,也是目前研究的热点,其主要任务是利用数据分析的方法从大数据中获取有价值信息。IMAGINE实验室近年来结合深度学习前沿技术和传统数据分析方法进行数据分析和预测,并在海关大数据分析项目和国网电力冰风灾害预测项目中进行应用。 /p
基于移动平台的视频信息隐藏关键技术研究
成熟度:可规模生产
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
该项目为国家自然科学基金资助联合基金面上项目(项目批准号:U1536121)。该项目主要研究成果如下:1.在移动视频的信息隐藏嵌入关键技术研究方面:将视觉感知模型引入移动视频信息隐藏机制,利用视觉感知模型计算视觉感知强度,实现最大限度隐藏。将视觉感知强度引入视频信息隐藏机制,探索了不同特征视频的对比敏感度、空域敏感度及时域敏感度三者之间的相互影响和作用强度,建立了基于视觉感知模型的块属性判决方法。构建了基于 STC 的视频信息隐藏模型,实现了视频信息隐藏和视觉感知模型的融合。2.在适应于移动平台的视频信息隐藏优化算法研究方面:从编码模式、DCT 系数、MV、熵编码等多个角度尝试构建了隐藏模型,结合编码理论,提高嵌入效率,提出了一种适用于移动通信电路域信道的抗语音声码器断续传输处理和有损压缩的信息隐藏算法。提出了适用于移动平台的分片多线程信息隐藏技术,有机地实现了隐藏的多线程编程。在核心隐藏算法理论研究的基础上,基于手机平台开发了系统应用平台。3.在移动平台视频信息隐藏的应用安全研究方面:提出了基于组件签名和数据加密的保证组件通信安全的解决方案;提出了一种基于机器学习的动态加载漏洞检测方法;提出了一个针对 Android 数据生命周期的风险评估模型;提出了一种应用层的隐私数据安全容器,为移动平台视频信息隐藏的应用建立了一个保护隐私的安全执行环境。提出了一种新的针对 Android 系统漏洞的修复策略构建模型,设计和实现了针对 Android 系统漏洞的热修复容器;提出了一种基于机器学习的权限动态管理方案。通过将 APP 运行在基于应用层的自主可控安全容器中,实现了移动平台上视频信息隐藏应用不受程序更新的影响。该项目在取得丰富的理论研究成果的同时还将研究成果进行了实际应用,将移动平台的视频信息隐藏优化算法进行了实现,通过将其运行在所实现的移动平台安全容器内,提高了应用安全性。
一种视觉感知网络中摄像机的组合选择方法
成熟度:正在研发
技术类型:发明
应用行业:文化、体育和娱乐业
技术简介
本发明公开了一种视觉感知网络中摄像机的组合选择方法,包括以下步骤:目标图像视觉直方图在线生成:在多个摄像机视域范围重叠情况下,对在线获得的观察到相同目标的多路摄像机的视频数据进行运动检测,由检测结果确定目标在视频帧图像空间的子区域,即获得目标图像区域;对目标图像区域进行局部特征提取;根据预先训练生成的视觉词典,计算该视角下目标图像区域的视觉直方图;序贯前向摄像机选择:选择一个最优视角,即最优摄像机;在未被选择的摄像机集合中,选择次优摄像机,将其加入已选摄像机集合,并从候选摄像机集合中剔除;不断重复直到所选摄像机计数达到需要的摄像机计数。
面向自动驾驶的高精度立体视觉感知系统
成熟度:通过小试
技术类型:-
应用行业:租赁和商务服务业
技术简介
本项目致力于开发一款基于双目相机、激光雷达、GPS和IMU等车载传感器的高精度立体视觉感知系统,旨在实现自动驾驶地图的高精度测绘和点云数据获取,从而提升自动驾驶系统的可靠性和安全性。随着自动驾驶技术的不断发展,高精度的地理信息数据变得越来越重要。自动驾驶技术公司和汽车制造商需要可靠的地图数据来支持自动驾驶系统的开发和测试。本项目研发的高精度感知系统能够很好地满足这一需求,提供准确的路况信息和点云数据。
面向高清/超高清的感知视频编码及其并行技术研究
成熟度:-
技术类型:-
应用行业:交通运输、仓储和邮政业
技术简介
该项目组围绕“高效的感知视频编码技术”研究,主要研究成果如下: 1.面向视频编码的视觉感知模型构建与建模:时空特性改进的恰可察失真模型、改进的显著性检测模型。 2.基于视觉特性的感知视频编码框架:提出一种基于显著性区域优先的最小可察觉失真模型(SRP-JND);提出了一种基于SRP-JND模型的感知视频编码算法;基于人眼视觉特性的率失真优化技术。 3.基于视觉特性的视频质量评价方法:基于Psytechnics方法,提出了一种全参考视频质量评价方法;针对基于相似性(SSIM)图像质量评价。 4.面向HEVC/H.265的编解码技术优化算法:CU划分快速算法;改进的帧层码率分配模型;HEVC的帧间快速算法研究;基于人眼主观特性的熵编码技术优化;环路滤波优化算法;HEVC中码率控制算法研究与优化;帧内与DCT变换。 5.适用于高清视频的帧率上变换算法:在单向运动估计和双向运动估计两种框架的基础上,提出了两种帧率上变换算法FSTFRC和BLFRC。 6.视频传输的丢包补偿技术:提出了一种基于样本和快速结构化的空间域错误隐藏改进算法;时空域结合的错误隐藏算法。 7.高清/超高清视频并行加速方案:完成了全I帧和全P帧的HEVC实时编解码系统,实现符合HEVC码流的全高清1080p实时编解码系统。
微装配机器人的视觉感知与智能控制技术研究
成熟度:-
技术类型:-
应用行业:制造业
技术简介
针对微装配机器人应用中存在的装配效率低和质量不稳定问题,本项目将机器学习相关理论引入微装配机器人领域,以ICF靶装配为应用原型,围绕机器人微装配中的视觉感知和智能控制两大科学问题,深入研究显微视觉场景下目标零件的自动识别、微装配过程中目标零件的智能跟踪、跨尺度零件位姿测量和具有自学习能力的机器人智能装配控制等关键技术,提出基于卷积神经网络的微零件的自动识别定位方法、基于“跟踪器+检测器”组合模式的微零件跟踪算法和基于强化学习的微装配机器人控制模型,有效的提升了微零件的装配效率和质量。 本项目研制出冷冻罩组件、微球-微管组件装配机器人系统样机,可实现冷冻罩和微管-微孔组件的机器人装配,装配的微靶已成功应用于激光核聚变实验。机器人样机的装配指标达到国内领先、国际一流的水平(与美国国家点火装置NIF微靶装配对标)。本项目研究成果共发表论文12篇,其中SCI收录6篇,EI收录论文6 篇;申请国家发明专利3项,培养研究生3名,达到项目预期成果要求。
螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法,范式图案通过螺旋形式运动,采用正弦方式实现范式的顺‑逆时针旋转,通过脑电采集设备采集使用者注视刺激图案时产生的脑电信号,将处理后的脑电信号输入计算机,采集到的脑电信号利用典型相关分析实现对脑电信号的特征提取及分类识别,本发明基于稳态运动视觉电位,设计了螺旋运动范式,图案整个运动过程中保持亮度恒定,降低了使用者的视觉疲劳,提高了EEG信噪比,对注视目标辨识准确率也更高,具有低闪烁,低适应性的特点,可以提升脑‑机接口的交互性能。
仿生视觉系统
成熟度:正在研发
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
仿生视觉系统 仿生视觉系统包含两个主要部分:仿生视觉感知模型和仿生视觉皮层模型,这两个模型都是基于生物视觉系统的生理结构而构建的。仿生视觉系统前段的视觉感知,采用高于生物视觉器官的电子器件,作为视觉模块的基本单元,获取目标的三维数据。在视觉感知段对图像信号进行色彩校正、图像锐化等初级处理,并发送至视觉处理子系统(类似于大脑视觉皮层)用作进一步处理,例如纹理分割、分类、识别、跟踪等等。仿生视觉处理系统应用了细胞神经网络,用于模拟人类视觉系统的视皮层。仿生视觉系统的功能是图像视觉信息处理,模拟动物的视觉功能,实现对复杂场景中多目标的探测、分类、识别、理解、跟踪等任务,并具有比生物的视觉系统更优越的性能。
找到13项技术成果数据。
找技术 >基于时间振荡相关与空间整合编码的视觉感知-眼动控制神经网络系统的模拟研究与应用
成熟度:-
技术类型:-
应用行业:科学研究和技术服务业
技术简介
人类和某些动物的视觉感知认知系统表现出了极高的灵敏度和准确度。人类和这些动物的视觉感知和眼动控制机制,以及相关神经信息编码的动力学、信息学和统计学习的原理和实现技术是该成果的主要内容。该成果主要体现在三个方面:自底向上的视觉感知和时间相关神经信息编码;由顶向下的眼动控制和空间相关神经信息编码;自底向上的视觉感知和由顶向下的眼动控制相结合视觉神经网络模型及其应用。在第一个方面,该成果通过对视点数据的分析提出了两个原创性视觉选择性注意模型:基于人类视觉系统尺度选择和基于全局稀有性的图像显著性感知计算模型。通过与真实人眼视点基准测试库对比显示了良好的预测效果。此外,该成果研究了如何通过视觉感知神经元的脉冲同步振荡实现特征捆绑和时间相关的神经信息编码。相应地提出了采用WilsOn-COwan振荡子的脉冲同步发放模型,并通过环域定理等理论分析,给出了脉冲同步振荡发生的边界条件。该模型可以对图像内不同物体以不同的相位进行编码表达和特征捆绑,同时通过脉冲发放一致性检测对编码信号进行解码以实现不同物体的图像分割和初步理解。在第二个方面,该成果研究了视网膜中央凹成像模拟、基于Hebbian神经学习规则的稀疏编码、基于LGBP不变性特征响应的纹理区域描述及相应的图像目标编码表示方法。这些方法在FERET和FRGC基准人脸图像库中的图像重构和识别应用上显示了良好的效果。此外,该成果提出了一套视觉图像目标上下文空间相关神经信息编码的理论、技术和系统。该系统可以模拟高级感知认知神经元对眼动的多级多尺度控制机制,可以根据目标外围由远到近的视觉上下文进行渐进式空间关系编码,也可以应用于视觉目标的搜索。在第三个方面,该成果提出了特征驱动和任务驱动双向结合的视觉感知-眼动控制神经网络系统。通过将模型复杂度与推广性的机器学习理论成功应用于视觉神经网络建模,该成果提出的群体细胞神经编码结构在UniversityOfBern国际基准头肩像数据库的编解码测试中取得了显著性的实验结果:在小样本(30个训练样本vs.270个测试样本)情况下,多细胞编码在目标搜索和定位的精度上的平均综合误差在3.1个像素左右,相对单细胞和k-近邻编码高出35.6%和16.4%,但编码量分别只是二者的88%和5%。这为进一步探索发现高效的视觉神经信息编码技术和应用展示了良好的前景。
开放、不确定环境下视觉感知与行为的类脑机器理解
成熟度:-
技术类型:-
应用行业:制造业
技术简介
目前已经全面超额的完成了本项目的研究内容。本项目根据项目计划书的规定,开展开放、不确定环境下视觉感知与行为的类脑机器理解的研究。 从以几方面总结神经科学对计算机视觉的启发点:A) 基本视觉皮层的特征;B) 初级视皮层的原理扩展到高级区域;C) 顺向、逆向、侧向联接;D) 视觉神经分层认知机制;E) 视觉神经系统的选择性注意机制;F) 动态信息的选择性记忆机制。 先后提出了可变形、各向异性膨胀深度卷积网络及其在特殊物体和特殊人物的检测中应用、多层次感知残差注意力孪生网络及其在高效在线目标跟踪中的应用、基于交互感知的时空金字塔注意力深度神经网络及其在行为分类中的应用、借鉴灵长类大脑局部和整体物体感知机制的目标检测与实例分割联合框架、多任务共享的神经网络及其在高效在线目标跟踪中的应用、人脑动态注意力感知物体尺度启发的目标跟踪神经网络、基于长短期记忆网络强化学习的视频内容语义描述,开发成功网络异质媒体监测系统、网络直播智能监控系统、网络内容审核系统,并在实战发挥重要作用。项目执行期内在IJCV、PAMI等IEEE Transactions上和ICCV、ECCV、CVPR、AAAI、ACM MM上发表论文论著共44篇。 申请和授权专利41项。 本项目成果获2020度国家自然科学奖二等奖1项(已公示)。
自然场景视觉感知和大数据分析
成熟度:正在研发
技术类型:-
应用行业:制造业
技术简介
p 1自然场景视觉感知自然场景视觉感知与理解是人工智能的前沿热点,其主要任务是对场景中的视觉要素进行认知,进而推断出其中包含的场景语义。IMAGINE实验室近年来相继从场景构成分析、场景内容推理、场景结构建模等角度对这一问题展开了系统研究,着重探索了融合先验建模与深度学习的自然场景视觉理解这一问题。相关成果在工业生产、安全监控等多个行业中进行了推广,先后获中国发明专利授权20余项,部分专利成果已在国家级高新技术企业和江苏省高新技术企业得到应用转化。近年来实验室还在多项国际/国内竞赛中取得佳绩,如:1)在教育部主办的2018年中国研究生智慧城市技术赛中,项目组研究生组成的NJU_Imagine_Lab队获视频动作识别组唯一的一等奖;另一支队伍NJU-Imagine-Lab队获车牌识别组唯一的一等奖(总参赛队伍1079支、共四个组别);2018年中国研究生智慧城市技术赛,项目组研究生获视频动作识别组唯一的一等奖和车牌识别组唯一的一等奖(部分队员的证书)2)项目组研究生组成的NJU_ImagineLab_Psenet 队在国际模式识别大会ICPR18的MTWI2018网络图像的文本检测国际挑战赛参赛1424个队伍中位列第5;3)在创新工厂、搜狗、美团点评、美图联合主办的第二届全球AI挑战赛(AI Challenger 2018)的无人驾驶视觉感知赛道中,实验室队伍获得亚军(AI Challenger2018覆盖81个国家、1100所高校、990家公司的近万支队伍)。课题组研究生在第二届全球AI挑战赛无人驾驶视觉感知赛道获得亚军应用案例基于深度相机的场景物体定位与抓取项目自然场景文字检测项目自然场景文字检测项目自动驾驶中的物体检测项目2大数据分析大数据具有规模大、种类多、产生速度快、有价值数据密度低等特点。对大数据信息分析具有重要意义,也是目前研究的热点,其主要任务是利用数据分析的方法从大数据中获取有价值信息。IMAGINE实验室近年来结合深度学习前沿技术和传统数据分析方法进行数据分析和预测,并在海关大数据分析项目和国网电力冰风灾害预测项目中进行应用。 /p
基于移动平台的视频信息隐藏关键技术研究
成熟度:可规模生产
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
该项目为国家自然科学基金资助联合基金面上项目(项目批准号:U1536121)。该项目主要研究成果如下:1.在移动视频的信息隐藏嵌入关键技术研究方面:将视觉感知模型引入移动视频信息隐藏机制,利用视觉感知模型计算视觉感知强度,实现最大限度隐藏。将视觉感知强度引入视频信息隐藏机制,探索了不同特征视频的对比敏感度、空域敏感度及时域敏感度三者之间的相互影响和作用强度,建立了基于视觉感知模型的块属性判决方法。构建了基于 STC 的视频信息隐藏模型,实现了视频信息隐藏和视觉感知模型的融合。2.在适应于移动平台的视频信息隐藏优化算法研究方面:从编码模式、DCT 系数、MV、熵编码等多个角度尝试构建了隐藏模型,结合编码理论,提高嵌入效率,提出了一种适用于移动通信电路域信道的抗语音声码器断续传输处理和有损压缩的信息隐藏算法。提出了适用于移动平台的分片多线程信息隐藏技术,有机地实现了隐藏的多线程编程。在核心隐藏算法理论研究的基础上,基于手机平台开发了系统应用平台。3.在移动平台视频信息隐藏的应用安全研究方面:提出了基于组件签名和数据加密的保证组件通信安全的解决方案;提出了一种基于机器学习的动态加载漏洞检测方法;提出了一个针对 Android 数据生命周期的风险评估模型;提出了一种应用层的隐私数据安全容器,为移动平台视频信息隐藏的应用建立了一个保护隐私的安全执行环境。提出了一种新的针对 Android 系统漏洞的修复策略构建模型,设计和实现了针对 Android 系统漏洞的热修复容器;提出了一种基于机器学习的权限动态管理方案。通过将 APP 运行在基于应用层的自主可控安全容器中,实现了移动平台上视频信息隐藏应用不受程序更新的影响。该项目在取得丰富的理论研究成果的同时还将研究成果进行了实际应用,将移动平台的视频信息隐藏优化算法进行了实现,通过将其运行在所实现的移动平台安全容器内,提高了应用安全性。
一种视觉感知网络中摄像机的组合选择方法
成熟度:正在研发
技术类型:发明
应用行业:文化、体育和娱乐业
技术简介
本发明公开了一种视觉感知网络中摄像机的组合选择方法,包括以下步骤:目标图像视觉直方图在线生成:在多个摄像机视域范围重叠情况下,对在线获得的观察到相同目标的多路摄像机的视频数据进行运动检测,由检测结果确定目标在视频帧图像空间的子区域,即获得目标图像区域;对目标图像区域进行局部特征提取;根据预先训练生成的视觉词典,计算该视角下目标图像区域的视觉直方图;序贯前向摄像机选择:选择一个最优视角,即最优摄像机;在未被选择的摄像机集合中,选择次优摄像机,将其加入已选摄像机集合,并从候选摄像机集合中剔除;不断重复直到所选摄像机计数达到需要的摄像机计数。
面向自动驾驶的高精度立体视觉感知系统
成熟度:通过小试
技术类型:-
应用行业:租赁和商务服务业
技术简介
本项目致力于开发一款基于双目相机、激光雷达、GPS和IMU等车载传感器的高精度立体视觉感知系统,旨在实现自动驾驶地图的高精度测绘和点云数据获取,从而提升自动驾驶系统的可靠性和安全性。随着自动驾驶技术的不断发展,高精度的地理信息数据变得越来越重要。自动驾驶技术公司和汽车制造商需要可靠的地图数据来支持自动驾驶系统的开发和测试。本项目研发的高精度感知系统能够很好地满足这一需求,提供准确的路况信息和点云数据。
面向高清/超高清的感知视频编码及其并行技术研究
成熟度:-
技术类型:-
应用行业:交通运输、仓储和邮政业
技术简介
该项目组围绕“高效的感知视频编码技术”研究,主要研究成果如下: 1.面向视频编码的视觉感知模型构建与建模:时空特性改进的恰可察失真模型、改进的显著性检测模型。 2.基于视觉特性的感知视频编码框架:提出一种基于显著性区域优先的最小可察觉失真模型(SRP-JND);提出了一种基于SRP-JND模型的感知视频编码算法;基于人眼视觉特性的率失真优化技术。 3.基于视觉特性的视频质量评价方法:基于Psytechnics方法,提出了一种全参考视频质量评价方法;针对基于相似性(SSIM)图像质量评价。 4.面向HEVC/H.265的编解码技术优化算法:CU划分快速算法;改进的帧层码率分配模型;HEVC的帧间快速算法研究;基于人眼主观特性的熵编码技术优化;环路滤波优化算法;HEVC中码率控制算法研究与优化;帧内与DCT变换。 5.适用于高清视频的帧率上变换算法:在单向运动估计和双向运动估计两种框架的基础上,提出了两种帧率上变换算法FSTFRC和BLFRC。 6.视频传输的丢包补偿技术:提出了一种基于样本和快速结构化的空间域错误隐藏改进算法;时空域结合的错误隐藏算法。 7.高清/超高清视频并行加速方案:完成了全I帧和全P帧的HEVC实时编解码系统,实现符合HEVC码流的全高清1080p实时编解码系统。
微装配机器人的视觉感知与智能控制技术研究
成熟度:-
技术类型:-
应用行业:制造业
技术简介
针对微装配机器人应用中存在的装配效率低和质量不稳定问题,本项目将机器学习相关理论引入微装配机器人领域,以ICF靶装配为应用原型,围绕机器人微装配中的视觉感知和智能控制两大科学问题,深入研究显微视觉场景下目标零件的自动识别、微装配过程中目标零件的智能跟踪、跨尺度零件位姿测量和具有自学习能力的机器人智能装配控制等关键技术,提出基于卷积神经网络的微零件的自动识别定位方法、基于“跟踪器+检测器”组合模式的微零件跟踪算法和基于强化学习的微装配机器人控制模型,有效的提升了微零件的装配效率和质量。 本项目研制出冷冻罩组件、微球-微管组件装配机器人系统样机,可实现冷冻罩和微管-微孔组件的机器人装配,装配的微靶已成功应用于激光核聚变实验。机器人样机的装配指标达到国内领先、国际一流的水平(与美国国家点火装置NIF微靶装配对标)。本项目研究成果共发表论文12篇,其中SCI收录6篇,EI收录论文6 篇;申请国家发明专利3项,培养研究生3名,达到项目预期成果要求。
螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法,范式图案通过螺旋形式运动,采用正弦方式实现范式的顺‑逆时针旋转,通过脑电采集设备采集使用者注视刺激图案时产生的脑电信号,将处理后的脑电信号输入计算机,采集到的脑电信号利用典型相关分析实现对脑电信号的特征提取及分类识别,本发明基于稳态运动视觉电位,设计了螺旋运动范式,图案整个运动过程中保持亮度恒定,降低了使用者的视觉疲劳,提高了EEG信噪比,对注视目标辨识准确率也更高,具有低闪烁,低适应性的特点,可以提升脑‑机接口的交互性能。
仿生视觉系统
成熟度:正在研发
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
仿生视觉系统 仿生视觉系统包含两个主要部分:仿生视觉感知模型和仿生视觉皮层模型,这两个模型都是基于生物视觉系统的生理结构而构建的。仿生视觉系统前段的视觉感知,采用高于生物视觉器官的电子器件,作为视觉模块的基本单元,获取目标的三维数据。在视觉感知段对图像信号进行色彩校正、图像锐化等初级处理,并发送至视觉处理子系统(类似于大脑视觉皮层)用作进一步处理,例如纹理分割、分类、识别、跟踪等等。仿生视觉处理系统应用了细胞神经网络,用于模拟人类视觉系统的视皮层。仿生视觉系统的功能是图像视觉信息处理,模拟动物的视觉功能,实现对复杂场景中多目标的探测、分类、识别、理解、跟踪等任务,并具有比生物的视觉系统更优越的性能。
找到13项技术成果数据。
找技术 >基于时间振荡相关与空间整合编码的视觉感知-眼动控制神经网络系统的模拟研究与应用
成熟度:-
技术类型:-
应用行业:科学研究和技术服务业
技术简介
人类和某些动物的视觉感知认知系统表现出了极高的灵敏度和准确度。人类和这些动物的视觉感知和眼动控制机制,以及相关神经信息编码的动力学、信息学和统计学习的原理和实现技术是该成果的主要内容。该成果主要体现在三个方面:自底向上的视觉感知和时间相关神经信息编码;由顶向下的眼动控制和空间相关神经信息编码;自底向上的视觉感知和由顶向下的眼动控制相结合视觉神经网络模型及其应用。在第一个方面,该成果通过对视点数据的分析提出了两个原创性视觉选择性注意模型:基于人类视觉系统尺度选择和基于全局稀有性的图像显著性感知计算模型。通过与真实人眼视点基准测试库对比显示了良好的预测效果。此外,该成果研究了如何通过视觉感知神经元的脉冲同步振荡实现特征捆绑和时间相关的神经信息编码。相应地提出了采用WilsOn-COwan振荡子的脉冲同步发放模型,并通过环域定理等理论分析,给出了脉冲同步振荡发生的边界条件。该模型可以对图像内不同物体以不同的相位进行编码表达和特征捆绑,同时通过脉冲发放一致性检测对编码信号进行解码以实现不同物体的图像分割和初步理解。在第二个方面,该成果研究了视网膜中央凹成像模拟、基于Hebbian神经学习规则的稀疏编码、基于LGBP不变性特征响应的纹理区域描述及相应的图像目标编码表示方法。这些方法在FERET和FRGC基准人脸图像库中的图像重构和识别应用上显示了良好的效果。此外,该成果提出了一套视觉图像目标上下文空间相关神经信息编码的理论、技术和系统。该系统可以模拟高级感知认知神经元对眼动的多级多尺度控制机制,可以根据目标外围由远到近的视觉上下文进行渐进式空间关系编码,也可以应用于视觉目标的搜索。在第三个方面,该成果提出了特征驱动和任务驱动双向结合的视觉感知-眼动控制神经网络系统。通过将模型复杂度与推广性的机器学习理论成功应用于视觉神经网络建模,该成果提出的群体细胞神经编码结构在UniversityOfBern国际基准头肩像数据库的编解码测试中取得了显著性的实验结果:在小样本(30个训练样本vs.270个测试样本)情况下,多细胞编码在目标搜索和定位的精度上的平均综合误差在3.1个像素左右,相对单细胞和k-近邻编码高出35.6%和16.4%,但编码量分别只是二者的88%和5%。这为进一步探索发现高效的视觉神经信息编码技术和应用展示了良好的前景。
开放、不确定环境下视觉感知与行为的类脑机器理解
成熟度:-
技术类型:-
应用行业:制造业
技术简介
目前已经全面超额的完成了本项目的研究内容。本项目根据项目计划书的规定,开展开放、不确定环境下视觉感知与行为的类脑机器理解的研究。 从以几方面总结神经科学对计算机视觉的启发点:A) 基本视觉皮层的特征;B) 初级视皮层的原理扩展到高级区域;C) 顺向、逆向、侧向联接;D) 视觉神经分层认知机制;E) 视觉神经系统的选择性注意机制;F) 动态信息的选择性记忆机制。 先后提出了可变形、各向异性膨胀深度卷积网络及其在特殊物体和特殊人物的检测中应用、多层次感知残差注意力孪生网络及其在高效在线目标跟踪中的应用、基于交互感知的时空金字塔注意力深度神经网络及其在行为分类中的应用、借鉴灵长类大脑局部和整体物体感知机制的目标检测与实例分割联合框架、多任务共享的神经网络及其在高效在线目标跟踪中的应用、人脑动态注意力感知物体尺度启发的目标跟踪神经网络、基于长短期记忆网络强化学习的视频内容语义描述,开发成功网络异质媒体监测系统、网络直播智能监控系统、网络内容审核系统,并在实战发挥重要作用。项目执行期内在IJCV、PAMI等IEEE Transactions上和ICCV、ECCV、CVPR、AAAI、ACM MM上发表论文论著共44篇。 申请和授权专利41项。 本项目成果获2020度国家自然科学奖二等奖1项(已公示)。
自然场景视觉感知和大数据分析
成熟度:正在研发
技术类型:-
应用行业:制造业
技术简介
p 1自然场景视觉感知自然场景视觉感知与理解是人工智能的前沿热点,其主要任务是对场景中的视觉要素进行认知,进而推断出其中包含的场景语义。IMAGINE实验室近年来相继从场景构成分析、场景内容推理、场景结构建模等角度对这一问题展开了系统研究,着重探索了融合先验建模与深度学习的自然场景视觉理解这一问题。相关成果在工业生产、安全监控等多个行业中进行了推广,先后获中国发明专利授权20余项,部分专利成果已在国家级高新技术企业和江苏省高新技术企业得到应用转化。近年来实验室还在多项国际/国内竞赛中取得佳绩,如:1)在教育部主办的2018年中国研究生智慧城市技术赛中,项目组研究生组成的NJU_Imagine_Lab队获视频动作识别组唯一的一等奖;另一支队伍NJU-Imagine-Lab队获车牌识别组唯一的一等奖(总参赛队伍1079支、共四个组别);2018年中国研究生智慧城市技术赛,项目组研究生获视频动作识别组唯一的一等奖和车牌识别组唯一的一等奖(部分队员的证书)2)项目组研究生组成的NJU_ImagineLab_Psenet 队在国际模式识别大会ICPR18的MTWI2018网络图像的文本检测国际挑战赛参赛1424个队伍中位列第5;3)在创新工厂、搜狗、美团点评、美图联合主办的第二届全球AI挑战赛(AI Challenger 2018)的无人驾驶视觉感知赛道中,实验室队伍获得亚军(AI Challenger2018覆盖81个国家、1100所高校、990家公司的近万支队伍)。课题组研究生在第二届全球AI挑战赛无人驾驶视觉感知赛道获得亚军应用案例基于深度相机的场景物体定位与抓取项目自然场景文字检测项目自然场景文字检测项目自动驾驶中的物体检测项目2大数据分析大数据具有规模大、种类多、产生速度快、有价值数据密度低等特点。对大数据信息分析具有重要意义,也是目前研究的热点,其主要任务是利用数据分析的方法从大数据中获取有价值信息。IMAGINE实验室近年来结合深度学习前沿技术和传统数据分析方法进行数据分析和预测,并在海关大数据分析项目和国网电力冰风灾害预测项目中进行应用。 /p
基于移动平台的视频信息隐藏关键技术研究
成熟度:可规模生产
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
该项目为国家自然科学基金资助联合基金面上项目(项目批准号:U1536121)。该项目主要研究成果如下:1.在移动视频的信息隐藏嵌入关键技术研究方面:将视觉感知模型引入移动视频信息隐藏机制,利用视觉感知模型计算视觉感知强度,实现最大限度隐藏。将视觉感知强度引入视频信息隐藏机制,探索了不同特征视频的对比敏感度、空域敏感度及时域敏感度三者之间的相互影响和作用强度,建立了基于视觉感知模型的块属性判决方法。构建了基于 STC 的视频信息隐藏模型,实现了视频信息隐藏和视觉感知模型的融合。2.在适应于移动平台的视频信息隐藏优化算法研究方面:从编码模式、DCT 系数、MV、熵编码等多个角度尝试构建了隐藏模型,结合编码理论,提高嵌入效率,提出了一种适用于移动通信电路域信道的抗语音声码器断续传输处理和有损压缩的信息隐藏算法。提出了适用于移动平台的分片多线程信息隐藏技术,有机地实现了隐藏的多线程编程。在核心隐藏算法理论研究的基础上,基于手机平台开发了系统应用平台。3.在移动平台视频信息隐藏的应用安全研究方面:提出了基于组件签名和数据加密的保证组件通信安全的解决方案;提出了一种基于机器学习的动态加载漏洞检测方法;提出了一个针对 Android 数据生命周期的风险评估模型;提出了一种应用层的隐私数据安全容器,为移动平台视频信息隐藏的应用建立了一个保护隐私的安全执行环境。提出了一种新的针对 Android 系统漏洞的修复策略构建模型,设计和实现了针对 Android 系统漏洞的热修复容器;提出了一种基于机器学习的权限动态管理方案。通过将 APP 运行在基于应用层的自主可控安全容器中,实现了移动平台上视频信息隐藏应用不受程序更新的影响。该项目在取得丰富的理论研究成果的同时还将研究成果进行了实际应用,将移动平台的视频信息隐藏优化算法进行了实现,通过将其运行在所实现的移动平台安全容器内,提高了应用安全性。
一种视觉感知网络中摄像机的组合选择方法
成熟度:正在研发
技术类型:发明
应用行业:文化、体育和娱乐业
技术简介
本发明公开了一种视觉感知网络中摄像机的组合选择方法,包括以下步骤:目标图像视觉直方图在线生成:在多个摄像机视域范围重叠情况下,对在线获得的观察到相同目标的多路摄像机的视频数据进行运动检测,由检测结果确定目标在视频帧图像空间的子区域,即获得目标图像区域;对目标图像区域进行局部特征提取;根据预先训练生成的视觉词典,计算该视角下目标图像区域的视觉直方图;序贯前向摄像机选择:选择一个最优视角,即最优摄像机;在未被选择的摄像机集合中,选择次优摄像机,将其加入已选摄像机集合,并从候选摄像机集合中剔除;不断重复直到所选摄像机计数达到需要的摄像机计数。
面向自动驾驶的高精度立体视觉感知系统
成熟度:通过小试
技术类型:-
应用行业:租赁和商务服务业
技术简介
本项目致力于开发一款基于双目相机、激光雷达、GPS和IMU等车载传感器的高精度立体视觉感知系统,旨在实现自动驾驶地图的高精度测绘和点云数据获取,从而提升自动驾驶系统的可靠性和安全性。随着自动驾驶技术的不断发展,高精度的地理信息数据变得越来越重要。自动驾驶技术公司和汽车制造商需要可靠的地图数据来支持自动驾驶系统的开发和测试。本项目研发的高精度感知系统能够很好地满足这一需求,提供准确的路况信息和点云数据。
面向高清/超高清的感知视频编码及其并行技术研究
成熟度:-
技术类型:-
应用行业:交通运输、仓储和邮政业
技术简介
该项目组围绕“高效的感知视频编码技术”研究,主要研究成果如下: 1.面向视频编码的视觉感知模型构建与建模:时空特性改进的恰可察失真模型、改进的显著性检测模型。 2.基于视觉特性的感知视频编码框架:提出一种基于显著性区域优先的最小可察觉失真模型(SRP-JND);提出了一种基于SRP-JND模型的感知视频编码算法;基于人眼视觉特性的率失真优化技术。 3.基于视觉特性的视频质量评价方法:基于Psytechnics方法,提出了一种全参考视频质量评价方法;针对基于相似性(SSIM)图像质量评价。 4.面向HEVC/H.265的编解码技术优化算法:CU划分快速算法;改进的帧层码率分配模型;HEVC的帧间快速算法研究;基于人眼主观特性的熵编码技术优化;环路滤波优化算法;HEVC中码率控制算法研究与优化;帧内与DCT变换。 5.适用于高清视频的帧率上变换算法:在单向运动估计和双向运动估计两种框架的基础上,提出了两种帧率上变换算法FSTFRC和BLFRC。 6.视频传输的丢包补偿技术:提出了一种基于样本和快速结构化的空间域错误隐藏改进算法;时空域结合的错误隐藏算法。 7.高清/超高清视频并行加速方案:完成了全I帧和全P帧的HEVC实时编解码系统,实现符合HEVC码流的全高清1080p实时编解码系统。
微装配机器人的视觉感知与智能控制技术研究
成熟度:-
技术类型:-
应用行业:制造业
技术简介
针对微装配机器人应用中存在的装配效率低和质量不稳定问题,本项目将机器学习相关理论引入微装配机器人领域,以ICF靶装配为应用原型,围绕机器人微装配中的视觉感知和智能控制两大科学问题,深入研究显微视觉场景下目标零件的自动识别、微装配过程中目标零件的智能跟踪、跨尺度零件位姿测量和具有自学习能力的机器人智能装配控制等关键技术,提出基于卷积神经网络的微零件的自动识别定位方法、基于“跟踪器+检测器”组合模式的微零件跟踪算法和基于强化学习的微装配机器人控制模型,有效的提升了微零件的装配效率和质量。 本项目研制出冷冻罩组件、微球-微管组件装配机器人系统样机,可实现冷冻罩和微管-微孔组件的机器人装配,装配的微靶已成功应用于激光核聚变实验。机器人样机的装配指标达到国内领先、国际一流的水平(与美国国家点火装置NIF微靶装配对标)。本项目研究成果共发表论文12篇,其中SCI收录6篇,EI收录论文6 篇;申请国家发明专利3项,培养研究生3名,达到项目预期成果要求。
螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法,范式图案通过螺旋形式运动,采用正弦方式实现范式的顺‑逆时针旋转,通过脑电采集设备采集使用者注视刺激图案时产生的脑电信号,将处理后的脑电信号输入计算机,采集到的脑电信号利用典型相关分析实现对脑电信号的特征提取及分类识别,本发明基于稳态运动视觉电位,设计了螺旋运动范式,图案整个运动过程中保持亮度恒定,降低了使用者的视觉疲劳,提高了EEG信噪比,对注视目标辨识准确率也更高,具有低闪烁,低适应性的特点,可以提升脑‑机接口的交互性能。
仿生视觉系统
成熟度:正在研发
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
仿生视觉系统 仿生视觉系统包含两个主要部分:仿生视觉感知模型和仿生视觉皮层模型,这两个模型都是基于生物视觉系统的生理结构而构建的。仿生视觉系统前段的视觉感知,采用高于生物视觉器官的电子器件,作为视觉模块的基本单元,获取目标的三维数据。在视觉感知段对图像信号进行色彩校正、图像锐化等初级处理,并发送至视觉处理子系统(类似于大脑视觉皮层)用作进一步处理,例如纹理分割、分类、识别、跟踪等等。仿生视觉处理系统应用了细胞神经网络,用于模拟人类视觉系统的视皮层。仿生视觉系统的功能是图像视觉信息处理,模拟动物的视觉功能,实现对复杂场景中多目标的探测、分类、识别、理解、跟踪等任务,并具有比生物的视觉系统更优越的性能。
找到13项技术成果数据。
找技术 >基于时间振荡相关与空间整合编码的视觉感知-眼动控制神经网络系统的模拟研究与应用
成熟度:-
技术类型:-
应用行业:科学研究和技术服务业
技术简介
人类和某些动物的视觉感知认知系统表现出了极高的灵敏度和准确度。人类和这些动物的视觉感知和眼动控制机制,以及相关神经信息编码的动力学、信息学和统计学习的原理和实现技术是该成果的主要内容。该成果主要体现在三个方面:自底向上的视觉感知和时间相关神经信息编码;由顶向下的眼动控制和空间相关神经信息编码;自底向上的视觉感知和由顶向下的眼动控制相结合视觉神经网络模型及其应用。在第一个方面,该成果通过对视点数据的分析提出了两个原创性视觉选择性注意模型:基于人类视觉系统尺度选择和基于全局稀有性的图像显著性感知计算模型。通过与真实人眼视点基准测试库对比显示了良好的预测效果。此外,该成果研究了如何通过视觉感知神经元的脉冲同步振荡实现特征捆绑和时间相关的神经信息编码。相应地提出了采用WilsOn-COwan振荡子的脉冲同步发放模型,并通过环域定理等理论分析,给出了脉冲同步振荡发生的边界条件。该模型可以对图像内不同物体以不同的相位进行编码表达和特征捆绑,同时通过脉冲发放一致性检测对编码信号进行解码以实现不同物体的图像分割和初步理解。在第二个方面,该成果研究了视网膜中央凹成像模拟、基于Hebbian神经学习规则的稀疏编码、基于LGBP不变性特征响应的纹理区域描述及相应的图像目标编码表示方法。这些方法在FERET和FRGC基准人脸图像库中的图像重构和识别应用上显示了良好的效果。此外,该成果提出了一套视觉图像目标上下文空间相关神经信息编码的理论、技术和系统。该系统可以模拟高级感知认知神经元对眼动的多级多尺度控制机制,可以根据目标外围由远到近的视觉上下文进行渐进式空间关系编码,也可以应用于视觉目标的搜索。在第三个方面,该成果提出了特征驱动和任务驱动双向结合的视觉感知-眼动控制神经网络系统。通过将模型复杂度与推广性的机器学习理论成功应用于视觉神经网络建模,该成果提出的群体细胞神经编码结构在UniversityOfBern国际基准头肩像数据库的编解码测试中取得了显著性的实验结果:在小样本(30个训练样本vs.270个测试样本)情况下,多细胞编码在目标搜索和定位的精度上的平均综合误差在3.1个像素左右,相对单细胞和k-近邻编码高出35.6%和16.4%,但编码量分别只是二者的88%和5%。这为进一步探索发现高效的视觉神经信息编码技术和应用展示了良好的前景。
开放、不确定环境下视觉感知与行为的类脑机器理解
成熟度:-
技术类型:-
应用行业:制造业
技术简介
目前已经全面超额的完成了本项目的研究内容。本项目根据项目计划书的规定,开展开放、不确定环境下视觉感知与行为的类脑机器理解的研究。 从以几方面总结神经科学对计算机视觉的启发点:A) 基本视觉皮层的特征;B) 初级视皮层的原理扩展到高级区域;C) 顺向、逆向、侧向联接;D) 视觉神经分层认知机制;E) 视觉神经系统的选择性注意机制;F) 动态信息的选择性记忆机制。 先后提出了可变形、各向异性膨胀深度卷积网络及其在特殊物体和特殊人物的检测中应用、多层次感知残差注意力孪生网络及其在高效在线目标跟踪中的应用、基于交互感知的时空金字塔注意力深度神经网络及其在行为分类中的应用、借鉴灵长类大脑局部和整体物体感知机制的目标检测与实例分割联合框架、多任务共享的神经网络及其在高效在线目标跟踪中的应用、人脑动态注意力感知物体尺度启发的目标跟踪神经网络、基于长短期记忆网络强化学习的视频内容语义描述,开发成功网络异质媒体监测系统、网络直播智能监控系统、网络内容审核系统,并在实战发挥重要作用。项目执行期内在IJCV、PAMI等IEEE Transactions上和ICCV、ECCV、CVPR、AAAI、ACM MM上发表论文论著共44篇。 申请和授权专利41项。 本项目成果获2020度国家自然科学奖二等奖1项(已公示)。
自然场景视觉感知和大数据分析
成熟度:正在研发
技术类型:-
应用行业:制造业
技术简介
p 1自然场景视觉感知自然场景视觉感知与理解是人工智能的前沿热点,其主要任务是对场景中的视觉要素进行认知,进而推断出其中包含的场景语义。IMAGINE实验室近年来相继从场景构成分析、场景内容推理、场景结构建模等角度对这一问题展开了系统研究,着重探索了融合先验建模与深度学习的自然场景视觉理解这一问题。相关成果在工业生产、安全监控等多个行业中进行了推广,先后获中国发明专利授权20余项,部分专利成果已在国家级高新技术企业和江苏省高新技术企业得到应用转化。近年来实验室还在多项国际/国内竞赛中取得佳绩,如:1)在教育部主办的2018年中国研究生智慧城市技术赛中,项目组研究生组成的NJU_Imagine_Lab队获视频动作识别组唯一的一等奖;另一支队伍NJU-Imagine-Lab队获车牌识别组唯一的一等奖(总参赛队伍1079支、共四个组别);2018年中国研究生智慧城市技术赛,项目组研究生获视频动作识别组唯一的一等奖和车牌识别组唯一的一等奖(部分队员的证书)2)项目组研究生组成的NJU_ImagineLab_Psenet 队在国际模式识别大会ICPR18的MTWI2018网络图像的文本检测国际挑战赛参赛1424个队伍中位列第5;3)在创新工厂、搜狗、美团点评、美图联合主办的第二届全球AI挑战赛(AI Challenger 2018)的无人驾驶视觉感知赛道中,实验室队伍获得亚军(AI Challenger2018覆盖81个国家、1100所高校、990家公司的近万支队伍)。课题组研究生在第二届全球AI挑战赛无人驾驶视觉感知赛道获得亚军应用案例基于深度相机的场景物体定位与抓取项目自然场景文字检测项目自然场景文字检测项目自动驾驶中的物体检测项目2大数据分析大数据具有规模大、种类多、产生速度快、有价值数据密度低等特点。对大数据信息分析具有重要意义,也是目前研究的热点,其主要任务是利用数据分析的方法从大数据中获取有价值信息。IMAGINE实验室近年来结合深度学习前沿技术和传统数据分析方法进行数据分析和预测,并在海关大数据分析项目和国网电力冰风灾害预测项目中进行应用。 /p
基于移动平台的视频信息隐藏关键技术研究
成熟度:可规模生产
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
该项目为国家自然科学基金资助联合基金面上项目(项目批准号:U1536121)。该项目主要研究成果如下:1.在移动视频的信息隐藏嵌入关键技术研究方面:将视觉感知模型引入移动视频信息隐藏机制,利用视觉感知模型计算视觉感知强度,实现最大限度隐藏。将视觉感知强度引入视频信息隐藏机制,探索了不同特征视频的对比敏感度、空域敏感度及时域敏感度三者之间的相互影响和作用强度,建立了基于视觉感知模型的块属性判决方法。构建了基于 STC 的视频信息隐藏模型,实现了视频信息隐藏和视觉感知模型的融合。2.在适应于移动平台的视频信息隐藏优化算法研究方面:从编码模式、DCT 系数、MV、熵编码等多个角度尝试构建了隐藏模型,结合编码理论,提高嵌入效率,提出了一种适用于移动通信电路域信道的抗语音声码器断续传输处理和有损压缩的信息隐藏算法。提出了适用于移动平台的分片多线程信息隐藏技术,有机地实现了隐藏的多线程编程。在核心隐藏算法理论研究的基础上,基于手机平台开发了系统应用平台。3.在移动平台视频信息隐藏的应用安全研究方面:提出了基于组件签名和数据加密的保证组件通信安全的解决方案;提出了一种基于机器学习的动态加载漏洞检测方法;提出了一个针对 Android 数据生命周期的风险评估模型;提出了一种应用层的隐私数据安全容器,为移动平台视频信息隐藏的应用建立了一个保护隐私的安全执行环境。提出了一种新的针对 Android 系统漏洞的修复策略构建模型,设计和实现了针对 Android 系统漏洞的热修复容器;提出了一种基于机器学习的权限动态管理方案。通过将 APP 运行在基于应用层的自主可控安全容器中,实现了移动平台上视频信息隐藏应用不受程序更新的影响。该项目在取得丰富的理论研究成果的同时还将研究成果进行了实际应用,将移动平台的视频信息隐藏优化算法进行了实现,通过将其运行在所实现的移动平台安全容器内,提高了应用安全性。
一种视觉感知网络中摄像机的组合选择方法
成熟度:正在研发
技术类型:发明
应用行业:文化、体育和娱乐业
技术简介
本发明公开了一种视觉感知网络中摄像机的组合选择方法,包括以下步骤:目标图像视觉直方图在线生成:在多个摄像机视域范围重叠情况下,对在线获得的观察到相同目标的多路摄像机的视频数据进行运动检测,由检测结果确定目标在视频帧图像空间的子区域,即获得目标图像区域;对目标图像区域进行局部特征提取;根据预先训练生成的视觉词典,计算该视角下目标图像区域的视觉直方图;序贯前向摄像机选择:选择一个最优视角,即最优摄像机;在未被选择的摄像机集合中,选择次优摄像机,将其加入已选摄像机集合,并从候选摄像机集合中剔除;不断重复直到所选摄像机计数达到需要的摄像机计数。
面向自动驾驶的高精度立体视觉感知系统
成熟度:通过小试
技术类型:-
应用行业:租赁和商务服务业
技术简介
本项目致力于开发一款基于双目相机、激光雷达、GPS和IMU等车载传感器的高精度立体视觉感知系统,旨在实现自动驾驶地图的高精度测绘和点云数据获取,从而提升自动驾驶系统的可靠性和安全性。随着自动驾驶技术的不断发展,高精度的地理信息数据变得越来越重要。自动驾驶技术公司和汽车制造商需要可靠的地图数据来支持自动驾驶系统的开发和测试。本项目研发的高精度感知系统能够很好地满足这一需求,提供准确的路况信息和点云数据。
面向高清/超高清的感知视频编码及其并行技术研究
成熟度:-
技术类型:-
应用行业:交通运输、仓储和邮政业
技术简介
该项目组围绕“高效的感知视频编码技术”研究,主要研究成果如下: 1.面向视频编码的视觉感知模型构建与建模:时空特性改进的恰可察失真模型、改进的显著性检测模型。 2.基于视觉特性的感知视频编码框架:提出一种基于显著性区域优先的最小可察觉失真模型(SRP-JND);提出了一种基于SRP-JND模型的感知视频编码算法;基于人眼视觉特性的率失真优化技术。 3.基于视觉特性的视频质量评价方法:基于Psytechnics方法,提出了一种全参考视频质量评价方法;针对基于相似性(SSIM)图像质量评价。 4.面向HEVC/H.265的编解码技术优化算法:CU划分快速算法;改进的帧层码率分配模型;HEVC的帧间快速算法研究;基于人眼主观特性的熵编码技术优化;环路滤波优化算法;HEVC中码率控制算法研究与优化;帧内与DCT变换。 5.适用于高清视频的帧率上变换算法:在单向运动估计和双向运动估计两种框架的基础上,提出了两种帧率上变换算法FSTFRC和BLFRC。 6.视频传输的丢包补偿技术:提出了一种基于样本和快速结构化的空间域错误隐藏改进算法;时空域结合的错误隐藏算法。 7.高清/超高清视频并行加速方案:完成了全I帧和全P帧的HEVC实时编解码系统,实现符合HEVC码流的全高清1080p实时编解码系统。
微装配机器人的视觉感知与智能控制技术研究
成熟度:-
技术类型:-
应用行业:制造业
技术简介
针对微装配机器人应用中存在的装配效率低和质量不稳定问题,本项目将机器学习相关理论引入微装配机器人领域,以ICF靶装配为应用原型,围绕机器人微装配中的视觉感知和智能控制两大科学问题,深入研究显微视觉场景下目标零件的自动识别、微装配过程中目标零件的智能跟踪、跨尺度零件位姿测量和具有自学习能力的机器人智能装配控制等关键技术,提出基于卷积神经网络的微零件的自动识别定位方法、基于“跟踪器+检测器”组合模式的微零件跟踪算法和基于强化学习的微装配机器人控制模型,有效的提升了微零件的装配效率和质量。 本项目研制出冷冻罩组件、微球-微管组件装配机器人系统样机,可实现冷冻罩和微管-微孔组件的机器人装配,装配的微靶已成功应用于激光核聚变实验。机器人样机的装配指标达到国内领先、国际一流的水平(与美国国家点火装置NIF微靶装配对标)。本项目研究成果共发表论文12篇,其中SCI收录6篇,EI收录论文6 篇;申请国家发明专利3项,培养研究生3名,达到项目预期成果要求。
螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法,范式图案通过螺旋形式运动,采用正弦方式实现范式的顺‑逆时针旋转,通过脑电采集设备采集使用者注视刺激图案时产生的脑电信号,将处理后的脑电信号输入计算机,采集到的脑电信号利用典型相关分析实现对脑电信号的特征提取及分类识别,本发明基于稳态运动视觉电位,设计了螺旋运动范式,图案整个运动过程中保持亮度恒定,降低了使用者的视觉疲劳,提高了EEG信噪比,对注视目标辨识准确率也更高,具有低闪烁,低适应性的特点,可以提升脑‑机接口的交互性能。
仿生视觉系统
成熟度:正在研发
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
仿生视觉系统 仿生视觉系统包含两个主要部分:仿生视觉感知模型和仿生视觉皮层模型,这两个模型都是基于生物视觉系统的生理结构而构建的。仿生视觉系统前段的视觉感知,采用高于生物视觉器官的电子器件,作为视觉模块的基本单元,获取目标的三维数据。在视觉感知段对图像信号进行色彩校正、图像锐化等初级处理,并发送至视觉处理子系统(类似于大脑视觉皮层)用作进一步处理,例如纹理分割、分类、识别、跟踪等等。仿生视觉处理系统应用了细胞神经网络,用于模拟人类视觉系统的视皮层。仿生视觉系统的功能是图像视觉信息处理,模拟动物的视觉功能,实现对复杂场景中多目标的探测、分类、识别、理解、跟踪等任务,并具有比生物的视觉系统更优越的性能。
找到13项技术成果数据。
找技术 >基于时间振荡相关与空间整合编码的视觉感知-眼动控制神经网络系统的模拟研究与应用
成熟度:-
技术类型:-
应用行业:科学研究和技术服务业
技术简介
人类和某些动物的视觉感知认知系统表现出了极高的灵敏度和准确度。人类和这些动物的视觉感知和眼动控制机制,以及相关神经信息编码的动力学、信息学和统计学习的原理和实现技术是该成果的主要内容。该成果主要体现在三个方面:自底向上的视觉感知和时间相关神经信息编码;由顶向下的眼动控制和空间相关神经信息编码;自底向上的视觉感知和由顶向下的眼动控制相结合视觉神经网络模型及其应用。在第一个方面,该成果通过对视点数据的分析提出了两个原创性视觉选择性注意模型:基于人类视觉系统尺度选择和基于全局稀有性的图像显著性感知计算模型。通过与真实人眼视点基准测试库对比显示了良好的预测效果。此外,该成果研究了如何通过视觉感知神经元的脉冲同步振荡实现特征捆绑和时间相关的神经信息编码。相应地提出了采用WilsOn-COwan振荡子的脉冲同步发放模型,并通过环域定理等理论分析,给出了脉冲同步振荡发生的边界条件。该模型可以对图像内不同物体以不同的相位进行编码表达和特征捆绑,同时通过脉冲发放一致性检测对编码信号进行解码以实现不同物体的图像分割和初步理解。在第二个方面,该成果研究了视网膜中央凹成像模拟、基于Hebbian神经学习规则的稀疏编码、基于LGBP不变性特征响应的纹理区域描述及相应的图像目标编码表示方法。这些方法在FERET和FRGC基准人脸图像库中的图像重构和识别应用上显示了良好的效果。此外,该成果提出了一套视觉图像目标上下文空间相关神经信息编码的理论、技术和系统。该系统可以模拟高级感知认知神经元对眼动的多级多尺度控制机制,可以根据目标外围由远到近的视觉上下文进行渐进式空间关系编码,也可以应用于视觉目标的搜索。在第三个方面,该成果提出了特征驱动和任务驱动双向结合的视觉感知-眼动控制神经网络系统。通过将模型复杂度与推广性的机器学习理论成功应用于视觉神经网络建模,该成果提出的群体细胞神经编码结构在UniversityOfBern国际基准头肩像数据库的编解码测试中取得了显著性的实验结果:在小样本(30个训练样本vs.270个测试样本)情况下,多细胞编码在目标搜索和定位的精度上的平均综合误差在3.1个像素左右,相对单细胞和k-近邻编码高出35.6%和16.4%,但编码量分别只是二者的88%和5%。这为进一步探索发现高效的视觉神经信息编码技术和应用展示了良好的前景。
开放、不确定环境下视觉感知与行为的类脑机器理解
成熟度:-
技术类型:-
应用行业:制造业
技术简介
目前已经全面超额的完成了本项目的研究内容。本项目根据项目计划书的规定,开展开放、不确定环境下视觉感知与行为的类脑机器理解的研究。 从以几方面总结神经科学对计算机视觉的启发点:A) 基本视觉皮层的特征;B) 初级视皮层的原理扩展到高级区域;C) 顺向、逆向、侧向联接;D) 视觉神经分层认知机制;E) 视觉神经系统的选择性注意机制;F) 动态信息的选择性记忆机制。 先后提出了可变形、各向异性膨胀深度卷积网络及其在特殊物体和特殊人物的检测中应用、多层次感知残差注意力孪生网络及其在高效在线目标跟踪中的应用、基于交互感知的时空金字塔注意力深度神经网络及其在行为分类中的应用、借鉴灵长类大脑局部和整体物体感知机制的目标检测与实例分割联合框架、多任务共享的神经网络及其在高效在线目标跟踪中的应用、人脑动态注意力感知物体尺度启发的目标跟踪神经网络、基于长短期记忆网络强化学习的视频内容语义描述,开发成功网络异质媒体监测系统、网络直播智能监控系统、网络内容审核系统,并在实战发挥重要作用。项目执行期内在IJCV、PAMI等IEEE Transactions上和ICCV、ECCV、CVPR、AAAI、ACM MM上发表论文论著共44篇。 申请和授权专利41项。 本项目成果获2020度国家自然科学奖二等奖1项(已公示)。
自然场景视觉感知和大数据分析
成熟度:正在研发
技术类型:-
应用行业:制造业
技术简介
p 1自然场景视觉感知自然场景视觉感知与理解是人工智能的前沿热点,其主要任务是对场景中的视觉要素进行认知,进而推断出其中包含的场景语义。IMAGINE实验室近年来相继从场景构成分析、场景内容推理、场景结构建模等角度对这一问题展开了系统研究,着重探索了融合先验建模与深度学习的自然场景视觉理解这一问题。相关成果在工业生产、安全监控等多个行业中进行了推广,先后获中国发明专利授权20余项,部分专利成果已在国家级高新技术企业和江苏省高新技术企业得到应用转化。近年来实验室还在多项国际/国内竞赛中取得佳绩,如:1)在教育部主办的2018年中国研究生智慧城市技术赛中,项目组研究生组成的NJU_Imagine_Lab队获视频动作识别组唯一的一等奖;另一支队伍NJU-Imagine-Lab队获车牌识别组唯一的一等奖(总参赛队伍1079支、共四个组别);2018年中国研究生智慧城市技术赛,项目组研究生获视频动作识别组唯一的一等奖和车牌识别组唯一的一等奖(部分队员的证书)2)项目组研究生组成的NJU_ImagineLab_Psenet 队在国际模式识别大会ICPR18的MTWI2018网络图像的文本检测国际挑战赛参赛1424个队伍中位列第5;3)在创新工厂、搜狗、美团点评、美图联合主办的第二届全球AI挑战赛(AI Challenger 2018)的无人驾驶视觉感知赛道中,实验室队伍获得亚军(AI Challenger2018覆盖81个国家、1100所高校、990家公司的近万支队伍)。课题组研究生在第二届全球AI挑战赛无人驾驶视觉感知赛道获得亚军应用案例基于深度相机的场景物体定位与抓取项目自然场景文字检测项目自然场景文字检测项目自动驾驶中的物体检测项目2大数据分析大数据具有规模大、种类多、产生速度快、有价值数据密度低等特点。对大数据信息分析具有重要意义,也是目前研究的热点,其主要任务是利用数据分析的方法从大数据中获取有价值信息。IMAGINE实验室近年来结合深度学习前沿技术和传统数据分析方法进行数据分析和预测,并在海关大数据分析项目和国网电力冰风灾害预测项目中进行应用。 /p
基于移动平台的视频信息隐藏关键技术研究
成熟度:可规模生产
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
该项目为国家自然科学基金资助联合基金面上项目(项目批准号:U1536121)。该项目主要研究成果如下:1.在移动视频的信息隐藏嵌入关键技术研究方面:将视觉感知模型引入移动视频信息隐藏机制,利用视觉感知模型计算视觉感知强度,实现最大限度隐藏。将视觉感知强度引入视频信息隐藏机制,探索了不同特征视频的对比敏感度、空域敏感度及时域敏感度三者之间的相互影响和作用强度,建立了基于视觉感知模型的块属性判决方法。构建了基于 STC 的视频信息隐藏模型,实现了视频信息隐藏和视觉感知模型的融合。2.在适应于移动平台的视频信息隐藏优化算法研究方面:从编码模式、DCT 系数、MV、熵编码等多个角度尝试构建了隐藏模型,结合编码理论,提高嵌入效率,提出了一种适用于移动通信电路域信道的抗语音声码器断续传输处理和有损压缩的信息隐藏算法。提出了适用于移动平台的分片多线程信息隐藏技术,有机地实现了隐藏的多线程编程。在核心隐藏算法理论研究的基础上,基于手机平台开发了系统应用平台。3.在移动平台视频信息隐藏的应用安全研究方面:提出了基于组件签名和数据加密的保证组件通信安全的解决方案;提出了一种基于机器学习的动态加载漏洞检测方法;提出了一个针对 Android 数据生命周期的风险评估模型;提出了一种应用层的隐私数据安全容器,为移动平台视频信息隐藏的应用建立了一个保护隐私的安全执行环境。提出了一种新的针对 Android 系统漏洞的修复策略构建模型,设计和实现了针对 Android 系统漏洞的热修复容器;提出了一种基于机器学习的权限动态管理方案。通过将 APP 运行在基于应用层的自主可控安全容器中,实现了移动平台上视频信息隐藏应用不受程序更新的影响。该项目在取得丰富的理论研究成果的同时还将研究成果进行了实际应用,将移动平台的视频信息隐藏优化算法进行了实现,通过将其运行在所实现的移动平台安全容器内,提高了应用安全性。
一种视觉感知网络中摄像机的组合选择方法
成熟度:正在研发
技术类型:发明
应用行业:文化、体育和娱乐业
技术简介
本发明公开了一种视觉感知网络中摄像机的组合选择方法,包括以下步骤:目标图像视觉直方图在线生成:在多个摄像机视域范围重叠情况下,对在线获得的观察到相同目标的多路摄像机的视频数据进行运动检测,由检测结果确定目标在视频帧图像空间的子区域,即获得目标图像区域;对目标图像区域进行局部特征提取;根据预先训练生成的视觉词典,计算该视角下目标图像区域的视觉直方图;序贯前向摄像机选择:选择一个最优视角,即最优摄像机;在未被选择的摄像机集合中,选择次优摄像机,将其加入已选摄像机集合,并从候选摄像机集合中剔除;不断重复直到所选摄像机计数达到需要的摄像机计数。
面向自动驾驶的高精度立体视觉感知系统
成熟度:通过小试
技术类型:-
应用行业:租赁和商务服务业
技术简介
本项目致力于开发一款基于双目相机、激光雷达、GPS和IMU等车载传感器的高精度立体视觉感知系统,旨在实现自动驾驶地图的高精度测绘和点云数据获取,从而提升自动驾驶系统的可靠性和安全性。随着自动驾驶技术的不断发展,高精度的地理信息数据变得越来越重要。自动驾驶技术公司和汽车制造商需要可靠的地图数据来支持自动驾驶系统的开发和测试。本项目研发的高精度感知系统能够很好地满足这一需求,提供准确的路况信息和点云数据。
面向高清/超高清的感知视频编码及其并行技术研究
成熟度:-
技术类型:-
应用行业:交通运输、仓储和邮政业
技术简介
该项目组围绕“高效的感知视频编码技术”研究,主要研究成果如下: 1.面向视频编码的视觉感知模型构建与建模:时空特性改进的恰可察失真模型、改进的显著性检测模型。 2.基于视觉特性的感知视频编码框架:提出一种基于显著性区域优先的最小可察觉失真模型(SRP-JND);提出了一种基于SRP-JND模型的感知视频编码算法;基于人眼视觉特性的率失真优化技术。 3.基于视觉特性的视频质量评价方法:基于Psytechnics方法,提出了一种全参考视频质量评价方法;针对基于相似性(SSIM)图像质量评价。 4.面向HEVC/H.265的编解码技术优化算法:CU划分快速算法;改进的帧层码率分配模型;HEVC的帧间快速算法研究;基于人眼主观特性的熵编码技术优化;环路滤波优化算法;HEVC中码率控制算法研究与优化;帧内与DCT变换。 5.适用于高清视频的帧率上变换算法:在单向运动估计和双向运动估计两种框架的基础上,提出了两种帧率上变换算法FSTFRC和BLFRC。 6.视频传输的丢包补偿技术:提出了一种基于样本和快速结构化的空间域错误隐藏改进算法;时空域结合的错误隐藏算法。 7.高清/超高清视频并行加速方案:完成了全I帧和全P帧的HEVC实时编解码系统,实现符合HEVC码流的全高清1080p实时编解码系统。
微装配机器人的视觉感知与智能控制技术研究
成熟度:-
技术类型:-
应用行业:制造业
技术简介
针对微装配机器人应用中存在的装配效率低和质量不稳定问题,本项目将机器学习相关理论引入微装配机器人领域,以ICF靶装配为应用原型,围绕机器人微装配中的视觉感知和智能控制两大科学问题,深入研究显微视觉场景下目标零件的自动识别、微装配过程中目标零件的智能跟踪、跨尺度零件位姿测量和具有自学习能力的机器人智能装配控制等关键技术,提出基于卷积神经网络的微零件的自动识别定位方法、基于“跟踪器+检测器”组合模式的微零件跟踪算法和基于强化学习的微装配机器人控制模型,有效的提升了微零件的装配效率和质量。 本项目研制出冷冻罩组件、微球-微管组件装配机器人系统样机,可实现冷冻罩和微管-微孔组件的机器人装配,装配的微靶已成功应用于激光核聚变实验。机器人样机的装配指标达到国内领先、国际一流的水平(与美国国家点火装置NIF微靶装配对标)。本项目研究成果共发表论文12篇,其中SCI收录6篇,EI收录论文6 篇;申请国家发明专利3项,培养研究生3名,达到项目预期成果要求。
螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法,范式图案通过螺旋形式运动,采用正弦方式实现范式的顺‑逆时针旋转,通过脑电采集设备采集使用者注视刺激图案时产生的脑电信号,将处理后的脑电信号输入计算机,采集到的脑电信号利用典型相关分析实现对脑电信号的特征提取及分类识别,本发明基于稳态运动视觉电位,设计了螺旋运动范式,图案整个运动过程中保持亮度恒定,降低了使用者的视觉疲劳,提高了EEG信噪比,对注视目标辨识准确率也更高,具有低闪烁,低适应性的特点,可以提升脑‑机接口的交互性能。
仿生视觉系统
成熟度:正在研发
技术类型:-
应用行业:信息传输、软件和信息技术服务业
技术简介
仿生视觉系统 仿生视觉系统包含两个主要部分:仿生视觉感知模型和仿生视觉皮层模型,这两个模型都是基于生物视觉系统的生理结构而构建的。仿生视觉系统前段的视觉感知,采用高于生物视觉器官的电子器件,作为视觉模块的基本单元,获取目标的三维数据。在视觉感知段对图像信号进行色彩校正、图像锐化等初级处理,并发送至视觉处理子系统(类似于大脑视觉皮层)用作进一步处理,例如纹理分割、分类、识别、跟踪等等。仿生视觉处理系统应用了细胞神经网络,用于模拟人类视觉系统的视皮层。仿生视觉系统的功能是图像视觉信息处理,模拟动物的视觉功能,实现对复杂场景中多目标的探测、分类、识别、理解、跟踪等任务,并具有比生物的视觉系统更优越的性能。