返回技术转让首页>
  • 华泰证券大规模数据高速查询与回放系统项目
  • 江苏12345公众在线服务平台智能分析项目
  • 国家审计署环渤海地区污染现状智能分析应用
  • 智能 制造- - 电动汽车电池安全智能管理
  • 地铁 大数据智能化分析监测与预警系统
  • 电网信息系统智能运维大数据分析应用

华泰证券大规模数据高速查询与回放系统项目

需求背景与研发内容

在金融证券、软件系统压力测试等应用中,存在很多需要对大规模历史数据进行回放的服务需求,例如,股票量化分析平台、系统数据回测平台中,就存在很多这种数据回放服务需求,以便于进行回归测试分析;或者通过历史数据进行软件系统压力测试。

针对上述应用需求和问题背景,研究构建了一种通用化的大数据回放模型与框架,并基于该模型与框架设计实现了一个高效的大规模数据高速查询与回放系统。

功能简介/特性

支持底层多种异构数据源:系统对数据输入进行了统一抽象,可支持对异构数据源中历史数据进行回放处理,如文件系统、传统SQL数据库、NoSQL数据库等。

方便易用的回放操作:提供了简单易用的回放操作符,用户可直接对操作符进行适当组合从而定义回放作业逻辑。回放操作符包括数据加载操作符、数据流合并操作符以及流处理操作符等,可简单快速创建数据回放作业。

稳定且可调节的回放速率:允许用户指定特定回放速率,并由回放平台自身保证在回放过程中该速率的服务质量,执行某些具有速率要求的模拟回放作业。

高可扩展性:系统具有很高的数据扩展性和系统扩展性,可很好地支持大规模数据、多用户高并发数据回放服务。