中文 / English
首页 > 达通出品
历史数据生命周期管理系统
DataManager®

关键词:8-30倍压缩、分布式计算、高速查询、数据挖掘、联机检索、在线迁移、应用透明、节能降耗

历史数据生命周期管理系统——DataManager ®(简称DM)是一款压缩类关系型数据库系统,适用于企业海量历史数据的存储、管理和查询。
历史数据是指企业生产系统所产生的各种静态结构化数据,这些数据必须在一定时间长度予以保存,用于备份、查询、统计分析和数据挖掘之用。从优化生产系统应用和数据存储结构、减轻存储压力、提高运行效率以及管理和维护复杂度的角度考虑,海量的历史数据应从生产系统中予以剥离,以提高整个生产系统运行效率的同时,大大降低系统整体维护和扩容成本。
DM系统使用的自主知识产权数据存储引擎和压缩算法,实现了对PB甚至EB级数据的高效无损压缩和无需解压的高效数据查询,产品所采用的分布式压缩存储数据库技术可以提供更大的计算弹性。

1.1. 应用场景




1.2. 应用方向

DataManager®部分应用场景



 

1.3. 系统版本


1.3.1. DM-TP

DM-TP版本面向海量数据快速查询应用领域,以行或列存储,结合高效的压缩性能和稀疏索引技术为基础,自主研发的一款性能极高的数据压缩产品。在一定领域,具有满足数据密集型快速检索,数据备份和大并发在线查询的需求。

技术特点:
  • 支持多种操作系统RedHat、CentOS、HP-UNIX、AIX、Solaris等;
  • 海量数据快速导入,可通过数据库接口采集,也可导入文本;
  • 6-18倍压缩性能,可根据数据存储时间周期和访问量频率灵活调节压缩方式;
  • 分布式数据采集,提供更快的数据迁移入库能力,无需担心采集节点单点故障;
  • 在稀疏索引基础上生成依赖索引,降低索引空间,提升数据检索效率;
  • 提供通用API: JDBC, ODBC,C/C++,ADO.Net等;
  • 系统资源占用小,硬件配置需求低,中低端PC-SERVER即可满足需求;
建议应用场景:
针对最终用户的查询业务,清单查询、投诉处理等实时查询且并发高的应用领域。
例如:详单数据、结算数据、交易明细、短信数据、日志数据、wap数据等。

1.3.2. DM-AP
DM-AP版面向海量数据分析型应用领域,以独特的列存储,压缩和智能索引技术为基础,具有数据密集型行业日益增大的数据分析、数据挖掘、数据备份和在线查询的需求;在数据的关联分析方面有更快的速度及压缩比、适合在ODS中做复杂程度较高的关联分析及市场业务部门做深度的关联分析。在典型分析型应用中,OLAP性能远远超越传统的国际主流数据库产品。

技术特点:
  •  支持标准Linux 内核:RedHat、CentOS、RedFlag等;
  •  海量数据快速导入,可通过数据库接口采集,也可导入文本;
  • 数据案列存储,可提供10-26倍甚至更高的压缩比;
  • 列式存储结合智能做索引技术,更快的数据统计速度,提高分析效率3倍以上;
  • 分布式数据采集,提供更快的数据迁移入库能力,无需担心采集节点单点故障;
  • 提供通用API: JDBC, ODBC,C/C++,ADO.Net等;

建议应用场景:
主要应用在并发用户数少,不要求实时响应,查询逻辑复杂的后端的统计分析和数据挖掘应用领域。
例如:经分系统、BI系统、综合分析系统、审计系统、统计系统、数据深度分析系统等。

1.3.4. DM-DP
DM-DP版本为分布式系统,面向高并发、TB到PB级海量数据级别中,可提供高速查询分析,同时可实现7*24高可用性,2000至10000及以上高并发,在线平滑扩展等市场需求。无共享存储,支持动态节点的水平扩展,提升现有系统整体存储、并发和运算能力,避免了传统架构中主机运算能力和磁盘阵列中存储的限制。

技术特点:
  • 支持标准Linux 内核:RedHat、CentOS、RedFlag等;
  • 海量数据快速导入,可通过数据库接口采集,也可导入文本;
  • 3份冗余数据,可提供4-8倍的压缩比;
  •  动态节点水平扩展,避免了存储阵列对存储的限制;
  • Server内置知识节点数据,减少数据扫描/网络通讯量;
  • 数据计算在节点机上完成,提高了查询速率;
  • 使用大部分人员都熟悉的MySQL接口接入,容易使用;
  • 更快的数据统计速度,列式存储减少对I/O、网络带宽的占用;
建议应用场景:
主要应用在互联网应用服务或数据中心,高并发、查询逻辑复杂等多种应用领域。
例如:数据集市、经分系统、数据中心集中存储等。

1.3.4. DM-EP
DM-EP为企业版本,主要面向互联网中小型企业对数据安全备份和查询分析领域。提供两种商业模式,可根据企业对数据存储和查询应用的需求,购买DM-EP一体机或租用DM系统数据库资源,灵活租用数据库存储和计算资源。

技术特点:
  •  动态灵活的资源使用,结合实际需求购买服务;
  •  高度集成化,无需部署;
  • 提供通用JDBC, ODBC,C/C++,ADO.Net等API接口;

1.4. 投资回报


1.5.系统荣耀

凭借较高的科技含量以及广泛的市场应用成果,“DataManager®历史数据生命周期管理系统”荣获了由北京市科委颁发的《北京市火炬计划项目证书》和《北京市科技进步奖三等奖》,这标志着中电达通自主研发的DataManager®系列产品已处于国内领先地位。