数字经济时代,数据成为关键生产要素。企业从海量数据中挖掘商业价值的需求越发迫切。但这些高维、异构、复杂关联的数据给传统大数据处理和关系型数据库产品带来了极大挑战。中山大学联合创邻科技 “Galaxybase”图数据库,完成了万亿规模交易数据智能挖掘性能测试,为图数据库赋能的智慧互联数字化未来开启了新纪元。
“超级算力+创新存储技术”,推动大数据智能革命
2021年11月底工信部印发《“十四五”软件和信息技术服务业发展规划》,明确提出“突破大规模并行图数据处理关键技术”,推动高性能数据库在金融、电信、能源、制造等重点行业关键业务系统应用。图数据库作为以图论为设计原理的数据库管理系统,将现实世界的实体和实体关系抽象表达为顶点和边,擅长海量图数据的高效存储、查询、计算、分析,能有效解决传统数据库技术无法解决的大数据关联难题,在金融风险、精准零售、物流优化、能源调度、生物制药、智能交通、疫情防控等多种新兴领域有巨大的应用价值。其解决了传统技术关联查询效率低、成本高的问题,具有丰富、高效和敏捷的数据处理能力。而伴随全球数字化竞赛日趋白热化,这将直接影响企业数字化、智能化进程。
在此背景下,如何建立高性能的图计算理论及分布式存储技术,是一个兼具重要性和挑战性、并亟待解决的重要议题。基于中山大学牵头的广东省重点领域研发计划“软件、芯片与计算”重大专项项目“软件定义的图计算关键技术”,中山大学团队联合创邻科技团队依托国家超级计算广州中心环境,完成全自主研发的国产高性能图数据库Galaxybase的安装部署、万亿规模超级大图数据的导入,实现实时大图数据增删改查, 并完成多跳查询、模式挖掘等典型图查询、计算操作。
基于超算集群环境,Galaxybase图数据库构建了一套基于多级最优图分片理论、动态任务调度模式及节点间混合通讯机制的分布式并行图处理体系,通过提供了一个高性能、可扩展、高可靠的图处理平台,支撑万亿节点大图的分布式存储、实时在线查询。在自研数据生成器所模拟的万亿级真实金融交易场景数据集上(包含50亿条账户信息及5万亿条带属性的交易信息,涵盖了最小为10 到最大超过1000万出入度的超级节点),将账号、资金、交易信息以交易网络的形式组织在一起,高效实现了资金流向查询、资金环路以及嫌疑账户间的最短关联路径查询等深度图查询及图计算,其中,通过交易时间进行过滤的六度的深链查询平均耗时仅6.7秒。本项目仅用50台机器集群实现了当前全球商业图数据库支持的最大规模图数据处理,打破了美国头部图技术厂商于2021年6月用1000台机器集群创造的1.2万亿规模大图处理的世界纪录。
高性能图数据库Galaxybase,为更深入的数字化未来做好准备
2021年12月12日, 国务院印发的《“十四五”数字经济发展规划》正式发布, 标志着我国数字经济转向深化应用、规范发展、普惠共享的新阶段。
中山大学与创邻科技的此次合作,充分体现了超级计算与创新存储技术结合对行业数字化智能的赋能之力,开启了图技术赋能行业数字互联新纪元,为实现“十四五”规划提出的数字中国伟大目标添砖加瓦。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。
-
南京市交警打造“合成服务”新模式面对社会发展新形势、群众企业新期盼,回顾过去的2021年,江苏省南京市公安局交警支队结合我为群众办实事实践活动,紧盯群众...
-
聚焦精细服务,强化办实事“执行力”自开展党史学习教育以来,图们市聚焦统筹谋划、精细服务、共驻共治、重点领域,强化办实事落实力、执行力、组织力、志愿力,...
-
好政策有好干部加持,村民才能过上好日子经历了春夏秋三个繁忙的季节后,冬日里的阳原县四十亩滩村,呈现出一年当中难得的宁静。村中央的主街道平坦整洁,两侧围墙粉...
-
在小朋友心中播下垃圾分类的文明种子为了让孩子们从小树立环保意识,了解正确的垃圾分类知识,近日,南关区全安街道天乐社区联合辖区幼儿园开展以童心齐分类、携...
-
大连市将打造东北亚科技创新创业中心市十六届人大及其常委会牢牢把握做好科技创新工作的指导思想和方针政策,坚持突出重点、连续跟踪、持续发力,合理运用视察、...
-
南京市交警打造“合成服务”新模式
2022-01-07 10:22:39
-
聚焦精细服务,强化办实事“执行力”
2022-01-07 09:31:28
-
好政策有好干部加持,村民才能过上好日子
2022-01-07 08:26:46
-
在小朋友心中播下垃圾分类的文明种子
2022-01-06 16:52:04
-
大连市将打造东北亚科技创新创业中心
2022-01-06 14:23:23