当前位置:首页 > 特别策划

淮河能源数据治理与数据中台建设与应用

2024-04-24 15:44:38  来源:智能矿山杂志  作者:张龙旗,赵华生,张玉荣,韩志业,董少周,刘昊,丁梅生
115
分享至
  • 微信
  • 微博
  • QQ

2020 年9 月,国务院国有资产监督管理委员会下发《关于加快推进国有企业数字化转型工作的通知》,提出了数据基础是四大转型基础之一,明确要求各能源企业要开展大数据平台建设,健全企业数据治理体系,强调数字化建设对于国有企业的重要性、紧迫性、必要性。

为响应国家要求,推进淮河能源控股集团有限责任公司(简称淮河能源) 数字化转型战略的加速落地,支撑企业业务数字化能力快速形成,推动大数据、人工智能等新技术和业务的深度融合,提升企业数据资产管理能力成熟度,助力集团高质量发展。淮河能源从2021 年开始开展数据治理与数据中台项目建设。

数据治理与数据中台建设目标及内涵

数据治理与数据中台建设目标

数据治理与数据中台建设旨在建立企业数据治理、管理和应用体系,梳理企业数据资源,开展数据标准化治理,提升数据质量,建成企业模型规范统一、数据干净透明的数据资源池。基于数据治理与数据中台建设成果,进一步促进数据共享和业务融合,规范开展数据资产运营,为数据分析应用提供支撑,助力数据价值充分释放,助推企业生产经营提质增效再上新台阶。

数据治理与数据中台建设内容

数据治理与数据中台建设分为数据咨询规划、建立数据中台、实施数据治理、构建数据服务实现数据共享、数据分析及深化应用5 个部分。

(1) 数据咨询规划

数据治理与数据中台建设进行数据管理现状评估,编制《淮河能源控股集团数据管理现状评估报告》,制定《淮河能源控股集团数据战略及路线图方案》,明确“清洁数据助力卓越运营,智慧数据成就高质量发展”的数据战略愿景,规划短、中、长期3 个阶段的目标,确定11 项重点任务。淮河能源数据战略及实施路线如图1 所示。

image.png

(2) 建立数据中台

数据中台涵盖数据采集、数据存储、数据计算、技术平台、数据门户和业务应用等能力。淮河能源数据架构设计如图2 所示。

image.png

数据中台接入了71 套信息化业务系统全量数据和环渤海动力煤价格、动力煤期货收盘价格、全国发电量等9 类外部指标数据,包括1.39 万张表、26.61 万个字段、92.51 亿条记录。实现对海量数据资源的接入、存储、处理和计算,借助大数据、云计算等新技术,支撑起海量数据采集、传输、融合、清洗、存储、计算、共享和应用,推进数据资源规范管理和集成共享。

(3) 实施数据治理

在规范源端数据管理方面,建立数据目录,从系统视角、业务视角形成统一的数据目录体系,为企业数据共享应用提供统一语言,支撑各部门、各单位查询和定位数据。淮河能源数据中台数据资源目录如图3 所示。

image.png

在构建数据指标体系方面,按照“涵盖全面、层次分明、结构完善”的要求,形成包括安全生产、财务管理、投资管理、改革创新及管理提升、资源环境、人才队伍、党群及企业文化、风险控制、监督监察、行政办公、外部环境11 个大类、55 个二级分类、173 个三级分类,738 项的《数据指标体系及核心业务数据指标规范标准》。淮河能源数据指标体系如图4 所示。对71 套信息化业务系统功能与数据库表关系进行梳理,规范表13 283 张、字段240 072 个。

image.png

在数据模型线上化方面,通过数据集成工具对贴源层数据进行清洗转换,按照数据模型结构完成明细层构建,建立11 个一级主题域、114 个二级主题域、2 184 张业务表、46 580 个字段的模型入仓应用和线上化管理,打破业务系统数据壁垒,实现数据融合汇聚。为数据治理及跨系统、跨业务融合提供标准依据。淮河能源数据中台数据模型如图5 所示。

image.png

在数据质量规则化方面,建立了33 项数据质量规则梳理及配置,搭建5 个数据质量场景,规范数据质量管理。淮河能源数据中台质量管理场景如图6 所示。

image.png

编制数据质量分析报告,围绕数据接入、清洗、服务和应用等环节,按照数据一致性、完整性、及时性、准确性、有效性、唯一性的要求开展数据质量监测、分析,完成8 期信息化业务系统数据质量分析,识别数据质量问题168项并落实整改,提升数据质量。

(4) 构建数据服务实现数据共享

依托数据中台集成的海量数据资源,构建标准化数据服务,简化信息化业务系统间对接双方开发工作量,为各业务系统提供数据共享服务。制定数据服务的线上申请使用流程,并面向企业全面预算、人资、党建、审计评价等提供数据服务493 项,涉及21 个单位(部门),48 套系统。自2022 年12 月数据中台上线以来,服务调用次数累计达到99.51 万余次,日均提供数据5 万余条。淮河能源数据中台数据对接服务如图7 所示。

image.png

(5) 数据分析及深化应用

基于企业数据资源池及构建的数据标准模型,开发数据分析模型,推进数据应用,形成数据门户、领导驾驶舱、经营手册、煤炭生产运营全景、人力专题应用、物资专题应用、数字门户移动APP等多项数据应用模型。

数据门户:包括数据战略、数据总览、常用功能入口、数据管理流程待办事项、我的收藏、关注的指标、公示公告、搜索中心、数据运营、数据管理文件、应用看板及模块自定义等功能。淮河能源数据中台数据门户如图8 所示。

image.png

领导驾驶舱:包括概况总览、党群工团、战略投资、经营管理、财务管理、风险防控、安全生产、销售管理、人力资源、物资管理、资源环保11 个页面,纵向包括企业总览、煤炭产业、煤电产业、清洁能源、其他产业和对标对表5 个页面,涉及590 项指标,全面呈现企业经营管控和生产运营情况。淮河能源领导驾驶舱如图9 所示。

image.png

经营手册:实现51 份报表、2 156 项数据线上自动获取。通过数据溯源分析,从业务信息系统线上获取数据,经过数据中台进行统计计算,支撑经营手册报表的最终呈现。淮河能源经营手册线上化如图10所示。

image.png

煤炭生产运营全景:涉及商品煤资源量、商品煤质量、商品煤发运量、商品煤开票量、商品煤在途煤、商品煤库存量、商品煤价格、原料煤调运量、精煤产量、精煤产率共10 项指标,支撑淮河能源集团及煤炭生产管理单元准确掌握煤炭生产运营情况。淮河能源煤炭生产运营全景界面如图11 所示。

image.png

人力专题应用:包括人力专题概览、人员序列分析、板块人员变化、煤炭用工分析4 个专项场景,涉及27 项业务指标。淮河能源人力专题应用界面如图12所示。

image.png

物资专题应用:包括物资采购、物资库存、物资消耗分析专项场景,涉及19 项业务指标。淮河能源物资专题应用界面如图13所示。

image.png

数字门户移动APP:在手机移动端可随时随地查看数据动态,掌握数据应用,处理数据使用需求,并进行掌上数据查询。淮河能源数据中台移动APP如图14所示。

image.png

数据治理与数据中台关键技术及创新点

(1) 构建煤炭企业全业务数据标准及信息模型,实现了数据资源标准化、规范化管理

数据治理与数据中台建设参考国家标准和行业标准,结合企业业务和信息化管理应用情况,分阶段开展数据标准的编制,形成了覆盖人员、财务、资产、设备、生产、采供、销售、党建、合规、项目、综合11 个业务领域的企业数据标准和信息模型,实现了集团级数据定义、数据管理、数据交换的标准化、规范化,为推进煤炭企业数据标准化迈出了关键一步。

(2) 搭建分布式架构的数据存储与计算服务平台,实现了海量数据资源高效接入及统一存储

数据治理与数据中台采用高可用分布式集群技术、数据抽取转换加载技术,以及异构系统的数据采集、解析与转换等技术,研发了支撑结构化和非结构化数据的高效接入组件,构建了满足高效数据接入、分布式数据存储、统一数据管理、灵活数据共享应用平台。支持流计算、内存计算、批量计算、查询计算,以及跨域计算等技术的计算组件,实现了分布式运行和协同计算,为超大规模数据(TB—PB级) 的管理提供了高性价比的通用计算平台,为各类分析应用提供统一的数据接口服务、数据挖掘服务和自助式分析服务。

(3) 研发统一数据共享服务组件,实现全业务数据的便捷获取

数据治理与数据中台构建标准化数据服务,简化业务系统间对接双方开发工作量,促进数据交换,推进业务系统融合贯通。建立企业数据指标体系框架,开展指标溯源、口径确认、自动计算,实现指标数据统一共享,为各类分析应用提供统一的数据接口服务,实现数据便捷获取。解决跨系统应用集成交互时,底层异构数据库数据的统一管控与访问问题,攻克跨平台异构数据源转换、并行多表同步,以及集群ETL处理等技术难题。

(4) 建立多类型资源共享机制,推进数据共享和价值释放

数据治理与数据中台的构建实现数据共享,大幅降低数据的理解难度、获取门槛,让数据需求部门能够便捷、高效地获取数据、共享数据。实现了成果共享,围绕业务需求、业务痛点,快速构建与共享大数据应用成果,实现数据价值裂变创效,让员工从大数据应用中受益,提升员工数据治理工作获得感。实现能力共享,让数据赋能业务,快速实现业务能力的传递,促进数据驱动业务创新发展。

数据治理与数据中台应用成效

数据治理与数据中台自投入运行以来,运行稳定,性能优良,用户体验好,注册用户6 832 人,日均登录1 650 人次,各级用户逐步养成通过数据中台获取数据、分析数据的工作习惯,数据获取和处理能力显著提升,提高了企业运营效率,为企业发展决策和分析提供有力的信息支撑和技术保障。

(1) 形成了数据资产管理运营体系

数据治理与数据中台的建设推进了DCMM数据管理能力成熟度标准落地,构建了适应于淮河能源的数据资产管理运营体系。围绕数据战略、数据盘点、数据集成、数据标准、数据模型、数据质量、数据应用、数据安全等领域,构建了适用于淮河能源的数据资产管理运营体系,集团数据管理能力成熟度达到稳健级。

(2) 提升了管理水平

通过数据治理与数据中台的建设,有力提升了数据管理能力,基于平台的数据采集、存储、管理、服务和应用能力,推进数据协同共享;持续改进提升了数据质量,大幅降低数据的理解难度、获取门槛,让数据需求部门能够便捷、高效地获取数据、共享数据,提升了企业的数据管理能力。数据分析成果应用,让员工从大数据应用中受益,提升了员工数据治理工作获得感,实现数据赋能业务,驱动业务创新发展。

(3) 提升了经济效益

通过数据治理与数据中台的建设,推动数据共享服务,依托平台的数据资源目录、数据服务管理能力,实现了数据便捷查询、快速获取,大幅缩短了信息化业务系统数据交互接口的研发周期和开发费用。通过自助式分析组件,将原本线下统计、手工归集数据的统计报表线上化,基于数据中台实现数据自动获取、线上计算,降低线下人工收集、统计数据的成本,提高了工作效率和效益。

(4) 提升了社会效益

数据治理与数据中台的建设,构建了煤炭行业业务数据标准,建立了煤炭企业全业务数据信息模型,推动了煤炭企业数据管理标准化、规范化,在煤炭企业数字化转型方面起到典型示范作用。

结 语

淮河能源紧抓数智时代机遇,通过机械化替代劳动、自动化替代岗位、可视化替代监管、信息化替代跑腿“四个替代”,实现生产调度可视化、过程控制智能化、经营管理数字化、决策管理智慧化,最终实现减人、增安、提效的目的。结合行业数字技术、数字应用的发展实际,并基于全员数据应用创新成果,将数据应用成果经验、算法模型嵌入业务活动、流程当中,形成生产经营管理由人工决策判断向算法模型智能决策的转变,建成自动研判、智能决策、智慧运营的管理新常态。


助理编辑:江振鹏

地址:北京市朝阳区和平街13区煤炭大厦701室,《智能矿山》编辑部

电话:010-87986440/41/38,87986435-7102/7103

邮箱:znks2020@126.com

邮编:100013

 

©2017-2024 智能矿山 版权所有 京ICP备05086979号-20 技术支持:云智互联