吴铁男：构建企业级数据中台，提升全行数据能力——盛京银行企业级数据中台建设实践

阅读本书更多章节>>>>

中国银保监会《关于银行业保险业数字化转型的指导意见》中提出目标：到2025年，银行业保险业数字化转型取得明显成效。数字化金融产品和服务方式广泛普及，基于数据资产和数字化技术的金融创新有序实践，个性化、差异化、定制化产品和服务开发能力明显增强，金融服务质量和效率显著提高。数字化经营管理体系基本建成，数据治理、科技创新能力大幅提升，网络安全、数据安全和风险管理水平全面提升。

盛京银行首席信息官 吴铁男

数字化转型是目标，

数据能力的提升是关键手段

盛京银行结合行内数字化转型战略，以企业级数据中台建设为基础，构建全行数据能力体系。

1.数据采集交换能力。将分散的若干应用信息系统源数据进行采集，通过交换平台的建设来实现信息交换，完成数据的抽取、清洗、加载，构造统一的数据处理和交换。

2.数据整合存储能力。通过数据调度平台、数据开发平台、外部数据平台等不同的建设模式，构建全行统一的数据整合存储模型，实现行内数据、外部数据的统一加工、存储与服务，建立全行统一的面向业务的数据模型。

3.数据开发管理能力。建立项目—任务—模型—开发—测试—上线的全流程管理，其中数据建模模块与数据管控平台全面对接，实现数据标准的落地，ETL开发实现在线配置与程序生成，程序部署实现自动化打包以及版本管理。

4.数据服务共享能力。以多样化服务（如标签、指标、画像、模型、报表、数据产品、自助分析等等）为视角，整合集成数据中台各种能力，发挥中台服务价值。

5.数据治理能力。将数据的基本信息、数据之间的关系、数据的使用情况进行统一化、透明化处理，实现元数据驱动的数据开发、数据分析、数据管理全流程。

6.数据资产运营能力。建设企业数据运营中心，负责数据应用建设方法、规范、流程的落地。制定统一的数据应用建设方法，确保数据的一致性、提供数据的可信度及数据质量。建立数据应用流程，确保各环节有效协同，明确不同角色的分工以及持续对流程进行优化。持续提升数据服务质量，对数据资产质量以及数据消费者的使用进行监控分析，搭建快速响应机制。

业界数据中台建设现状

数据中台可以快速响应市场需求，提升数据资产价值，助力企业数字化转型。数据中台涵盖从数据采集、数据开发、数据整合存储、数据管理到数据服务和资产价值再现等全流程节点。纵观行业数据中台实践，一般以平台为重心，包含数据采集模块、数据开发模块、数据整合模块、数据管理模块、数据服务模块的端到端的工具。数据中台从技术架构以及功能层面是相对完备的，但在具体实践过程中，数据中台的效果却并不理想。具体问题如下。

1.离业务远，缺乏抓手，为了中台而中台。金融领域业务复杂、数据多样，在中台建设过程中往往过度强调大而全反而无法做到有的放矢。

2.系统厚重，建设周期长。数据中台涵盖从数据采集、整合、存储、数据服务、资产管理等相关模块，其系统相对厚重，项目从启动到投产整体周期比较长，见效比较慢。

3.跟已有BI系统界限不清，推广阻力大。数据中台的能见度体现在快速支持灵活的数据服务应用，但金融机构内部一般有多套不同的BI工具在使用，数据中台跟这些已有BI系统之间的界限并不那么清晰，价值不突出，在推广数据中台的时候阻力比较大。

4.只建系统，不建相应的组织、机制。有些企业投入了很大的资金建设数据中台，系统很先进，但是根本无法使用起来。数据中台的核心是要提供数据服务，数据服务需要同时建设相应的岗位和匹配相应的流程机制作为保障。

以数据能力为核心的数据中台建设

随着盛京银行信息化建设发展越来越快，数据的积累呈现爆发式增长，传统数据仓库无论在可维护性、开发复杂性上，还是可扩展性等各方面远远满足不了业务的需要。同时，基于盛京银行日益增长的内外部数据使用需求和管理需要，盛京银行亟需基于前期数据治理的成果，建设能提供大数据公共基础服务的企业级数据中台，以实现全行内外部数据的集中与共享，最终促进业务发展，实现数据资源的综合应用、深度应用，充分发挥数据资产价值，提升企业数据能力，助力全行数字化转型。

通过数据中台建设，夯实我行数据能力基础，不断提升我行数据开发、数据服务、数据管理等能力。建设一站式数据开发平台，为大数据开发人员提供数据同步、数据开发、调度监控、数据服务的全链路一站式大数据开发管理与数据资产管理平台；建立数据标签体系，以业务场景为抓手，构建符合营销、灵活查询等业务场景的标签体系，并实现标签从产生、应用到消亡的全生命周期管理；构建业务模型，在已整合好的数据基础上，基于应用需要，进行模型建立，包含客户模型、存款模型、理财模型、总账模型等；构建数据服务体系，基于数据中台提供统一的数据服务，可与各个渠道进行对接，支撑查询类、营销类、决策类、风控类等各类数据应用；构建数据运营体系，在数据治理工作保障下，通过数据资产盘点整合行内数据服务资产，构建数据资产质量监控机制、建设数据消费者服务响应机制，打通数据治理、数据服务之间的协同效应。

1.数据整合平台。用于采集、存储和处理任意形式的数据资源，同时也可以将平台上的数据分发至其他系统，支持将数据存储至GaussDB等MPP数据库中。主要功能包括数据采集、数据存储、数据处理、数据分发和数据传输、数据脱敏等。数据交换平台的数据传输的功能是通过Netty框架实现的，在保证易于开发的同时还保证了其应用的性能，稳定性和伸缩性。数据脱敏支持替换、截取、偏移、取整、掩码、可逆加密，不可逆加密等多种算法。采集过程通过可视化配置方式，灵活实现数据的增量、全量同步功能。在数据同步过程中，可实现流量控制和容错配置。

2.数据开发平台。数据开发平台是基于数据仓库的实施方法论，即在业务探索、信息探索、逻辑数据模型设计、物理数据模型设计、SDM映射文档设计、ETL脚本开发、测试的基础上自主开发的一款作业生成工具，并且内置了规范和质量检查程序，保证文档、模型、代码的一致性和准确性，实现了数据平台的DDL、智能化的控制流程和脚本的自动生成。基础开发平台为数据类项目开发提供一套自动化管理流程，解决系统调研、模型设计、ETL开发、测试、任务的部署等工作各自独立的局面，系统采用可视化的架构设计，平台支持多类型数据源集成，并对算法逻辑进行了优化，与元数据打通，大大提升了开发效率。

3.数据服务平台。数据服务平台支持自助分析和API服务。自助分析以业务场景为驱动，提供交互式分析，涵盖客户、账户、产品、渠道、交易等多类主题，满足临时性、探索性的数据分析需求。API服务支持对API接口的管理，可通过标签、SQL脚本创建API，也可支持对接模型和算法实验，生成算法服务API，监控API的调用计量等。

4.数据资产管理平台。数据资产管理平台是全行数据服务的统一出口，进行统一的数据资产管理。通过资产盘点，将行内的客户标签、API服务、数据标准、指标数据、固定报表等按照业务逻辑进行梳理形成数据资产目录。通过数据资产管理平台向全行提供目录服务，同时按照不同角色进行权限设置，保证数据安全。平台支持统计数据源、数据表数、标签总数、应用个数；可以按应用价值得分、数据质量得分等维度展示标签、数据源、资产部门的分布及排名情况，促进数据资产增值；支持单独对生命周期异常的数据资产进行管理，避免资源浪费。

5.数据资产运营体机制。构建全行数据资产运营管理的组织与协调机制，负责数据资产生命周期管理、数据服务SLA响应、数据治理工作协同等。设置数据资产运营岗，负责数据资产的新增、修订、废止管理、跟踪并解决资产问题，跟进并解决数据消费者的数据需求及问题答疑等。

数据中台价值

盛京银行数据中台从数据管理组织架构和流程设计、业务场景、平台落地等维度进行整体规划，结合行内数字化转型整体实施路径，以全面提升数据能力为核心进行建设。数据中台以元数据为基础打通各模块之间的关联，通过数据采集开发模块、数据整合模块、数据管理模块、数据服务模块、数据资产模块的落地，持续提升我行数据能力，不断满足各数据角色的多样数据需求，持续赋能业务发展，不断推进我行数字化建设进程。

（栏目编辑：杨昆桦）

阅读本书更多章节>>>>

本文链接：http://www.kjpai.cn/news/2023-01-31/50589.html，文章来源：王者荣耀，作者：admin，版权归作者所有，如需转载请注明来源和作者，否则将追究法律责任！