编者按:
随着数字化转型、数据要素市场化、高质量生长等宏观导向,,,,,,,,数据价值愈发获得重视。。。。。。。。从最基础的数据架构到上层的数据应用,,,,,,,,无论是金融机构照旧金融科技厂商,,,,,,,,都有着各自的明确与实践。。。。。。。。首页|尊龙集团中国官方网站科技在大数据领域始终坚持足够的手艺敏锐度,,,,,,,,将以本篇关于“数据架构”的探讨为始,,,,,,,,后续推出系列文章,,,,,,,,与您一起探索更适合当下行业生长的数据观,,,,,,,,欢迎各人一连关注。。。。。。。。
作者|首页|尊龙集团中国官方网站科技大数据研究院
内容|本篇共3170字,,,,,,,,预计阅读时间10分钟
良久以来,,,,,,,,数据架构一词的影响一直局限于很狭窄的专业领域规模之内,,,,,,,,海内的数据治理事情基本都围绕着数据标准开展。。。。。。。。2021年2月9日人民银行宣布《金融业数据能力建设指引》,,,,,,,,对数据架构的熟悉正式提升到了行业高度,,,,,,,,而把数据标准改为数据规范,,,,,,,,也算是各归其位了。。。。。。。。
数据架构是什么
凭证ISO/IEC/IEEE 42010:2011的架构界说:系统的基本组织,,,,,,,,体现在其组件、它们之间的关系和情形,,,,,,,,以及管理其设计和演变的原则。。。。。。。。
架构一词泉源于修建行业。。。。。。。。若是说杜甫昔时盖茅屋不需要设计,,,,,,,,那么制作现代广厦不可能没有设计图就开工了。。。。。。。。

管理数据也需要架构。。。。。。。。数据架构界说管理数据资产的蓝图,,,,,,,,形貌应该怎样组织与管理数据,,,,,,,,内容包括数据模子、数据界说、数据映射规范、数据流、结构化数据应用接口规范(DAMA DMBOK2)。。。。。。。。数据架构需要一连动态地维护,,,,,,,,并不比修建架构设计简朴。。。。。。。。
国家标准GB/T36073—2018《DCMM数据管理能力成熟度评估模子》关于数据架构的形貌为:通过组织级数据模子界说数据需求,,,,,,,,指导对数据资产的漫衍控制和整合,,,,,,,,安排数据的共享和应用情形,,,,,,,,以及元数据管理的规范。。。。。。。。
那么怎样解读数据架构??????有哪些组件??????组件之间的关系是什么??????与哪些情形有关系??????
数据架构有哪些组件
企业数据架构设计包括企业数据模子设计以及数据流设计(DAMA DMBOK2),,,,,,,,这也是数据架构较量经典的内容。。。。。。。。从零最先设计企业数据架构需要很长的时间、很大的资金投入,,,,,,,,并保存潜在的失败危害。。。。。。。。在企业数据架构实践中,,,,,,,,业界已有一些成熟的行业数据模子可以参考,,,,,,,, 因此,,,,,,,,一样平常情形下,,,,,,,,最详细的数据架构设计文件是一个正式的企业数据模子。。。。。。。。物理数据模子也是数据架构文件,,,,,,,,但物理数据模子是数据建模和设计的产品,,,,,,,,而不是数据架构。。。。。。。。
DCMM的数据架构能力域包括数据模子、数据漫衍、元数据管理、数据集成与共享能力项,,,,,,,,DCMM把在DAMA数据管理知识系统中自力的元数据管理、数据集成两个领域也包括进去了。。。。。。。。DCMM标准已被普遍认可,,,,,,,,一些领先的机构获得了数据管理能力成熟度四级或五级认证。。。。。。。。
怎样明确DCMM界说的数据架构组件关系
数据架构的焦点组件是数据模子,,,,,,,,指导数据漫衍与数据集成。。。。。。。。
数据漫衍也是数据集成的须要输入。。。。。。。。为提升数据集成与交互的效率,,,,,,,,数据集成反过来对数据漫衍提出要求。。。。。。。。
企业的数据模子、数据漫衍以及数据集成的设计文档都是元数据,,,,,,,,若是没有这些元数据,,,,,,,,组件之间的关系无法展现,,,,,,,,用户就无法使用数据。。。。。。。。
数据架构与应用架构、手艺架构的关系
数据架构不可自力保存,,,,,,,,站在企业架构的高度,,,,,,,,与企业应用架构、手艺架构有细密的情形关系。。。。。。。。
应用架构是数据架构的输入。。。。。。。。数据的漫衍是数据在营业应用与数据应用系统中的漫衍,,,,,,,,这些系统的营业功效决议了将爆发哪些数据以及需要哪些数据,,,,,,,,因此,,,,,,,,应用架构设计决议了数据的漫衍,,,,,,,,指导数据架构中数据界说、数据集成与交互等妄想和管控事情。。。。。。。。数据架构设计对应用架构的输入不应照单全收,,,,,,,,应用系统中的数据模子设计应遵照企业数据架构,,,,,,,,数据漫衍与集成的原则要求影响应用系统的功效漫衍。。。。。。。。
数据架构是手艺架构的输入。。。。。。。。数据的集成交互与存储妄想的需求是敌手艺架构提出的要求。。。。。。。。手艺架构是数据架构的落实基础支持,,,,,,,,基于可靠性、性能·、实验的重大性、本钱等思量的数据库软件、数据存储等手艺选型可能反过来制约应用架构与数据架构。。。。。。。。

数据管理领域的反思
自金标委建设三十多年以来,,,,,,,,在推动金融数据标准化方面取得了重大成绩,,,,,,,,金融行业的数据管理水平一直处于领先职位。。。。。。。。�;;;;;;;厥资莨芾砹煊蛳晗甘导�,,,,,,,,仍有一些问题值得反思。。。。。。。。
数据架构管理简朴粗放
由于有自制的存储装备可以选择,,,,,,,,太过强调应采尽采(甚至有些企业主张实时收罗全域数据,,,,,,,,数据收罗无差别“大而全” ),,,,,,,,太过强调非结构化数据的价值,,,,,,,,没有对数据举行细腻化区别管理,,,,,,,,没思量过其中大部分数据可能没有任何价值,,,,,,,,没有思量TCO与ROI,,,,,,,,放任数据的膨胀。。。。。。。。
数据管理与治理没有建设在企业数据架构基础之上
有些企业数据架构的管理不包括数据模子,,,,,,,,仅限于数据剖析平台(数据客栈或数据中台)的漫衍流转,,,,,,,,数据集成仅限于从数据收罗最先到数据应用。。。。。。。。
在数据模子设计与数据集成历程中,,,,,,,,忽视了企业数据漫衍(应用架构)的输入,,,,,,,,可能导致所用数据并非权威数据源,,,,,,,,甚至可能使用了过失的数据,,,,,,,,无法包管数据质量。。。。。。。。
数据治理系统化与深度有待提升
有些企业数据的治理停留在建章立制方面,,,,,,,,有些企业建设了数据标准但没有落地,,,,,,,,意识到“同义差别名、同名差别义”,,,,,,,,要统一术语看法,,,,,,,,但没有上升到数据架构系统层面,,,,,,,,很难取得实质性希望。。。。。。。。
许多企业花鼎气力买通数据应用“最后一公里”,,,,,,,,而不关注数据生产“最前十公里”。。。。。。。。若是忽视数据问题爆发的源头,,,,,,,,事倍功半,,,,,,,,最后一公里的应用很难有高质量的数据基础。。。。。。。。
强调可用性,,,,,,,,质量被忽略
有些金融企业在引入互联网解决计划时忽视了行业差别,,,,,,,,为了提高可用性,,,,,,,,一直提高数据纷歧致性等质量问题容错率。。。。。。。。�;;;;;;;チ幸敌矶嘤党【岸允葜柿康囊蟛桓�,,,,,,,,从统计角度只要知足一定水平的相似性。。。。。。。。而金融行业财务报表、合规羁系等需求对数据质量的要求远高于互联网行业。。。。。。。。
应该怎么做:
以企业级的架构视角来管理与使用数据
许多企业有数据,,,,,,,,无数据架构。。。。。。。。数据架构处于无感的被动职位,,,,,,,,手艺选型后才谈数据架构,,,,,,,,应用系统不思量数据架构基本要求。。。。。。。。当手艺平台穷于应付,,,,,,,,不可给客户带来好的体验时,,,,,,,,不从数据架构、应用架构方面举行反思。。。。。。。。
架构设计的实质是企业级顶层视角与系统化设计
清晰明确企业数据架构的实质,,,,,,,,无论是数据治理或数据资产管理,,,,,,,,照旧数据客栈、数据中台或数字化转型,,,,,,,,都应该站在企业级顶层视角,,,,,,,,举行架构层面的系统化设计。。。。。。。。
数据生命周期每个阶段的生产者、加工者都应该对自己设计的数据产品认真,,,,,,,,对自己的用户认真。。。。。。。。设计者的眼光不但要向前看,,,,,,,,还要注重到左右的应用架构与手艺架构,,,,,,,,还要向后看,,,,,,,,熟悉到自己的设计事情是很是主要的环节。。。。。。。。
稳固的架构来自笼统头脑
架构应该是稳固的。。。。。。。。解决“同义差别名、同名差别义”的问题只是数据架构管理万里长征的第一步。。。。。。。。纵然数据模子的设计遵照数据标准,,,,,,,,仍解决不了本诘责题,,,,,,,,只有接纳笼统的头脑,,,,,,,,剥离数据的噪声,,,,,,,,笼统出营业的本体,,,,,,,,才华爆发稳固的框架,,,,,,,,并以结构化、系统化来表达或展现。。。。。。。。
与数据治理协同
数据治理是数据架构的另一要害情形因素。。。。。。。。数据架构的目的最终需要通过与数据治理的协调一致才华实现,,,,,,,,数据架构认真准确地做事,,,,,,,,数据治理确保(凭证数据架构)做准确的事。。。。。。。。
把企业数据模子作为数据治理事情的产出物
从建设企业看法数据模子入手,,,,,,,,让各关连人熟悉到企业数据模子的主要性,,,,,,,,在数据建模中系统化治理数据,,,,,,,,在数据治理中逐步完善形成企业数据模子,,,,,,,,指导数据在企业各系统的漫衍与集成,,,,,,,,支持应用系统的数据重用与迅速开发。。。。。。。。
管理数据资产的全生命周期
建设数据即资产的数据资产观,,,,,,,,在一样平常事情中建设本钱与收益意识,,,,,,,,从数据的爆发最先管理,,,,,,,,使数据的设计者、生产者、加工者与管理者都熟悉到在数据的全生命周期中都投入了本钱,,,,,,,,优化数据管理生态,,,,,,,,实现企业级的数据集成,,,,,,,,驱动数据资产价值的最大化。。。。。。。。
建设数据剖析生态系统
结构化与非结构化数据有差别的价值密度,,,,,,,,需要差别的处置惩罚手艺与流程。。。。。。。。数据差别的生命周期,,,,,,,,价值密度也纷歧样。。。。。。。。需要建设完善的数据剖析生态系统 ,,,,,,,,有用管理州差别形态、差别生命周期的数据,,,,,,,,为差别用户提供高质量的数据以及友好的体验。。。。。。。。
结语
企业数据的管理是一项一连的事情,,,,,,,,不可能毕其功于一役。。。。。。。。营业在生长转变中,,,,,,,,数据架构也要同步更新。。。。。。。。许多企业实验数据中台并没有带来数据管理能力的提升,,,,,,,,也没能给用户提供高质量的数据,,,,,,,,若是不站在企业的架构视角,,,,,,,,数据治理与数据架构脱钩,,,,,,,,各自进行,,,,,,,,再换个马甲也无用。。。。。。。。