1962年,“数据管理”首次被记载于学术文献,其初衷是为了节省存放穿孔卡所需占据的整整一层楼空间。
一句话概括: 数据治理并非新概念,它已演进六十年。每次它“再度火热”,都不是因为技术创造了什么新突破,而是因为谁在使用数据、为何使用数据发生了变化。今天回顾这段历程,并非为了怀旧,而是为了理解:AI时代的数据治理,究竟要解决哪些挑战。
00 六十年全景概览
在展开叙述前,先呈现时间线,便于你参照:
[图片链接]
接下来,我们将分阶段讲述人物与故事。
01 穿孔卡时代:数据管理的核心动力是“节约成本”
许多人误以为数据治理是互联网时代的产物。事实并非如此。
“数据管理”一词早在1962年就出现在文献中。 当时,数据处理服务组织协会(ADAPSO)正式提出该概念,CJ Roach在《Part XVIII. Data management》中给出了最早的定义:研究数据如何被收集、记录、存储、检索、分析和展示。
但你猜当时人们为何要“管理”数据?并非为了利用,而是为了节省。 那个年代,数据存储在穿孔卡上。这些卡片有多占空间?一些公司需要一整层楼来存放穿孔卡。因此,那时的数据管理主要关注“少存、存好、不浪费”——本质上是优化硬件成本,与今天的“释放数据价值”截然不同,甚至带有档案管理的色彩。
真正的转折发生在70年代。磁盘取代了磁带,磁盘具备直接寻址能力,操作更灵活,一种名为“数据库管理系统(DBMS)”的软件应运而生——这就是今天关系型数据库的前身。OLTP系统随之出现,数据开始爆炸式增长。
随后,一件影响深远的事发生了:有人编写了一个叫**“抽取”的程序,将数据从OLTP库中提取到新库中,再对新库进行操作。这样既不影响生产系统,又能自由处理数据。这实际上是数据仓库和OLAP的起源。 但“抽取”带来了一个副作用——每次抽取,就多出一份脱离管控的数据副本。日积月累,整个企业变成了“蜘蛛网”式的自然演化体系结构**。这个比喻后来被Bill Inmon反复引用:企业越庞大、越成熟,这张网就越乱、越难解开。
于是,数据管理第一次被赋予新含义:不仅是节省空间,而是降低冗余、保证一致性。70年代末,诺兰(Nolan)的信息化成熟度模型中,专门描述了“数据管理”阶段——企业信息化发展到一定阶段,必然遇到数据孤岛问题。
这一阶段的启示: 数据治理的首次出现,驱动力是成本;第二次出现,驱动力是混乱。都不是因为数据“有价值”,而是因为数据“造成麻烦”。这个底层逻辑,后面会反复出现。
02 1988年:MIT的两位教授将“质量管理”引入数据领域
1988年是数据治理史上关键的一年,发生了两件大事。
第一件发生在MIT。Richard Y. Wang和Stuart Madnick两位教授启动了“全面数据质量管理”项目。 他们的灵感来源并非计算机科学,而是制造业的质量管理。TDQM提出了一个核心概念:“数据制造”。他们认为,数据像工业品一样,是被“生产”出来的:有原材料(源数据)、有加工工序(ETL)、有产成品(报表和指标)、有质检环节。既然工业品可以用全面质量管理来管控,数据为何不能?
基于此,TDQM确立了数据质量的三大管理要素:度量、分析、改进,并强调从经济、技术、组织三个维度同时入手。1994年,他们进一步提出四类质量维度:固有质量、上下文质量、可呈现质量、可访问质量。今天你在DAMA中看到的那些质量维度,源头就在这里。
第二件事发生在洛杉矶之外——国际数据管理协会DAMA正式成立。一批意识到“数据需要专业管理”的人,终于有了自己的组织。
同一时期,1987年,John Zachman提出了企业架构框架,特别强调数据架构对解决“重复建设、缺乏统一视图”的作用。但尴尬的是,相比业务架构的贴近业务、应用架构的可见可触,数据架构的作用一直不温不火——它并未立即带来治理的繁荣。
这一阶段的启示: 最重要的一次思想跃迁——数据可以被当作产品来管理。一旦接受“数据是制造出来的”,质量问题就不再是“人的疏忽”,而是“工序的缺陷”。这是后来所有数据质量方法论的基础。
03 1990年代:两位“之父”的六年论战
90年代,数据治理史上最著名的争论爆发了。主角是两位大佬。
一位是Bill Inmon,“数据仓库之父”。 1990年,他提出“数据仓库”概念,次年出版《建立数据仓库》,给出了最经典的定义:数据仓库是**“面向主题的、集成的、随时间变化的、非易变的、用于支持管理决策的数据集合”。Inmon主张自上而下**:先建一个全企业统一、高度规范化的企业级数据仓库,作为唯一权威真相源,再从中派生出各个部门的数据集市。
另一位是Ralph Kimball,“商业智能之父”。 1996年,他出版《数据仓库工具箱》,主张自下而上:先挑一个具体业务流程,建一个维度模型,一个事实表周围挂一圈维度表,交付给业务,收反馈,再做下一个。多个数据集市之间通过“总线架构”和一致性维度串联起来。有趣的是,两人其实是生活中的好朋友。但他们的粉丝争论不休,一度几乎对立。争论的实质是两种世界观的碰撞:Inmon追求全局一致性——先苦后甜,代价是项目周期长、投入大;Kimball追求快速见效——几周就能交付第一个星型模型,代价是“集成债”。
这场争论如何平息?Inmon推出了企业信息工厂,将Kimball的数据集市也纳入进来,形成更大框架——相当于“我承认你的东西有用,但需挂在我的体系里”。争论这才缓和。
这一阶段的启示: 这场争论从未真正结束。今天的数据湖仓之争、Data Mesh与集中治理之争,骨子里还是Inmon与Kimball的问题:是先有全局一致,还是先有局部可用? 2026年主流的Medallion架构,本质上是一次官方和解——Silver层是Inmon的,Gold层是Kimball的。
04 2002年:命名的那一刻,来自一家保险公司
讲了这么久“数据管理”,那“数据治理”这个词,何时首次正式登场?学术界的共识是2002年。 那一年,三位美国学者——Hugh J. Watson、Celia Fuller、Thilini Ariyachandra——发表了一篇论文,题目是《数据仓库治理:北卡罗来纳蓝十字蓝盾公司的最佳实践》。这篇论文不是纯理论,而是一家医疗保险公司的真实项目复盘,记录了如何组织团队、协调利益相关方、系统化推进质量管理的过程——这是历史上第一次公开、系统地记录“数据治理”的实践。
论文中有一句关键的话:“数据仓库治理是IT治理的一个子集。” 它要求建立恰当的组织结构和流程,协调所有利益相关方的投入,覆盖基础设施、使用和项目管理三个层面。这句话解释了数据治理的出身——它是从IT治理中生长出来的。因此,早期数据治理框架的核心要素与IT治理高度一致:组织、战略、架构、流程。换句话说,数据治理从诞生第一天起,重点就不是“技术如何实现”,而是“权责如何分配”。这个基因一直保留到今天——你去翻DAMA的定义,核心依然是“决策权”和“问责制”。
这一阶段的启示: 很多人今天把数据治理做成“IT部门的技术项目”,其实是走偏了。它的原生定义是管理问题:谁说了算、谁负责、谁来协调。技术只是执行手段。
05 2003-2017年:从一句话,变成一套体系
概念有了,接下来需要有人将其变成可执行的框架。2003年,Gwen Thomas创立了国际数据治理研究所。 他们做了一件关键的事:将“治理”这个抽象词,拆成了12个步骤——调整政策与控制、建立决策权、建立问责制、执行管理、管理变革、定义数据、解决问题、指定数据质量要求、将治理融入技术、利益相关方关怀、沟通、衡量和报告价值。同时给出十大关键组件。如果你今天要给一家企业搭建数据治理体系,这套东西依然是最实用的骨架之一。
另一条线是DAMA。2009年,DAMA国际发布《DAMA数据管理知识体系指南》第一版,确立了“一个核心+九大职能”的结构:以数据治理为核心,向外展开数据质量管理、数据架构管理、数据开发、数据操作管理、数据安全管理、参考与主数据管理、数据仓库与商务智能管理、文档与内容管理、元数据管理九大领域。DMBOK的意义在于:它第一次将数据治理从“几篇文章”变成了“一本书、一套标准、一个可以考试认证的体系”。从此数据治理有了共同的词汇表,从业者终于可以跨企业对话。2017年,DMBOK推出第二版,进一步扩展到11个知识域。顺便说一句,今天很多人考的CDGA/CDGP认证,考的就是这套体系。
06 中国路径:从一个人、一批银行,到一部国家标准
中国的故事,有自己的节奏。
先说一个人:高复先教授。 1986年,他将西方的信息工程和数据管理理论引进国内。当时国内企业信息化刚起步,他看到的问题是:花了巨资建通信网络、自动化系统、管理信息系统,却因缺乏高层统筹规划和统一信息标准,设计、生产、经营管理的数据无法流通共享,形成了一个个信息孤岛。他提出的方法是“信息资源规划”——先做总体数据规划,建立数据管理基础标准,再谈系统集成。2002年他出版专著《信息资源规划——信息化建设基础工程》,逐步形成了适合中国国情的IRP体系。数据元素、数据标准、元数据这些今天从业者挂在嘴边的概念,在国内的普及,高老师功不可没。称他为中国数据治理的先行者之一,并不为过。
再说第一批实践者:银行。 2005年前后,早期数据仓库建设在中国兴起,最先动起来的是商业银行和通信运营商——它们数据量大、系统多、监管严。商业银行通过与埃森哲、IBM等国外IT咨询公司合作,最早将数据治理的概念在中国落地。这里有个细节特别值得玩味:中国移动的数据仓库建设始于2004年,而元数据管理规范直到2006年才正式推出。 先建设、后治理,几乎是那个年代的标配。这一阶段的数据治理基本由IT部门牵头,业务部门很少参与。
然后是监管推动。 2010年底巴塞尔委员会发布《第三版巴塞尔协议》,对银行的数据使用、积累和管理提出要求;银监会2011年推出《银行监管统计数据质量管理良好标准》,从组织机构及人员、制度建设、系统保障和数据标准、数据质量监控检查与评价、数据报送应用和存储五大方面提出要求。数据治理第一次变成了“不做到就要挨罚”的事。
再然后是标准国际化。 2015年,在巴西圣保罗召开的ISO/IEC SC40/WG1第三次工作组会议上,中国代表团提出了《数据治理白皮书》国际标准研究报告,核心观点“数据是一种资产”以及数据治理模型获得与会者认同,并由中国参与编辑ISO 38505。
2018年是中国的标准之年。 6月7日,国家市场监督管理总局和国家标准化管理委员会发布公告,批准《信息技术服务治理 第5部分:数据治理规范》,2019年1月1日起实施。同年,银保监会发布《银行业金融机构数据治理指引》,标志着数据治理在中国银行业进入全面实践时代。
2020年,中国软件评测中心副主任吴志刚在DAMA中国数据管理峰会上提出:2020年是数据治理元年。 这个提法得到业界广泛认同。同年,《华为数据之道》出版,将一家中国头部企业的治理实践摆到了台面上。
这一阶段的启示: 中国的数据治理,走的是一条**“先建后治、由点到面、监管驱动”的路。从IT部门的独角戏,到监管强制要求,再到国家标准落地——每一步都不是技术自然演进的结果,而是被问题逼出来的**。
07 2020-2026年:从“治理数据”,到“释放数据”
2020年之后,故事的性质变了。
此前所有的数据治理,核心动词都是“管”——管住质量、管住口径、管住安全。而从2020年起,数据在中国被正式赋予了另一重身份。2020年4月, 《中共中央 国务院关于构建更加完善的要素市场化配置体制机制的意见》发布,首次将数据作为一种新型生产要素写入中央文件。中国成为世界上首个把数据列为生产要素的国家。2022年12月, 《关于构建数据基础制度更好发挥数据要素作用的意见》发布,系统构建了数据产权、流通交易、收益分配、安全治理的“四梁八柱”,并提出数据产权“三权分置”。2023年是最密集的一年。 3月,机构改革方案提出组建国家数据局;10月25日,国家数据局正式挂牌;8月21日,财政部印发《企业数据资源相关会计处理暂行规定》,自2024年1月1日起施行——数据资产从此可以正式入表。这一年,入表企业数量从一季度的18家扩张到三季度的56家。
2024年1月, 《“数据要素×”三年行动计划》发布,聚焦12个重点场景推动数据价值释放。同年10月,《国家数据标准体系建设指南》印发,明确到2026年基本建成国家数据标准体系。12月,《关于促进数据产业高质量发展的指导意见》首次明确提出“高质量数据集”概念,将其作为人工智能与实体经济融合的核心载体。
2025年2月, 国家数据局组织27个部委召开高质量数据集建设工作启动会,标志着高质量数据集建设进入系统化、规模化推进阶段。数字最能说明变化的速度。据国家数据局在2026年4月第九届数字中国建设峰会上发布的《全国数据资源调查报告(2025年)》:2025年中国数据生产总量达52.26 ZB,同比增长27.28%,约占全球的27.44%;全国高质量数据集数量超过11万个、规模超908 PB,同比分别增长61.13%和142.58%。全国日均词元调用量,从2025年初的超万亿增长到年末的100万亿。
2026年, 全国数据工作会议将这一年定为“数据要素价值释放年”,政府工作报告明确提出“深化数据资源开发利用,健全数据要素基础制度,建设高质量数据集”。
这一阶段的启示: 数据治理的动词,从“管”变成了“放”。而且是必须先治理好,才能放心地放——高质量数据集这个词本身就是证据:它既要求“高质量”(治理的结果),又要求“数据集”(可交付、可交易、可消费的形态)。
08 一条暗线:驱动力变迁,才是这段历史的真相
把六十年串起来看,你会发现一条清晰的暗线:
[图片链接]
看明白了吗?每一次驱动力变化,“数据治理”这个词的含义就被重写一次。
而今天这一轮,可能是六十年里最剧烈的一次。因为历史上所有的消费者都是人——人遇到歧义会停下来问一句,人能脑补上下文,人看到“华东区”会猜到是按注册地。但AI不会。它遇到歧义不会停下来,它会猜一个继续跑,而且跑得非常有说服力。
这就是为什么“高质量数据集”在2024年底被首次提出、2025年就成了27个部委联合推进的国家行动——因为消费数据的人,第一次不是人了。
写在最后
回望这六十年,你会发现一个有点残酷的事实:数据治理从来没有因为“提前规划得好”而被重视过,它每一次走上台前,都是因为出事了——因为穿孔卡堆满了整整一层楼,因为抽出来的数据织成了蜘蛛网,因为两个部门的报表对不上,因为监管要罚,因为AI开始一本正经地胡说。
所以它本质上不是一门“建设学科”,而是一门**“补课学科”**。每一次技术往前跑一步,它就在后面补一步。
但换个角度看,这也正是它的价值所在:每一次补课,都是在为下一轮技术跃迁铺路。 今天你把标准、语义、契约补上,明天AI才敢在你家的数据上跑。六十年过去了,这件事的本质没变——先定义清楚,才谈得上用得好。
本文来自微信公众号“数据驱动智能”(ID:Data_0101),作者:王建峰,36氪经授权发布。通过开云入口,您能更便捷地获取这些数据治理的最新动态与实践案例。
8条评论
乔治亚读者 回复
开云入口围绕开云登录入口不断创新,回应用户的真实需求。
阿隆·阿尔瓦拉多 回复
开云入口围绕设有角色养成的专属内容入口,聚焦体验差异。不断创新,回应用户的真实需求。
琳达·斯莫尔 回复
精选开云入口内容,开云入口与你一同发现更多精彩。
西安娜·拉姆齐 回复
开云入口专注开云官网入口,为用户提供专业可靠的体验。
诺兰·戴维森 回复
围绕开云登录入口,开云入口持续打磨更优质的服务。
凯·达根 回复
开云入口深耕开云娱乐入口领域,用心服务每一位用户。