数据清洗是什么意思,主数据的定义是什么主数据管理包括什么

随着信息化进程的加快,许多集团/企业都用了多个信息系统,每个信息系统对相同的基础档案拥有不同的信息描述,例如数据清洗是什么意思:关于地理信息,有的系统记录的是“北京市朝阳区”,有的记录的是“北京 朝阳”,有的记录的是“北京 朝阳区”,其实它们所描述的是一个地理区域,但是描述的差异导致这三个系统中的数据无法实现共享。

数据清洗是什么意思,主数据的定义是什么主数据管理包括什么

主数据(Master Data):通常指企业范围内各应用系统之间共享的数据。主数据是企业管理应用的核心实体数据,这些数据跨越多个产品以及多个领域进行共享应用。一般是企业的内、外部资源信息。

数据清洗是什么意思,主数据的定义是什么主数据管理包括什么

主数据管理(Master Data Management ):指对企业的主数据进行统一管理的系统,它帮助企业创建并维护整个企业内主数据的单一视图,保证整个企业系统协调和重用准确的、一致的、完整性的主数据。企业主数据大多通过数据中台进行管理,数据中台对异构数据进行集成,统一标准和口径,形成可跨部门共享与传播的标准数据,进而发挥其对企业决策的价值。

主数据管理提升数据质量的过程分为四步:定义主数据、数据映射、数据增强、数据清洗。

01 定义主数据

不同部门之间存在沟通障碍,比如收入,财务部门所说的收入和销售部门所说的收入是不一样的,所以企业要把常用的指标进行指定,指定收入是开票收入还是主营业务收入;还有常用的维度或档案,需要去定义一套标准档案。企业所有的分析与决策要基于统一的指标和统一的档案。

02 数据映射

比如地区信息“陕西省 宝鸡”,与标准档案中的“陕西省宝鸡市”,应该具有映射关系,它们实际上指的是一套档案;对于收入来说,“发票收入和收入”,“财务某个科目的收入和收入”,都应该是一个档案。关于指标的映射关系也是需要去确定的。

03 数据增强

数据的缺失字段要补齐,比如企业可能先上线了ERP其他模块,再上成本模块,企业在做利润分析的时候,关于历史数据的成本该如何处理?那么就需要确定相关策略对历史数据进行处理。

再比如,有企业遇到这样的问题:“我想知道每个客户给我带来多少收入,带来多少利润,但是之前,我跟客户之间的核销没有处理完,那么这部分历史数据怎样去处理?”同理,要在数据增强部分确定策略来处理这些历史数据。

04 数据清洗

不同系统之间的数据,包含了一些重复的数据,一些无关的数据,甚至一些错误的数据,要进行清洗,要进行纠正,只有清洗纠正之后,数据的质量才能有所保证。

2022-06-10

2022-06-10