谈谈成功数据质量管理的10个最佳策略

2021-06-03 09:06:04 dms@root 25

如今,许多组织都被糟糕的数据质量管理所困扰,这反过来又导致了糟糕的决策能力。错误数据的代价迅速增加。事实上,根据麻省理工学院斯隆管理学院(MIT Sloan)的一项研究,糟糕的数据质量可能会导致高达15-25%的收入损失。

如果错误数据的代价如此高昂,你一定会认为组织会竭尽全力确保良好的数据质量。然而,《哈佛商业评论》表示,47%的新创建数据记录至少有一个严重错误。为什么?归根结底,确保良好的数据质量并不是许多组织最关注的。

数据是由人生成的,因此容易犯人为错误,每个人都有自己处理和格式化数据的方式。此外,组织中的每个部门输入的数据都有自己的标准,以及哪些数据是重要的,哪些错误是可以接受的。下面这些数据质量最佳策略将有助于确保组织的数据保持在正确的质量范围内:

  • 获得支持并使数据质量成为企业范围内的优先事项

  • 建立数据质量度量

  • 调查数据质量故障

  • 强化内部培训

  • 建立数据治理准则

  • 建立数据审核流程

  • 在每个部门分配一名数据管理员

  • 更新和维护数据安全标准

  • 实现单一的真实来源

  • 集成和自动化数据流

  • 利用云自动化一致的数据

一、什么是数据质量

数据质量是指数据在多大程度上是无错误的,并能够服务于预期的目的。数据的某些属性有助于对质量的测量。数据必须:

  • 准确的

  • 最新的

  • 除非明确认为是可选的,否则在每个字段中都有完整的数据

  • 唯一的,对于给定的实体和上下文只有一条记录

  • 在所有数据源上格式相同

  • 得到那些依赖数据的人的信任

当组织获得持续的高质量数据时,它们就能更好地做出战略业务决策,从而产生有价值的业务见解并推动收入。

二、数据质量管理的十大策略

1. 获得支持并使数据质量成为企业范围内的优先事项

如果只有一半的部门承诺确保数据质量,那么数据质量就不会超过50%。所有部门都必须理解数据质量并承担责任。

为了获得组织的认可,数据质量必须在管理的每个级别包括高管得到支持和提升。如果高管和商业领袖不优先考虑良好的数据质量,数据管理人员也不会优先考虑。

2. 建立数据质量度量

企业需要一种度量数据质量的方法,原则是建立适用于试图通过数据实现的目标和业务目标的度量标准。确保数据质量对以下方面至关重要:

  • 就数据质量的有效性向管理层提供建议,以获得支持

  • 了解数据需要有多准确

  • 量化缺失的、不完整的或不一致的数据

  • 采取纠正措施提高数据质量

3.调查数据质量故障

如果您没有调查数据质量问题并纠正,那么错误将继续发生是必然的。纠正数据中的错误是一项困难而耗时的任务。一旦数据被修正,人们很容易认为任务已经完成。

数据错误是由多种原因造成的。埃里安全球数据管理研究指出,造成数据不准确的主要原因是人为错误、数据源太多、部门之间缺乏沟通。一旦知道了错误的原因,就可以采取措施防止将来发生类似的错误。

4. 加强内部培训

获得良好的数据质量是一项艰巨的任务。它需要对数据质量原则、流程和技术有深刻的理解。这种知识最好通过正规培训获得。遵循数据管理认证的要求是一个很好方法,如数据管理专业人员(CDMP)、信息管理专业人员(CIMP)或数据管理员(CDS)。

数据质量人员获得认证,将更好地对数据质量认知:

  • 质量管理的基本概念、原则和实践

  • 质量管理原则如何应用于数据

  • 如何兼顾高质量数据的好处和低质量数据的成本

  • 如何创建、交付和销售数据质量的业务用例

  • 构建数据质量组织的关键原则

  • 数据管理程序的基本概念、原则和实践

  • 数据集成中固有的数据质量挑战

5. 建立和实现数据治理准则

数据治理超越了规则和数据保护。根据定义,数据治理是过程、角色、策略、标准和度量的集合,这些过程、角色、策略、标准和度量确保有效和高效地使用数据,使组织能够实现其目标。每个组织都应该建立一组特定于其独特过程、用例和结构的数据治理指导方针。

然而,在整个组织中实现这些数据治理指导方针的最佳方法是让业务用户参与最佳实践并作为数据团队的成员。通过部署协作方法来确保运行报告中的数据治理并利用数据驱动的信息,组织可以更好地促进数据质量文化。

6. 建立数据审核流程

良好的数据质量有很大的价值,所以要建立创建和维护数据质量的过程。但是我们如何知道这些过程是有效的呢?我们如何获得他人的信任,让他们相信我们的数据质量是好的?

对数据库中的数据进行审计是建立数据信任的最佳方式。数据审计过程应检查任何数据质量不佳的情况,包括但不限于:

  • 低填充字段

  • 不完整的数据

  • 不准确

  • 格式不一致

  • 重复的条目

  • 过时的条目

审计的频率对数据审计过程的接受和成功非常重要。如果您每年审计一次,错误可能会存在一年才被发现。它还需要很长时间来发现、纠正和调查整整一年的错误。理想情况下,审计应该具有周期性增量审计的自动化、连续审计功能。

1.jpg

7. 在每个部门分配一名数据管理员

数据管理员负责维护指定数据集上的数据完整性和数据质量。他们需要确保他们的数据集符合数据治理团队定义的数据质量标准。这个关键角色是确保良好数据质量的关键。

由于数据管理在历史上一直是IT人员的责任,所以数据管理员通常存在于IT部门中。然而,组织已经认识到,那些最接近数据来源的人可以成为更好的数据管理员。例如,销售管理员或CRM经理可能比IT人员更了解客户数据库,从而得到更准确、更高质量的数据。

8. 实现单一的真实来源

单一真实来源(SSOT)是一个概念,用于确保组织中的每个人都将业务决策基于相同的、一致的和准确的数据。由于关键业务决策是数据驱动的,所以所有业务单元都同意使用一个他们信任的数据源来包含准确的、高质量的数据是很重要的。一旦SSOT被整个组织接受为准确数据的来源,该数据就可以基于组织的数据质量标准进行维护,并被任何人用于任何目的,以获得可信的业务洞察和见解。

9. 集成和自动化数据流

云计算使得从各种来源访问数据变得更加容易。在这种情况下,就将面临来自多个数据流的不同格式的不同数据集成到单个数据存储库中的挑战,这些数据可能包含重复和低质量的数据。要解决这个挑战,必须对数据进行清理和重复数据删除,以识别和解决损坏的、不准确的、无关的或重复的数据。这个复杂的过程通常需要数据准备工具来减少工作量和时间。然而,一旦建立了这个过程,组织就可以更好地确保数据质量。

10. 利用云自动化一致的数据

来自公司网络内外多个来源和地点的数据被全球的决策者使用。如果您的数据质量工具位于一个或两个企业数据中心,那么从广泛的来源向世界各地的业务分析师获取一致的数据会带来不必要的复杂性和延迟。将数据质量工具移到云上,使它们更接近数据源和用户,从而提高工具的使用率和更好的数据质量实践。

关于达美盛:

北京达美盛软件股份有限公司(以下简称“达美盛”,股票代码:430311)是一家跨平台资产全寿期数据管理(ALIM)平台提供商,致力于通过自主可视化、轻量化核心技术,基于工程和运维一体化数据,为客户构建“数字孪生(Digital Twin)”,打造全寿期资产管理与价值提升解决方案。

达美盛通过十多年技术打磨和经验累积,创立“三位一体”产品和服务:

“1”个引擎:跨平台可视化引擎eZWalker;

“2”个平台:工厂可视化大数据管理平台PIMCenter/eZWalker Tesla可视化开发平台;

“3”个应用:工程项目管理系统 PIMCenter PPM/云协同及移交系统 PIMCenter HO /资产管理系统 PIMCenter APM。

达美盛为国家高新技术企业、中关村高新技术企业、《工程建设标准化》理事会理事单位, ISO15926国内首家发起成员,CFIHOS组织成员单位,并通过了ISO9001、ISO14001、OHSAS18001等质量体系认证;荣获2016年度最佳数字化工厂服务商、2016年度“基础设施可视化资产管理最佳应用奖”;其全资子公司四川达美盛工程设计有限公司具备石油天然气设计资质。



标签:   数据质量 内部培训 审核流程