数据质量中心
数据质量中心围绕完整性、一致性、准确性、有效性和及时性这五个方面监控、衡量数据质量问题、提升企业数据质量。从数据接入、数据加工等环节,评估数据是否能够满足要求,准时产出,便于数据开发了解监控数据异常后是否影响后续的分析任务、是否能快速修复。 数据质量中心通过事前定义数据的监控规则、事中监控和控制数据的生成过程和事后数据评估和问题追溯过程,把控高质量的数据,拥有准确且业务有序的数据是确保商业决策不会遭受伴随“坏”或“脏”数据而来的负面影响。
事前创建监控任务,定义数据监控规则
1、新建监控任务时,可直接引用平台预置的规则模板,包含非空非NULL、有效IP等。
2、新建监控任务,支持书写SQL语句自定义监控规则,同时支持按照逆向方式执行规则。
创建监控任务时,支持单表监控和单表指定分区进行监控
新建的监控任务提供试跑功能,方便快捷的调试监控任务,且试跑成功和失败支持邮箱、短信、电话通知功能。
事中监控数据的生成过程
1、猛犸平台的作业流节点任务支持绑定监控任务
2、监控任务提供强弱规则控制质量监控异常时是否终止作业流
3、支持设置数据质量报警,触发规则包含质量异常和质量检测失败
提供事后问题追溯的能力
1、运行后的监控任务,可查看质量监控详情
2、可查看监控任务的执行趋势,监控执行概况支持下钻,可查看具体日期下监控任务的成功、异常和失败的实例详情。
3、监控任务中的被监控的表,支持跳转到数据地图查看表详情