数据清理平台

待割接数据现状:
1、涉及多个系统割接期间需保持系统正常运行;
2、数据量大,与集团DF模板存在差异;
3、数据质量参差不齐,存在大量后台修改过的数据;
4、部分数据在系统中有缺失。

数据清理平台目标:
1、固化数据清理流程,实现数据迭代清理,对数据进行映射、同步、转换、抽取、校验、导入等处理流程以符合集团DF模板要求;
2、支持多种数据清理方式,实现自动/人工清理结合,清理错误数据,补录缺失数据;
3、准确定位数据问题,保障高效高质进行数据清理;
4、丰富的统计分析功能,实现数据清理进度管控;
5、清理平台独立部署,不影响生产系统;
6、打通与集团DF平台接口,实现清理结果快速上报。

主要功能:
源数据同步、数据映射、数据抽取、数据校验、数据清理、数据上报、脚本管理

主要流程: