数据质量高效校验方法研究
网络安全与数据治理
程胜1,郜美华2,冉瑛1,乔玉洁2,黄鹏1
1.中国民航信息网络股份有限公司重庆分公司; 2.中国民航信息网络股份有限公司
摘要： 数据质量监控是数据处理领域的重要挑战。提出了一种创新方法，通过规则配置高效生成数据质量验证规则与告警策略，并在单一SQL查询中实现多指标并发校验，显著提升了校验效率。详细阐述了技术方案设计原理并做了性能对比实验：数据处理速度提升10~20倍,规则配置效率提升4~5倍，实际应用中的资源消耗指标(CPU、内存）与传统解决方案基本一致，准确率仍保持在99.99%，为大数据环境下的数据质量管理提供了可量化的参考实践。
中图分类号：TP311.13;F562文献标识码：ADOI:10.19358/j.issn.2097-1788.2025.10.012
引用格式：程胜,郜美华,冉瑛,等. 数据质量高效校验方法研究［J］.网络安全与数据治理，2025，44（10）：75-79.
引用格式：程胜,郜美华,冉瑛,等. 数据质量高效校验方法研究［J］.网络安全与数据治理，2025，44（10）：75-79.
Research on efficient data quality validation methods
Cheng Sheng1，Gao Meihua 2，Ran Ying1，Qiao Yujie2，Huang Peng1
1. Travelsky Technology Limited Chongqing Branch; 2. Travelsky Technology Limited
Abstract： Data quality monitoring is a critical challenge in data processing. This study proposed an innovative method that efficiently generates data quality validation rules and alert strategies through rule configuration, and implements multiindicator concurrent validation in a single SQL query, significantly improving validation efficiency. The design principle of the technical solution was elaborated in detail and performance comparison experiments were conducted. Experimental results demonstrated that the solution improves data processing speed by 10~20 times, rule configuration efficiency by 4~5 times, while maintaining resource consumption (CPU, memory) at levels comparable to traditional solutions, with an accuracy rate of 99.99%. This study provides a quantifiable reference practice for data quality management in big data environments.
Key words : big data; data governance; data quality; data cleaning; data quality monitoring
引言
民航局2022年印发《关于民航大数据建设发展的指导意见》［1］，明确要求加强数据质量管理。航信作为民航数据服务的主要提供商，其数据质量直接影响航空安全与运营效率。
根据国际数据治理协会统计［2］，数据质量问题导致企业平均每年损失15%~25%的营收。传统数据质量工具(如Apache Griffin)存在配置复杂(平均每个规则需4~6步操作)、执行效率低(单指标独立SQL查询)等问题。本研究通过实证分析，提出了一种优化方案，经生产环境验证，配置效率可提升5倍(从平均15 min/规则降至3 min/规则)，执行速度提升8~10倍(多指标合并查询减少I/O开销)。
本文详细内容请下载：
//www.51qz.net/resource/share/2000006830
作者信息：
程胜1,郜美华2,冉瑛1,乔玉洁2,黄鹏1
(1.中国民航信息网络股份有限公司重庆分公司,重庆401120;
2.中国民航信息网络股份有限公司,北京101300)
此内容为AET网站原创，未经授权禁止转载。