首页 > 其他 > 详细

POI数据变更校验

时间:2020-01-05 21:40:08      阅读:85      评论:0      收藏:0      [点我收藏+]

  变更校验:比较本次发布数据和上一次发布数据的变更,包括数据新增和下线,以及两次发布同时存在的数据字段的变更,当没有变更时名称、地址、坐标作为关键字段其变化率应少于1‰,如果变更多余该值则应该确认数据来源、策略是否有变更,且变更结果符合预期。

  变化维度:数值变更(变更范围);字段存续变更;POI存续变更

  变化体现:数据变更数据值大小,如果非数值类型可能体现为数据长短变化;

       字段存续是变更是指数据POI某个字段可能因为某种原因缺失,可能是正常也可能是因为字段产生过程数据丢失;

       POI存续是指poi的新增或者下线在两次发布中出现新增和丢失的情况;

  校验方式:

    1. 数值变更:数值不同数据校验方式不同,如经纬度字段,因为经纬度经度问题,其值每次取值会有不同,如果单纯因为字段取值不同进行判定则可能造成误报,按照经纬度取值经可以截取小数点后五位进行判定,或者将前后版本经纬度进行距离计算,如果距离在30米范围内可以认为位置没有变化;如果字段值为字段或者数组等结构体,甚至包含二级、三级的键值的时候那么比对将相对麻烦,尤其是结构体可能将值转为string类型时可能无法以通用的手段进行比较。此时可以根据字段配置表进行数据比较,比对到相对字段配置表指定的数据层级,将字段大小变更纳入比对策略。
    2. 字段存续变更:根据配置字段比较两个版本字段是否存在
    3. POI新增减少,只比POIid和上一版本的新增或者减少即可

  报警策略:三个校验的关键在于报警阈值的设定,根据多个版本的变化数据进行比较,获得数据报警阈值的。

  相应报警数据还需要报警后的问题分析,如数据变更范围,数据类型,数据变化较大的数据地理区域,数据分类,数据源组成方便问题定位分析

POI数据变更校验

原文:https://www.cnblogs.com/dlgh/p/12153595.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!