互联网数据清洗思维导图

通过其他信息补全，如使用身份证件号码推算性别、籍贯、出生日期、年龄

通过前后数据补全，例如时间序列缺失数据可使用前后均值，缺失多了可使用平滑处理

实在补不全的，虽然很可惜，但也必须要剔除。但是不要删掉，没准以后可以用得上

按主键去重，用sql或者excel“去除重复记录”即可

按规则去重，编写一系列规则，对重复情况复杂的数据进行去重

用最权威的那个渠道的数据（例如同一个指标出现多个来源的数据，目数值不一样）

设定强制合法规则，凡是不在此规则范围内的，判为无效，剔除

设定警告规则，凡是不在此规则范围内的，进行警告，然后人工处理

离群值人工特殊处理，使用分箱、聚类、回归、等方式发现离群值

指标体系（度量）

维度（分组、统计囗径）

单位

频度

数据

降维（主成分分析、随机森林等等）

各种汇总，平均、加总、最大、最小等

各种离散化，聚类、自定义分组等

剔除相关字段

归一化

子主题 2