题处理掉ꎬ 也 包 括 处 理 原 始 数 据 中 留 存 的 重 复 信 息 和 噪 声

　　数据集成( Ｄａｔａ Ｉｎｔｅｇｒａｔｉｏｎ) ꎬ数据集成顾名思义就是按照

　　数据预处理一般包括:数据清洗( Ｄａｔａ Ｃｌｅａｎｉｎｇ) 、数据集成

　　( Ｄａｔａ Ｉｎｔｅｇｒａｔｉｏｎ) 、 数 据 变 换 ( Ｄａｔａ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ) 、 数 据 归 约

　　据处理起来不仅效率低下而且结果也不尽人意ꎬ这种情况下数据的预处理显得尤为重要ꎮ 一方面ꎬ数据预处理把原始数据规范化、条理

　　化ꎬ最终整理成结构化数据ꎬ极大地节省了处理海量信息的时间ꎻ另一方面ꎬ数据预处理可以使得挖掘愈发准确并且结果愈发真实有效ꎮ

　　中图分类号:ＴＰ３１１. １３ 文献标识码:Ａ 文章编号:１００８ － ０２１Ｘ(２０２０)０１ － ０１１０ － ０２

　　ｍａｋｅ ｍｉｎｉｎｇ ｍｏｒｅ ａｃｃｕｒａｔｅ ａｎｄ ｔｈｅ ｒｅｓｕｌｔｓ ｍｏｒｅ ｒｅａｌ ａｎｄ ｅｆｆｅｃｔｉｖｅ.

　　Ｋｅｙ ｗｏｒｄｓ:ｄａｔａ ｐｒｅｐｒｏｃｅｓｓｉｎｇꎻｄａｔａ ｃｌｅａｎｉｎｇꎻｄａｔａ ａｎａｌｙｓｉｓ

　　Ｒｅｓｅａｒｃｈ ｏｎ Ｄａｔａ Ｐｒｅｐｒｏｃｅｓｓｉｎｇ Ｍｅｔｈｏｄ Ｕｎｄｅｒ ｔｈｅ Ｂａｃｋｇｒｏｕｎｄ ｏｆ Ｂｉｇ Ｄａｔａ

　　( Ｑｉｎｇｄａｏ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ ＴｅｃｈｎｏｌｏｇｙꎬＱｉｎｇｄａｏ ２６６０００ꎬＣｈｉｎａ)

　　数据变换( Ｄａｔａ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ) 是大数据工作中的重要一

　　ｐｒｅｐｒｏｃｅｓｓｉｎｇ ｏｆ ｄａｔａ ｉｓ ｐａｒｔｉｃｕｌａｒｌｙ ｉｍｐｏｒｔａｎｔ. Ｏｎ ｔｈｅ ｏｎｅ ｈａｎｄꎬｄａｔａ ｐｒｅｐｒｏｃｅｓｓｉｎｇ ｓｔａｎｄａｒｄｉｚｅｓ ａｎｄ ａｒｒａｎｇｅｓ ｔｈｅ ｏｒｉｇｉｎａｌ ｄａｔａ

　　ｉｎｔｏ ｓｔｒｕｃｔｕｒｅｄ ｄａｔａꎬｗｈｉｃｈ ｇｒｅａｔｌｙ ｓａｖｅｓ ｔｈｅ ｔｉｍｅ ｔｏ ｄｅａｌ ｗｉｔｈ ｍａｓｓｉｖｅ ｉｎｆｏｒｍａｔｉｏｎꎻ ｏｎ ｔｈｅ ｏｔｈｅｒ ｈａｎｄꎬｄａｔａ ｐｒｅｐｒｏｃｅｓｓｉｎｇ ｃａｎ

　　Ａｂｓｔｒａｃｔ:Ｉｎ ｔｈｅ ｒｅａｌ ｗｏｒｌｄꎬ ｄａｔａ ｓｏｕｒｃｅｓ ａｒｅ ｏｆ ｍｉｘｅｄ ｑｕａｌｉｔｙꎬ ｓｏ ｒａｗ ｄａｔａ ａｒｅ ｇｅｎｅｒａｌｌｙ ｄｅｆｅｃｔｉｖｅꎬ ｉｎｃｏｍｐｌｅｔｅꎬ ｒｅｐｅｔｉｔｉｖｅꎬ ａｎｄ

　　ｈｉｇｈｌｙ ｖｕｌｎｅｒａｂｌｅ. Ｔｈｉｓ ｋｉｎｄ ｏｆ ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ ｉｓ ｎｏｔ ｏｎｌｙ ｉｎｅｆｆｉｃｉｅｎｔꎬ ｂｕｔ ａｌｓｏ ｔｈｅ ｒｅｓｕｌｔ ｉｓ ｎｏｔ ｓａｔｉｓｆａｃｔｏｒｙꎬ ｉｎ ｔｈｉｓ ｃａｓｅꎬ ｔｈｅ

　　datapreprocessing?datacleaning?dataanalysis随着人类的进步社会的发展?信息和科学技术也飞速前进?大数据成长势头愈发迅猛?各个行业也以极快的速度产生海量的且形式各异的数据信息?但是?从这些大量数据中提取出的有用的信息却是相当匮乏的?若没有一个系统性的提取工具?那么提取有用信息的效率是相当低下的?所以?各种数据挖掘工具随着时代的需求应运而生?然而?随着挖掘工具的实际应用?人们发现这些数据是不能直接用来挖掘的?是非结构性的?于是?数据的预处理成为了挡在大数据前进路上的第一个关卡?在真实世界中?数据来源各式各样质量良莠不齐?所以原始数据一般是有缺陷的?不完整的?重复的?是极易受侵染的?这样的数据处理起来不仅效率低下而且结果也不尽人意?这种情况下数据的预处理显得尤为重要?一方面?数据预处理把原始数据规范化条理化?最终整理成结构化数据?极大地节省了处理海量信息的时间?另一方面?数据预处理可以使得挖掘愈发准确并且结果愈发真实有效?本文指出了大数据背景下处理原始数据时极易遇到的难题?并且针对这些难题得出了一些常规的数据预处理方法?在这些方法的应用过程中?删除多余数据?拨正偏差数据?填补不完整数据?使得数据趋向结构化且准确性大幅提高?为下一步工作打下了基础?极大地节省了数据挖掘的成本?1大数据预处理数据预处理在整个大数据工作中占据极其关键的位置?在真实世界里?数据来源各式各样质量良莠不齐?所以原始数据一般是有缺陷的?不完整的?重复的?是极易受侵染的?这些数据完全不适用于直接进行数据挖掘?所以为了得出更加准确的结果?我们不得不将原始数据进行预处理?从整个大数据的处理流程来看?数据预处理技术的水平决定了数据的真实性完整性?对后续的数据分析起到十分关键的作用1?数据预处理一般包括

　　ＳＨＡＮＤＯＮＧ ＣＨＥＭＩＣＡＬ ＩＮＤＵＳＴＲＹ ２０２０ 年第 ４９ 卷

　　摘要:在真实世界里ꎬ数据来源各式各样质量良莠不齐ꎬ所以原始数据一般是有缺陷的ꎬ不完整的ꎬ重复的ꎬ是极易受侵染的ꎮ 这样的数AG真人国际