缺失数据处理-插值法

在数据挖掘中，原始海量的数据中存在着大量不完整、不一致、有异常、偏离点的数据。这些问题数据轻则影响数据挖掘执行效率，重则影响执行结果。因此数据预处理工作必不可少，而其中常见工作的就是数据集的缺失值处理。

数据缺失值处理可分两类。一类是删除缺失数据，一类是进行数据插补。前者比较简单粗暴，但是这种方法最大的局限就是它是以减少历史数据来换取数据的完备，会造成资源的大量浪费，尤其在数据集本身就少的情况下，删除记录可能会直接影响分析结果的客观性和准确性

本文介绍数据常用的插补方法。对拉格朗日插值法和滑动平均窗口法进行重点介绍和实现。

介绍

常用的插值方法如下：

http://www.cda.cn/uploadfile/image/20171204/20171204064808_39898.png
这里只对插值法和窗口滑动平均进行介绍。
滑动平均窗口法
概念：
  一个列表a 中的第 i 个位置数据为缺失数据，则取前后 window 个数据的平均值，作为插补数据。
示例：

a = [3,4,5,6,None,4,5,2,5] 、 window = 3
则 None位置的数据为：(4 5 6 4 5 2)/6 = 2.67
拉格朗日插值法
概念

  根据数学概念可知，对于平面上已知的n个点（无两点在一条直线上）可以找到一个n-1次的多项式，使此多项式通过这n个点。
http://www.cda.cn/uploadfile/image/20171204/20171204064759_75132.png
  因此我们需先求得多项式函数L(x)，然后将缺失值对应的点x带入插值多项式得到缺失值的近似值L(x)。多项式函数L(x)的求法如下：
http://www.cda.cn/uploadfile/image/20171204/20171204064744_72314.png
实现
代码

# coding:utf-8
# 拉格朗日插值代码
import pandas as pd  # 导入数据分析库Pandas
from scipy.interpolate import lagrange  # 导入拉格朗日插值函数

# 构建原始数据
data = pd.DataFrame([
    ["2015/3/1", 59],
    ["2015/2/28", 2618.2],
    ["2015/2/27", 2608.4],
    ["2015/2/26", 2651.9],
    ["2015/2/25", 3442.1],
    ["2015/2/24", 3393.1],
    ["2015/2/23", 3136.6],
    ["2015/2/22", 3744.1],
    ["2015/2/21", ],
    ["2015/2/20", 4060.3],
    ["2015/2/19", 3614.7],
    ["2015/2/18", 3295.5],
    ["2015/2/16", 2332.1],
    ["2015/2/15", 2699.3],
    ["2015/2/14", ],
    ["2015/2/13", 3036.8],
    ["2015/2/12", 1865],
    ["2015/2/11", 3014.3],
    ["2015/2/10", 2742.8],
    ["2015/2/9", 2173.5],
    ["2015/2/8", 3161.8],
    ["2015/2/7", 3023.8],
    ["2015/2/6", 2998.1],
], columns=[u'日期', u'销量'])

# 设置异常值,把销量大于5000和销量小于400的异常值替换为None
data[u'销量'][(data[u'销量'] < 400) | (data[u'销量'] > 5000)] = None

# 把要处理的数据取出来,pandas中dataframe格式单独取出一列就是series数据格式
tmp_data_1 = data[u'销量'].copy()
tmp_data_2 = data[u'销量'].copy()


def ployinterp_column(series, pos, window=5):
    """
    :param series: 列向量
    :param pos: 被插值的位置
    :param window: 为取前后的数据个数
    :return:
    """
    y = series[list(range(pos - window, pos)) list(range(pos 1, pos 1 window))]  # 取数
    y = y[y.notnull()]  # 剔除空值
    return lagrange(y.index, list(y))(pos)  # 插值并返回插值结果


def sma_mothod(series, pos, window=5):
    """
    :param series: 列向量
    :param pos: 被插值的位置
    :param window: 为取前后的数据个数
    :return:
    """
    y = series[list(range(pos - window, pos)) list(range(pos 1, pos 1 window))]  # 取数
    y = y[y.notnull()]
    return reduce(lambda a, b: a b, y) / len(y)

for j in range(len(tmp_data_1)):
    if (tmp_data_1.isnull())[j]:  # 如果为空即插值。
        tmp_data_1[j] = ployinterp_column(tmp_data_1, j)
        print j, data.loc[j, u'日期'], tmp_data_1[j]

print 

for j in range(len(tmp_data_2)):
    if (tmp_data_2.isnull())[j]:  # 如果为空即插值。
        tmp_data_2[j] = sma_mothod(tmp_data_2, j)
        print j, data.loc[j, u'日期'], tmp_data_2[j]
输出

0 2015/3/1 -291.4
8 2015/2/21 4275.25476248
14 2015/2/14 3680.66999227

0 2015/3/1 2942.74
8 2015/2/21 3236.97
14 2015/2/14 2883.43
分析
对比之下，滑动窗口方法的输出都还比较合理。但显而易见的是拉格朗日插值对0位置的数据处理的很不好，插值为 -291.4。拟合点的数据格式为(x,y)，具体数据：(1, 2618.2), (2, 2608.4),(3, 2651.9),(4, 3442.1), (5, 3393.1)。我们把拉格朗日多项式打印出来：
  L(x) = -94.97 x^4 1065 x^3 - 3991 x^2 5930 x^1 - 291.4
  把 x= 0 带入得到 L(x)，就得到了 -291.4。这里x=0就是L(x)的截距。直观感觉就不太合理，猜测就是拉格朗日插值法对边缘数据敏感（即插值需要左右两边数据提供信息，在缺失左边数据信息情况下，得到的结果就不太合理），日后求证！