数据清洗
首发于数据清洗
数据清洗-看上去一样的数字

数据清洗-看上去一样的数字

数据不正确(格式不正确,数据不准确,数据缺失)我们做什么都是徒劳。数据清洗时数据分析的第一步,也是最耗时的一步。

数据清洗很枯燥,但是随着数据清理技巧越来越熟练,就有越有可能从他人无从下手的文档中获取更多的有用信息。

这次想说一下,看起来都是正确的数值数据,在人和机器理解起来的差别

Pandas 加载数据后, head() 预览一下,感觉数据还不错,但是,很有可能是被数据的表象所蒙蔽了。

在 Python 中,2 是一个数字,“2”是一个字符。他们是不同的数据类型,但是,都可以进行数学计算。示例如下:

如果刚开始接触 Python 的人会有些疑惑,这是什么鬼,是不是例子处理意外。

“2”* 2 => 22

2 * 2 => 4

不仅仅是 *,在 Python 中 + 也一样,只要他们操作的两边数据类型一致就可以运算。

注意,要是将一个字符串数字和一个数值数字相加,就会出现异常“TypeError: must be str, not int”

“*” 和 “*” 操作很灵活,只要理解这些行为,似乎也不是个问题。这样问题的产生主要是语言设计者所决定的,他们只是没有把字符串的拼接和数值相加使用了同样的操作符。

下面就造一些数据,在 DataFrame 中看起来都像是数值类型数字的数据。

从输出来看,都是数值类型的数据,接下来,我们做一些简单的数据分析。假设需求,将所有的数值增大十倍。

似乎结果和最初设想的有所差距。

Data2 行的数据看上去想数值,但是,就结果来看,也不像是数值。现在我们最迫切需要知道的每列数据的类型是什么,Pandas 已经提供了查看 DataFrame 各个列数据类型的属性。

怎么回事,都是 object 类型,Pandas 并没有承认这些数据是数值类型。所以,开始数据分析之前,做数据清洗还是有必要的。Pandas 提供了转换数值类型的方法,to_numeric()。

我们现在尝试将 Data2 行的数据转换成数值类型

转换失败,to_numeric()
不能将字符串 “F”转换为数值类型,我们也没有在代码中控制,所以抛异常了。Pandas 提供了一个可选的参数 errors,传入 errors='coerce' Pandas 遇到不能转换的数据就会赋值为 NaN(Not a Number)

从结果来看,好像这次除了 “F”是空值外,其他的数据都转换了对应的数值。我们再次执行翻十倍的运行算

下面我们再次查看一下数据的类型。

现在数据和我们设想的一样了。


这几次的博客都涉及了 lambda 的使用,如果有同学需要我提供一个 lambda 相关的文章,请留言,以便我规划一下时间。


整合代码

# 演示数字和字符串的区别
two_char = '2'
two_num = 2

def doubule(x):
    return x * 2

print('char:{}'.format(doubule(two_char)))
print('num:{}'.format(doubule(two_num)))
print('text:{}'.format(doubule('Test text end ')))

# 报错,类型不对
print("2" + 2)

# 模拟数据
import pandas as pd

df = pd.DataFrame([[1,2,3,4,16],['1','2','3','4','F']],index =['Data1','Data2'])
print(df)

# 翻十倍,查看结果与预想结果的差别
df.apply(lambda x: x * 10)

# 查看数据类型
df.dtypes

# 尝试转换,报错
df.loc['Data2'] = pd.to_numeric(df.loc['Data2'])

# 只转换能转换的,不能转换的赋值为 NaN(Not a Number)
df.loc['Data2'] = pd.to_numeric(df.loc['Data2'] ,errors='coerce')

# 查看成功转换后的结果
df.loc['Data2'] 

# 再次运算,查看结果与预想结果的差别
df = df.apply(lambda x: x * 10)
print(df)

# 查看数据类型
df.dtypes

更多关于数据清洗的内容可以关注知乎上的专栏“数据清洗

博客园

http://www.cnblogs.com/BoyceYang/p/8213784.htmlwww.cnblogs.com

编辑于 2018-01-06

文章被以下专栏收录