Python数据分析及可视化实例之疾病预测(分类)

Python数据分析及可视化实例之疾病预测(分类)

系列文章总目录:Python数据分析及可视化实例目录


Talk is cheap , show U the code.


该源码注释比较全面,需要对SKlearn有一定的了解,

当然,你也可以把它视作黑箱,做个调包侠也是大侠,

没错,本主用Bokeh进行可视化:

# coding: utf-8

# In[1]:

# 导入pandas与numpy工具包。
import pandas as pd
import numpy as np
# 创建特征列表。
# column_names = ['样本编号', '肿块厚度', '细胞大小均一性', '细胞形态均一性', '边际黏连', '单个细胞到校', '裸核', '染色体', '正常核', '有丝分裂', '分类']
column_names = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape', 'Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin', 'Normal Nucleoli', 'Mitoses', 'Class']
# 使用pandas.read_csv函数从互联网读取指定数据。
data = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data', names = column_names )
# 将?替换为标准缺失值表示。
data = data.replace(to_replace='?', value=np.nan)
# 丢弃带有缺失值的数据(只要有一个维度有缺失)。
data = data.dropna(how='any')
# 输出data的数据量和维度。
data.shape


# In[2]:

from bokeh.charts import Scatter, show, output_notebook  # 采用chart的高级绘图
output_notebook()


# In[3]:

scatter = Scatter(
    data, x='Clump Thickness', y='Uniformity of Cell Size', 
    xlabel='厚度', ylabel='大小', title="肿瘤性质与厚度、大小关系",legend='top_left',
    color='Class',  outline_line_alpha = 0.02, border_fill_alpha=0.02, plot_height=500, plot_width=500)
# 直接通过class分类(聚类)定义不同散点的color
show(scatter)


# In[4]:

# 使用sklearn.cross_valiation里的train_test_split模块用于分割数据。
# from sklearn.cross_validation import train_test_split
from sklearn.model_selection import train_test_split
# 随机采样25%的数据用于测试,剩下的75%用于构建训练集合。
X_train, X_test, y_train, y_test = train_test_split(data[column_names[1:10]], data[column_names[10]], test_size=0.25, random_state=33)


# In[5]:

# 查验训练样本的数量和类别分布。
y_train.value_counts()


# In[6]:

# 查验测试样本的数量和类别分布。
y_test.value_counts()


# In[7]:

# 从sklearn.preprocessing里导入StandardScaler。
from sklearn.preprocessing import StandardScaler
# 从sklearn.linear_model里导入LogisticRegression与SGDClassifier。
from sklearn.linear_model import LogisticRegression  # 逻辑回归
from sklearn.linear_model import SGDClassifier  # 随机参数估计
# 标准化数据,保证每个维度的特征数据方差为1,均值为0。使得预测结果不会被某些维度过大的特征值而主导。
ss = StandardScaler()
X_train = ss.fit_transform(X_train)
X_test = ss.transform(X_test)


# In[8]:

# 初始化LogisticRegression与SGDClassifier。
lr = LogisticRegression()
sgdc = SGDClassifier()
# 调用LogisticRegression中的fit函数/模块用来训练模型参数。
lr.fit(X_train, y_train)
# 使用训练好的模型lr对X_test进行预测,结果储存在变量lr_y_predict中。
lr_y_predict = lr.predict(X_test)

# 调用SGDClassifier中的fit函数/模块用来训练模型参数。
sgdc.fit(X_train, y_train)
# 使用训练好的模型sgdc对X_test进行预测,结果储存在变量sgdc_y_predict中。
sgdc_y_predict = sgdc.predict(X_test)


# In[9]:

# 从sklearn.metrics里导入classification_report模块。
from sklearn.metrics import classification_report
# 使用逻辑斯蒂回归模型自带的评分函数score获得模型在测试集上的准确性结果。
print ('Accuracy of LR Classifier:', lr.score(X_test, y_test))
print ('Accuracy of LR Classifier:', lr.score(X_test, y_test))
# 利用classification_report模块获得LogisticRegression其他三个指标的结果。
print (classification_report(y_test, lr_y_predict, target_names=['Benign', 'Malignant']))


# In[10]:

# 使用随机梯度下降模型自带的评分函数score获得模型在测试集上的准确性结果。
print('Accuarcy of SGD Classifier:', sgdc.score(X_test, y_test))
# 利用classification_report模块获得SGDClassifier其他三个指标的结果。
print(classification_report(y_test, sgdc_y_predict, target_names=['Benign', 'Malignant'])) 


# #### 交叉验证线性回归分类器的准确率

# In[11]:

from sklearn import cross_validation
from sklearn.cross_validation import KFold


# In[12]:

alg = LogisticRegression(random_state=1)
scores = cross_validation.cross_val_score(alg, X_train, y_train, cv=3)
print(scores.mean())  # 分类器的准确率


新手可查阅历史目录:

Python数据分析及可视化实例目录


也可以到该处报到,邀请您哦,进群请说明来自知乎yeayee专栏。

Scikit-learn(sklearn) 0.19 中文文档校验邀请函

发布于 2017-11-10

文章被以下专栏收录