Kaggle HousePrice : LB 0.11666（排名前１５％）, 用搭积木的方式（1.原理）
关键词： 机器学习， 特征工程，调参， 比赛， Kaggle, House Price, 搭积木， 管道， Pandas Pipe, Sklearn Pipeline
本文预计阅读时间需要15分钟。 假定读者已经对Kaggle 和机器学习比赛有一定了解。
我参加了两个Kaggle 比赛，一个是Titanic (分类），另一个是HousePrice(回归）。分别获得了前7% （花了约3个月业余时间）和前13%排名（花了约2个月业余时间）的成绩。由于刚刚上手5个月机器学习，其中花了很多时间作重复和无用功。
本文的目的主要是分享和探讨：
- 我总结的搭积木式刷分大法。（即，利用Pandas 的Pipe 和 Sklearn的 Pipeline)
- 特征工程中做法的自我理解。（例如：为什么要Log transfer，正态化等）
3。将自己碰到的问题（特征工程导致的过拟合）分享出来，求高人解惑
1。首先，重要的事情说三遍。
特征工程
特征工程
特征工程
机器学习的目的是已知的数据（包含X(特征）, Y（标签）)，采用一定算法，训练出某模型。用这个模型对新的数据进行预测 ，到预测的结果（标签）。
对于，已知的数据以及新的数据中的(特征）都需要通过特征工程处理。才能去训练模型，或者进行预测。
采用不同特征工程方法处理过的数据，训练时得出的模型不一样，调参的结果不一样，预测的结果更是有不同的结果。 因此在机器学习中，特征工程往往花掉80%时间，而模型训练之用到了20%的时间。
我在第一个Titanic 比赛中花了大量的时间，学习和测试各种调参，集成方法。 在House Price 比赛中也试图采用同样的策略，结果效果不是很好。往往结果会互相影响，甚至有的时候有机器学习是玄学的感觉。
重新审视了之后，我将整个House Price 的机器学习分成两个大步骤 ：即：
1 . 特征工程（只使用Pandas, StatsModel，scipy,numpy, seaborn等库）
1.1 输入： 原始Train, Test 数据集，将原始Train和Test 合并成一个数据集combined
1.2 处理： Pandas Pipe
根据各种可能和各种特征工程方法定义各种函数（输入combined, 输入pre_combined)
用PandasPipe 将这个函数像搭积木一样连在一起。用列表按序存放这些函数）
例如： pipe_basic = [pipe_basic_fillna,pipe_fillna_ascat,pipe_bypass,pipe_bypass,pipe_log_getdummies,pipe_export,pipe_r2test]
这个列表就是，1. 基本的填充空值, 2. 转换数据类型， 3. 空白函数（为了对齐美观而以，啥事不做），4. log 转换，类别数据哑元处理， 5. 导出到hdf5文件， 6.检查R2值
利用各种排列组合，或者各种参数组合，可以产生丰富的pipes，每一个pipes都可以产生一个预处理过的文件。
1.3 输出：某文件夹下 的N个预处理过的hdf5文件。 针对各种特征工程的排列组合，或者是Kaggle上面的各种新奇的特征工程方法。
在特征工程处理完后， 已经产生了大量的预处理数据。 和这些预处理数据的R2值[0~1]。如果R2值过低，例如小于80%，那么可以考虑直接删除。因为预处理的数据中的X只能解释80%的Y值。R2值太低，没有进一步处理的价值。
2. 机器学习阶段（训练和产生模型，目标是尽可能获得尽可能低的RMSE值（针对训练数据），同时要具有范化的能力（针对测试数据））
第一步，建立基准，筛选出最好的一个（几个）预处理文件（随机数设成固定值）
第二步，针对筛选出来的预处理文件，进行调参。找到最合适的几个算法（通常是RMSE值最低，且不同Kernel）（随机数设成固定值）
第三步，用调好的参数来预处理文件中的Traing数据的做average 和stacking.
第四部，生成csv文件，提交到Kaggle 看看得分如何。
我采用上述方法后，基本上获得的LB 分数就比较稳定向上，避免了之前的忽上忽下。而且避免了大量的重复工作。
上面是原理部分。 如果大家觉得写的值得一看，请随手点赞。赞数过５０，我再继续分享实践部分。一步一步，届时如何做。后续的分享可能比较枯燥，里面就有一些代码了。
分享是对自己最好的投资!
相关链接：
Kaggle HousePrice : LB 0.11666（前１５％）, 用搭积木的方式（2.实践-特征工程部分）
