scikit-learn中的5个隐藏的瑰宝

发表于 | 分类于

虽然scikit-learn在机器学习领域很重要，但是很多人并不知道 利用这个库中的一些强大的功能。本文将介绍scikit-learn中5个 最有用的5个隐藏的瑰宝，充分利用这些秘密武器将有效提高你的 机器学习处理的效率！

1、数据集生成器

Scikit-learn有很多数据集生成器，可以用来生成各种复杂度和维度 的人工数据集。

例如，make_blobs函数可以创建包含很多数据样本、聚类中心、维度的 “blobs”或数据聚类。可视化以后可以清晰看出样本的分布：

Scikit-learn其实提供了很多数据集创建函数：

  • make_moons(n_samples=100, noise=0.1)
  • make_circles(n_samples=100, noise=0.05)
  • make_regression(n_samples=100, n_features=1, noise=15)
  • make_classification(n_samples=100)

2、流水线/Pipeline

流水线可以将不同的方法组合为单一模型，在自然语言处理（NLP）应用中 这一点非常重要。可以通过组合多个模型的方式来创建流水线，数据将依次 流过聚合模型中的各环节。流水线有标准的拟合与预测能力，这使得训练 过程得到很好的组织。

很多对象都可以整合进流水线：

  • 缺失值处理器/Imputers：如果你的数据中包含缺失的数据，可以试试Simple Imputer或KNN Imputer
  • 编码器/Encoders：如果你的数据不是二进制分类，你可能需要使用一个Label Encoder或者One-Hot Encoder
  • NLP矢量化处理器/NLP Vectorizers：如果你在处理NLP数据，那么可以使用Count Vectorizer、TD-IDF Vectorize或者Hash Vectorizer
  • 数值变换：可以尝试标准化处理器、min-max缩放等等

3、网格搜索/GridSearchCV

在机器学习中的一个常见任务就是找出模型的正确参数集。通常你可以基于对 任务的理解猜测参数的取值，或者编程找出最优集合。sklearn内置了函数GridSearchCV 可以自动找出最优参数集。

GridSearchCV对象需要两个参数：首先是要训练的模型对象，例如下面示例中的SVM分类器， 第二个则是一个描述参数模型的字典，字典的每一个键对应模型的一个参数，键值则是可能 取值的列表。

1
2
3
4
5
6
7
8
9
10
from sklearn import svm, datasets
from sklearn.model_selection import GridSearchCV

iris = datasets.load_iris()
parameters = {'kernel':('linear', 'rbf'), 'C':[1, 10]}
svc = svm.SVC()

clf = GridSearchCV(svc, parameters)
clf.fit(iris.data, iris.target)
clf.best_params_ #[Output]: {'C': 1, 'kernel': 'linear'}

网格搜索完成后，best_params属性中就记录了表现最好的模型参数。

4、验证曲线/validation_curve

要可视化一个参数对模型性能的影响，可以使用sklearn的validation_curve。 这个函数需要一些参数 —— 模型、要调整的参数、参数的取值范围、运行的次数等。validation_curve 类似于单变量的网格搜索，可以帮助你更好的可视化单个参数变化的效果。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
from sklearn.model_selection import validation_curve
train_scores, valid_scores = validation_curve(model,
                                              X, y, 
                                              "max_depth", #model parameter to be adjusted
                                              range(2,7), #values of the parameter
                                              cv=10) #number of folds for k-fold evaluation

train_scores value: #Rows: number of parameter values (4), Columns: each of the values for the folds (10)
array([[0.96296296, 0.95555556, 0.96296296, 0.97037037, 0.95555556,
        0.95555556, 0.95555556, 0.96296296, 0.97037037, 0.96296296],
       [0.97037037, 0.97037037, 0.97777778, 0.98518519, 0.97037037,
        0.97037037, 0.97037037, 0.97037037, 0.97777778, 0.97777778],
       [0.99259259, 0.99259259, 0.99259259, 1.        , 0.99259259,
        0.99259259, 0.99259259, 1.        , 0.99259259, 0.99259259],
       [1.        , 1.        , 1.        , 1.        , 1.        ,
        1.        , 1.        , 1.        , 0.99259259, 1.        ],
       [1.        , 1.        , 1.        , 1.        , 1.        ,
        1.        , 1.        , 1.        , 1.        , 1.        ]])

validation_curve输出的结构是一个元组 —— 一个表示训练得分，另一个表示测试得分。 数组中的每个元素表示k次运行中的一个参数值。

当绘制结果后，参数和精确度之间的关系就很清晰了：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
import matplotlib.pyplot as plt
import seaborn as sns

sns.set_palette('RdYlGn')
sns.set_style('whitegrid')

params = range(2,10)
for index,param in enumerate(train_scores):
    sns.lineplot(range(10),param,label=params[index])
    
plt.title("Tree Depth Impact on Training Accuracy")
plt.xlabel("CV-Fold")
plt.ylabel("Training Accuracy")
plt.show()

这让我们可以可视化树的深度对准确度的影响。从上图中可以 看到树深度为5或6时，模型的性能相当好，但是再继续增加深度 就会导致过拟合。

K折交叉验证

交叉验证是一种准确度高于train_test_split的方法，并且通常 需要更少的代码。在传统的训练/测试集拆分中，数据样本被随机的 分配到训练集和测试集，通常比例为7:3~8:2，在训练集上训练模型， 然后在测试集上评估模型，以确保模型真正泛化而非单纯的记忆。

然而由于每次分割是随机的，分割10次将产生10个不同的测试结果。

为了解决这个问题，K折交叉验证将数据拆分为K类，在其中K-1个 子集上训练模型，在剩下的1个子集上测试模型。重复这一过程直至 测试子集最终覆盖完整的数据集，那么就得到了完整并且可信的准确度指标。 这种方法更好的一点是，不需要跟踪x-train、x-test、y-train和y-test变量。 交叉验证唯一的缺点是需要更多时间 —— 不过要得到更好的结果总是要 多付出一点成本。

原文链接：5 Scikit-Learn Must-Know Hidden Gems

汇智网翻译整理，转载请标明出处