CNTK - 测量性能

本章将解释如何在 CNKT 中衡量模型性能。

验证模型性能的策略

构建机器学习模型后，我们通常使用一组数据样本来训练它。通过这种训练，我们的 ML 模型可以学习并推导出一些通用规则。当我们向模型提供新样本（即与训练时提供的样本不同的样本）时，ML 模型的性能很重要。在这种情况下，模型的Behave有所不同。对这些新样本做出好的预测可能会更糟糕。

但该模型也必须适用于新样本，因为在生产环境中，我们将获得与用于训练目的的样本数据不同的输入。这就是原因，我们应该使用一组不同于我们用于训练目的的样本来验证 ML 模型。在这里，我们将讨论两种不同的技术来创建用于验证神经网络的数据集。

保留数据集

它是创建数据集来验证神经网络的最简单方法之一。顾名思义，在这种方法中，我们将从训练中保留一组样本（例如 20%），并用它来测试我们的 ML 模型的性能。下图显示了训练样本和验证样本之间的比率 -

保留数据集

Hold-out 数据集模型确保我们有足够的数据来训练我们的 ML 模型，同时我们将有合理数量的样本来很好地衡量模型的性能。

为了包含在训练集和测试集中，最好从主数据集中选择随机样本。它确保训练集和测试集之间的均匀分布。

以下是一个示例，其中我们使用scikit-learn库中的train_test_split函数生成自己的保留数据集。

例子

from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data
y = iris.target
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=1)
# Here above test_size = 0.2 represents that we provided 20% of the data as test data.
from sklearn.neighbors import KNeighborsClassifier
from sklearn import metrics
classifier_knn = KNeighborsClassifier(n_neighbors=3)
classifier_knn.fit(X_train, y_train)
y_pred = classifier_knn.predict(X_test)
# Providing sample data and the model will make prediction out of that data
sample = [[5, 5, 3, 2], [2, 4, 3, 5]]
preds = classifier_knn.predict(sample)
pred_species = [iris.target_names[p] for p in preds] print("Predictions:", pred_species)

输出

Predictions: ['versicolor', 'virginica']

在使用 CNTK 时，我们每次训练模型时都需要随机化数据集的顺序，因为 -

  • 深度学习算法深受随机数生成器的影响。

  • 我们在训练期间向 NN 提供样本的顺序极大地影响了它的性能。

使用保留数据集技术的主要缺点是它不可靠，因为有时我们会得到非常好的结果，但有时我们会得到糟糕的结果。

K折交叉验证

为了使我们的 ML 模型更加可靠，有一种称为 K 折交叉验证的技术。本质上，K 折交叉验证技术与之前的技术相同，但它会重复多次——通常大约 5 到 10 次。下图代表了它的概念 -

K折交叉验证

K 折交叉验证的工作原理

K 折交叉验证的工作原理可以通过以下步骤来理解 -

步骤 1 - 与分发数据集技术一样，在 K 折交叉验证技术中，首先我们需要将数据集拆分为训练集和测试集。理想情况下，该比例为 80-20，即训练集的 80% 和测试集的 20%。

步骤 2 - 接下来，我们需要使用训练集来训练我们的模型。

步骤 3 -最后，我们将使用测试集来衡量模型的性能。Hold-out 数据集技术和 k 交叉验证技术之间的唯一区别是，上述过程通常会重复 5 到 10 次，最后计算所有性能指标的平均值。该平均值将是最终的性能指标。

让我们看一个小数据集的例子 -

例子

from numpy import array
from sklearn.model_selection import KFold
data = array([0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0])
kfold = KFold(5, True, 1)
for train, test in kfold.split(data):
   print('train: %s, test: %s' % (data[train],(data[test]))

输出

train: [0.1 0.2 0.4 0.5 0.6 0.7 0.8 0.9], test: [0.3 1. ]
train: [0.1 0.2 0.3 0.4 0.6 0.8 0.9 1. ], test: [0.5 0.7]
train: [0.2 0.3 0.5 0.6 0.7 0.8 0.9 1. ], test: [0.1 0.4]
train: [0.1 0.3 0.4 0.5 0.6 0.7 0.9 1. ], test: [0.2 0.8]
train: [0.1 0.2 0.3 0.4 0.5 0.7 0.8 1. ], test: [0.6 0.9]

正如我们所看到的，由于使用了更现实的训练和测试场景，k 折交叉验证技术为我们提供了更稳定的性能测量，但缺点是，在验证深度学习模型时需要花费大量时间。

CNTK 不支持 k 交叉验证，因此我们需要编写自己的脚本来执行此操作。

检测欠拟合和过拟合

无论我们使用 Hand-out 数据集还是 k 折交叉验证技术，我们都会发现用于训练的数据集和用于验证的数据集的指标输出会有所不同。

检测过度拟合

过度拟合的现象是指我们的 ML 模型对训练数据建模得非常好，但在测试数据上表现不佳，即无法预测测试数据。

当机器学习模型从训练数据中学习特定模式和噪声达到一定程度时，就会发生这种情况，从而对该模型从训练数据泛化到新数据（即看不见的数据）的能力产生负面影响。这里，噪声是数据集中的不相关信息或随机性。

以下是我们可以检测模型是否过度拟合的两种方法 -

  • 过拟合模型在我们用于训练的相同样本上表现良好，但在新样本（即与训练不同的样本）上表现非常糟糕。

  • 如果测试集上的指标低于我们在训练集上使用的相同指标，则模型在验证过程中过度拟合。

检测欠拟合

机器学习中可能出现的另一种情况是欠拟合。在这种情况下，我们的 ML 模型没有很好地对训练数据进行建模，并且无法预测有用的输出。当我们开始训练第一个 epoch 时，我们的模型将欠拟合，但随着训练的进展，欠拟合程度会逐渐减轻。

检测我们的模型是否欠拟合的方法之一是查看训练集和测试集的指标。如果测试集上的指标高于训练集上的指标，我们的模型将欠拟合。