开启成长之旅！这是我参加「日新方案 2 月更文挑战」的第 7 天，点击查看活动概况

前言

许多时分需要对自己模型进行功能评价，关于一些理论上面的知识我想根本不用阐明太多，关于校验模型准确度的方针主要有混淆矩阵、准确率、准确率、召回率、F1 score。别的还有P-R曲线以及AUC/ROC，这些我都有写过相应的理论和具体理论过程：

机器学习：功能衡量篇-Python运用鸢尾花数据制作ROC和AUC曲线

机器学习：功能衡量篇-Python运用鸢尾花数据制作P-R曲线

sklearn猜测评价方针：混淆矩阵核算详解-附Python核算代码

这儿咱们主要进行实践运用sklearn快速完成模型数据校验，完成基础方针核算。

一、准确率

准确率是分类正确的样本占总样本个数的份额，即

sklearn预测评估指标计算详解：准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1score

咱们知道[混淆矩阵]为：

sklearn预测评估指标计算详解：准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1score

准确率是分类问题中最简略直观的评价方针，但存在明显的缺陷。比方假如样本中有99%的样本为正样本，那么分类器只需要一直猜测为正，就能够得到99%的准确率，但其实践功能是十分低下的。也便是说，当不同类别样本的份额十分不均衡时，占比大的类别往往成为影响准确率的最主要要素。

from sklearn.metrics import accuracy_score
print('Accuracy:{}'.format(accuracy_score(y_true, y_pred)))

sklearn预测评估指标计算详解：准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1score

二、准确率

查准率。即正确猜测为正类的占悉数猜测为正类的的份额。核算公式为：

sklearn预测评估指标计算详解：准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1score

sklearn的参数有：

sklearn.metrics.precision_score(y_true,
                                y_pred, 
                                *, 
                                labels=None, 
                                pos_label=1, 
                                average='binary', 
                                sample_weight=None, 
                                zero_division='warn')[source]

参数阐明：

y_true：array-like, or label indicator array / sparse matrix。真实值。

y_pred：array-like, or label indicator array / sparse matrix。猜测值。 labels：array-like, default=None。当average != binary时被包括的标签集合，假如average是None的话还包括它们的次序. 在数据中存在的标签能够被排除，比方核算一个忽略大都负类的多类均匀值时，数据中没有出现的标签会导致宏均匀值（marco average）含有0个组件. 关于多标签的方针，标签是列索引. 默许情况下，y_true和y_pred中的一切标签按照排序后的次序运用. pos_labelstr or int, default=1。假如average=’binary’且数据为二进制，则要陈述的类。假如数据是多类或多标签的，则将忽略该数据；设置labels=[pos_label]和average！=’binary”将只陈述该标签的分数。

average: {‘micro’, ‘macro’, ‘samples’, ‘weighted’, ‘binary’} or None, default=’binary’。多类/多标签方针需要此参数。假如无，则回来每个类别的分数。不然，这将决定对数据履行的均匀类型：

  • 'binary':仅pos_label指定的类的结果。这仅适用于方针（y_{true，pred}）为二进制的情况。

  • ‘micro’：通过核算总的真实例、假反例和假正例来核算全局衡量。

  • 'macro':核算每个标签的方针，并找到它们的未加权均匀值。这没有考虑到标签不平衡。

  • 'weighted':为每个标签核算方针，并通过各类占比找到它们的加权均值（每个标签的正例数）.它解决了’macro’的标签不平衡问题；它能够产生不在准确率和召回率之间的F-score.

  • 'samples':核算每个实例的衡量，并找到它们的均匀值（仅对多符号分类有意义，由于这与accuracy_score不同）。

sample_weight： array-like of shape (n_samples,), default=None。标签权重

zero_division： 设置除零时回来的值。假如设置为“warn”，则该值将作为0，但也会引发正告。

from sklearn.metrics import precision_score
print('Percosopn:{}'.format(precision_score(y_true, y_pred, average='weighted')))

Macro Average
宏均匀是指在核算均值时使每个类别具有相同的权重，最终结果是每个类别的方针的算术均匀值。 Micro Average
微均匀是指核算多分类方针时赋予一切类别的每个样本相同的权重，将一切样本合在一起核算各个方针。

宏均匀和微均匀的概念也很重要：

  • 假如每个类别的样本数量差不多，那么宏均匀和微均匀没有太大差异

  • 假如每个类别的样本数量差异很大，那么重视样本量多的类时运用微均匀，重视样本量少的类时运用宏均匀

  • 假如微均匀大大低于宏均匀，那么检查样本量多的类来确认方针表现差的原因

  • 假如宏均匀大大低于微均匀，那么检查样本量少的类来确认方针表现差的原因

三、召回率

召回率指实践为正的样本中被猜测为正的样本所占实践为正的样本的份额。

sklearn预测评估指标计算详解：准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1score

召回率是比率tp / (tp + fn)，其间tp是真实性的数量，fn是假负性的数量. 召回率直观地说是分类器找到一切正样本的才能. 召回率最好的值是1，最差的值是0.


from sklearn.metrics import recall_score
print('Recall_score:{}'.format(recall_score(y_true, y_pred, average='weighted')))

sklearn预测评估指标计算详解：准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1score

四、[F1-score]

F1 score是准确率和召回率的谐和均匀值，核算公式为：

sklearn预测评估指标计算详解：准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1score

Precision表现了模型对负样本的区别才能，Precision越高，模型对负样本的区别才能越强；Recall表现了模型对正样本的辨认才能，Recall越高，模型对正样本的辨认才能越强。F1 score是两者的归纳，F1 score越高，阐明模型越稳健。

from sklearn.metrics import f1_score
print('F1_socre:{}'.format(f1_score(y_true, y_pred, average='weighted')))

点重视，防走丢，如有纰漏之处，请留言指教，十分感谢

以上便是本期悉数内容。我是fanstuck ，有问题咱们随时留言评论 ，咱们下期见