度量处理器 性能度量详细资料大全

性能度量详细资料大全  

性能度量（performance measure）是衡量模型泛化能力的评价标准，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果。

基本介绍

中文名：性能度量外文名：performance measure 最常见的性能度量,查准率、查全率与F1,F1度量,混淆矩阵,ROC与AUC,TPR与FPR,

最常见的性能度量

查准率、查全率与F1

在异常检测的机器学习模型中，如图1所示，1表示检测为正常(positive)，0表示检测为异常(negative)。那么，查准率(precision)是预测为正例的样本中预测正确的机率；查全率(recall，亦称召回率)是正例样本被预测正确的机率。顾名思义，对于检测正常(检测1)的查准率越大，检测为正常的样本越可信；查全率越大，检测出来的正常样本越多。对于检测异常(检测0)也是一个道理。以信息检索为例，根据检索结果中感兴趣词条和不感兴趣词条可以计算precision，根据检索结果中感兴趣词条和所有感兴趣词条数目(包括未检索出来的) 可以计算recall。 图1

F1度量

F1是基于precision与recall的调和平均(harmonic mean):

混淆矩阵

关于2分类的混淆矩阵如图2所示。True positive(TP)中P是指预测为正例，T是指预测正确； False negative(FN)中N是指预测为反例，F是指预测错误。 图2

ROC与AUC

学习器对测试样本的评估结果一般为一个实值或机率，设定一个阈值，大于阈值为正例，小于阈值为负例，因此这个实值的好坏直接决定了学习器的泛化性能，若将这些实值排序，则排序的好坏决定了学习器的性能高低。ROC曲线正是从这个角度出发来研究学习器的泛化性能，ROC曲线与P-R曲线十分类似，都是按照排序的顺序逐一按照正例预测，不同的是ROC曲线以“真正例率”（True Positive Rate，简称TPR）为横轴，纵轴为“假正例率”（False Positive Rate，简称FPR），ROC偏重研究基于测试样本评估值的排序好坏。

TPR与FPR

下表说明P、R与TPR、FPR的对比。同时，我以判断西瓜好坏为例（正例是预测为好瓜，反例是预测为坏瓜），简要说明其作用。 机率指标 计算公式 说明 作用 P 准确率：判断为正例 正确的机率 准确率越高，检测出来的好瓜越可靠，检测出来的坏瓜越少 R 查全率：正例被判断为正例的机率 查全率越高，检测出来的好瓜越多，漏掉的好瓜越少 TPR 真正例率：正例被判断为正例的机率 越高表示好瓜的样本越难被判错，等于查全率 FPR 假正例率：反例被判断为正例的机率 越高表示坏瓜的样本越容易被判错 假设，我是买家，我想要买一个好瓜。那么，我要考虑学习器的 准确率，以保证买到的更可能是好瓜。 假设，我是商户，我想把一批西瓜分成好坏两类 方便定不同的价格。那么，我要考虑学习器的 查全率，以保证好瓜都能卖高价。 假设，我是水果店HR，我想招一个员工来做 西瓜分好坏的工作。那么，我要考虑员工(学习器)的 真正例率越高越好，但是挑出的好瓜越多，就会使坏瓜被误判为好瓜的错误越多(假正例率越高)，顾客就会不满意。