机器学习中准确率、精确率、召回率、误报率、漏报率、F1-Score、AP&mAP、AUC、MAE、MAPE、MSE、RMSE、R-Squared等指标的定义和说明_召回率准确率精确率-程序员宅基地

技术标签：评估指标机器学习信息检索深度学习自然语言处理推荐和搜索系统 auc 电子商务

在机器学习和深度学习用于异常检测（Anomaly detection）、电子商务（E-commerce）、信息检索（Information retrieval, IR）等领域任务（Task）中，有很多的指标来判断机器学习和深度学习效果的好坏。这些指标有相互权衡的，有相互背向的，所以往往需要根据实际的任务和场景来选择衡量指标。本篇博文对这些指标进行一个梳理。

一、名称解释

1、真实值actual value和预测值predicted value

这两者就是字面的意思，actual value是指真实记录的已发生的测量结果值，而predicted value是指对未发生的预测值。这里的值既可以是数值型，也可以是类别型。

2、真True、假False

这两个表示的是真实值与预测值之间是否吻合，true表示的是预测值与真实值一致，而false表示的是预测值与真实值不一致。

3、阳性Positive（正）、阴性Negative（负）

首先这里讨论的positive和negative不代表性别的取向，同时正和负也不代表正确或者错误。positive指条件或者事物存在，而negative指条件或者事物不存在。例如异常检测领域阳性positive代表存在异常，阴性negative代表不存在异常；如健康领域阳性positive代表检测存在病毒或者疾病，阴性negative代表检测结果是健康的。再如电子商务领域阳性positive代表点击或者成交，阴性negative代表未点击或者未成交。

4、曝光List、点击Click、加收藏Wish/加关注Follow、加购Cart、订单Order、支付Pay

这几项名称往往用于网络内容或者电商领域，代表的是一则内容或者一个商品从展现给用户到用户消费该内容或者商品的过程。含义就是由字面代表的意思。

二、分类指标的定义和说明（准确率、精确率、召回率、误报率、漏报率）

首先看下面这张图，里面对部分指标做了定义。接下来对各个指标的定义和说明进行阐述：

如上图，将样例（样本，后面两者混用）分为阳性（正，后面两者混用）样例 $P$ 和阴性（负，后面两者混用）样例 $N$ ，将正样本预测为正样本的为True positive（ $TP$ ），正样本预测为负样本的为False negative（ $FN$ ），负样本预测为正样本的为False positive（ $FP$ ），负样本预测为负样本的为True negative（ $TN$ ）。所以有 $P=TP+FN$ ， $N=FP+TN$ 。

1、准（正）确率accuracy

反映分类器或者模型对整体样本判断正确的能力，即能将阳性（正）样本positive判定为positive和阴性（负）样本negative判定为negative的正确分类能力。即预测正确的结果占总样本的百分比。值越大，性能performance越好

$ACC=\frac{TP+TN}{P+N}=\frac{TP+TN}{TP+FN+FP+TN}$

这里注意，在负样本（或者正样本）占绝对多数的场景中，即样本不平衡的情况下，不能单纯追求准确率，因为将所有样本都判定为负样本（或者正样本），这种情况下准确率也是非常高的。

2、精确率precision

反映分类器或者模型正确预测正样本精度的能力，即预测的正样本中有多少是真实的正样本。值越大，性能performance越好

$precision=\frac{TP}{TP+FP}$

这里注意，单纯追求精确率，会造成分类器或者模型少预测为正样本，这时 ${\color{Red}FP}$ 低，即精确率就会很高。

3、召回率recall，也称为真阳率、命中率（hit rate）

反映分类器或者模型正确预测正样本全度的能力，增加将正样本预测为正样本，即正样本被预测为正样本占总的正样本的比例。值越大，性能performance越好

$sensitivity=recall=TPR=\frac{TP}{TP+FN}=\frac{TP}{P}$

这里注意，单纯追求召回率，会造成分类器或者模型基本都预测为正样本，这时 ${\color{Red}FN}$ 低，即召回率就会很高。

4、误报率false alarm，也称为假阳率、虚警率、误检率

反映分类器或者模型正确预测正样本纯度的能力，减少将负样本预测为正样本，即负样本被预测为正样本占总的负样本的比例。值越小，性能performance越好

$false alarm=FPR=\frac{FP}{FP+TN}=\frac{FP}{N}$

5、漏报率miss rate，也称为漏警率、漏检率

反映分类器或者模型正确预测负样本纯度的能力，减少将正样本预测为负样本，即正样本被预测为负样本占总的正样本的比例。值越小，性能performance越好

$miss rate=FNR=\frac{FN}{TP+FN}=\frac{FN}{P}$

6、特异度specificity

反映分类器或者模型正确预测负样本全度的能力，增加将负样本预测为负样本，即负样本被预测为负样本占总的负样本的比例。值越大，性能performance越好

$specificity=TNR=\frac{TN}{FP+TN}=\frac{TN}{N}$

三、分类指标间的关系

由上述指标的定义，可以得到如下的一些指标间的关系：

$recall+missrate=1$ ，即召回率+漏报率=1

$specificity+false alarm=1$ ，即特异性+误报率=1

四、分类综合指标（F1-Score、AP&mAP、AUC）

1、F1-Score

首先看下F值，该值是精确率precision和召回率recall的加权调和平均。值越大，性能performance越好。F值可以平衡precision少预测为正样本和recall基本都预测为正样本的单维度指标缺陷。计算公式如下：

$F(a)-Score=\frac{(a^2+1)\times (precision\times recall)}{a^2\times (precision+recall)}$

常用的是F1-Score，即a=1，所以上述公式转化为：

$F1-Score=\frac{2{\times}precision{\times}recall}{precision+recall}$

2、AP&mAP

AP表示precision-recall曲线下的面积，mAP是mean average precision的简称，是各类别AP的平均值。

面积求积分一般转为离散的矩形面积计算，如上图下边图形所示。计算公式如下：

$AP=\sum{\Delta}r{\Delta}p$

$mAP=\frac{1}{m}{\sum_m}AP$

3、AUC

一般选取一个特定阀值（threshold），预测为正样本的概率大于等于该阀值判定为正样本，小于该阀值判定为负样本。根据上面描述的公式得到召回率TPR和误报率FPR，在平面上描述对应的坐标点和值，就得到如下的ROC曲线，其中TPR为纵轴，FPR为横轴。

ROC曲线里，左下角（0, 0）阀值是最大的，此时所有样本都判定为负样本，所以有

$TP=0$ ，

$FP=0$ ，

$TPR=\frac{TP}{P}=\frac{0}{P}=0$ ，

$FPR=\frac{FP}{N}=\frac{0}{N}=0$ .

右上角（1, 1）阀值是最小的，此时所有样本都判定为正样本，所以有

$TP=P$ ，

$FP=N$ ，

$TPR=\frac{TP}{P}=\frac{P}{P}=1$ ，

$FPR=\frac{FP}{N}=\frac{N}{N}=1$ .

那么从左下角到右上角移动过程中，随着阀值的逐渐减小，越来越多的正样本会被判定为正样本，但也伴随着负样本被判定为正样本。所以TPR和FPR都会增大。当然最佳的阀值是越接近左上角， $TPR=1$ 和 $FPR=0$ ，TPR大于FPR的最大概率。

而ROC曲线向下覆盖的面积（上图中浅绿部分）即为AUC值。AUC取值为[0, 1]，值越大，性能performance越好。假设随机挑选一个正样本和一个负样本，分类器或者模型计算得到相应的分值score。如果AUC值越大，那么根据计算分值将样本排序后，实际上排在前面的样本是正样本的概率也是越大（就是分类器或者模型输出正样本为正的比输出负样本为正要大的概率，即AUC值 $AUC=P(p_{tpr}>p_{fpr})$ ）。AUC值的计算有好几种方法：

1）、按定义计算ROC曲线下的面积

2）、 $AUC=\frac{\sum_{i{\in}positive}rank_i-\frac{M{\times}(M+1)}{2}}{M{\times}N}$

其中， $M$ 为正样本的数量， $N$ 为负样本的数量， $M\times N$ 为一个正样本与一个负样本的样本对的数量。按计算分值score从小到大排序，分值最大score对应的样本的 $rank_i=n$ ，第二大分值score对应的样本的 $rank_i=n-1$ ，依次类推。如果计算分值score相等，则相等得分的rank取平均值。该计算方法也是以下计算方法的扩展：

正样本的预测概率 $P_{p}$ 大于负样本的预测概率 $P_{n}$ 的个数/一个正样本与一个负样本的样本对的数量

$AUC=\frac{\sum I(P_p, P_n)}{M \times N}$ ，

其中：

$I(P_p, P_n)=\begin{cases} &1 \text{ if } P_p>P_n \\ &0.5 \text{ if } P_p=P_n \\ &0 \text{ if } P_p<P_n \end{cases}$ .

假设有如下4个样本，其中1个正样本，3个负样本：

ID	Label	probability score
A	0	0.2
B	0	0.5
C	1	0.7
D	0	0.7

所以 $M\times N=1\times 3=3$ ， $I(C, A)=1, I(C, B)=1, I(C, D)=0.5$ 。此时

$AUC=\frac{\sum I(P_p, P_n)}{M \times N}=\frac{1+1+0.5}{3}=0.83$ .

AUC的计算方法已经同时考虑了分类器或者模型对于正样本和负样本的分类能力。所以即使训练样本存在不平衡，AUC指标依然能对分类器或者模型作出合理的评价。

五、回归指标的定义和说明（MAE、MSE、RMSE、R-Squared）

这里的回归指回归问题和模型，如线性回归Linear Regression，决策树Decision Tree Regression，随机森林Random Forest Regression，深度学习RNN等等。

1、平均绝对误差mean absolute error（MAE）

使用的是数据的偏差的绝对值，计算公式如下：

$MAE=\frac{1}{n}\sum_{i=1}^{n}\left | (y_i-\hat{y}_i) \right |$ ，

其中 $y_i$ 为真实值， $\hat{y}_i$ 为回归预测值， $n$ 为回归的数据个数。值越小，性能performance越好

这里注意，绝对值的计算因为不是处处可导，不方便用来当求极值 $min$ 的目标。

2、平均绝对百分比误差mean absolute percentage error（MAPE）

将MAE的绝对值转化为相对值，计算公式如下：

$MAPE=\frac{1}{n}\sum_{i=1}^n\left | \frac{y_i-\hat{y}_i}{y_i} \right |\times 100\%$ ，

其中 $y_i$ 为真实值， $\hat{y}_i$ 为回归预测值， $n$ 为回归的数据个数。注意由于这里用了 $y_i$ 作为分母，所以当测量真实值有数据为0时，即存在分母为0的情况，该指标公式就不可用了。值越小，性能performance越好

3、对称平均绝对百分比误差symmetric mean absolute percentage error（SMAPE）

将MAE的绝对值转化为相对值，分母使用真实值和预测值的平均值，计算公式如下：

$SMAPE=\frac{1}{n}\sum_{i=1}^n\frac{2\times \left | {y_i-\hat{y}_i} \right |}{(\left | y_i \right | + \left | \hat{y}_i \right |)}\times 100\%$ ，

其中 $y_i$ 为真实值， $\hat{y}_i$ 为回归预测值， $n$ 为回归的数据个数。SMAPE区别MAPE的是分母由 $y_i$ 改为 $y_i$ 和 $\hat{y}_i$ 的平均值。同样地，由于这里用了 $\left | y_i \right | + \left | \hat{y}_i \right |$ 作为分母，所以当测量真实值加预测值有数据为0时，即存在分母为0的情况，该指标公式就不可用了。值越小，性能performance越好

4、均方误差mean squared error（MSE）

使用的是数据的偏差的平方和，计算公式如下：

$MSE=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i) ^2$ ，

其中 $y_i$ 为真实值， $\hat{y}_i$ 为回归预测值， $n$ 为回归的数据个数。注意该公式也用于回归的损失函数，并且可导（MAE绝对值不是处处可导的），即最小化均方误差。值越小，性能performance越好

5、均方根误差root mean squared error（RMSE）

使用的是数据的偏差的平方和再求根号，计算公式如下：

$RMSE=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i) ^2}$ ，

其中 $y_i$ 为真实值， $\hat{y}_i$ 为回归预测值， $n$ 为回归的数据个数。其实是均方误差MSE开根号得到的，实质跟均方误差MSE是一样的。主要用于降低均方误差的数量级，防止均方误差MSE看起来很大。RMSE和MAE的数量级基本相同了，但RMSE会比MAE大一些，RMSE惩罚了预测误差大的数据点。关于用RMSE还是MAE，有比较多的讨论（Willmott et al., 2005, 2009）、（Chai, 2014），跟使用场景的数据分布等相关。当然求得的回归曲线RMSE值越小，反映求得曲线的最大误差也是较小的。所以RMSE值越小，性能performance越好

6、R方R Squared

因为MAE、MSE、RMSE的衡量不存在一个区间范围，所以定义了R方这个指标，计算公式如下：

$R^2=1-\frac{SS_{residual}}{SS_{total}}=1-\frac{\sum_{i=1}^n(y_i-\hat{y}_i)^2}{\sum_{i=1}^n(y_i-\bar{y})^2}$ ，

$\bar{y}=\frac{1}{n}\sum_{i=1}^n{y_i}$ ，

其中 $y_i$ 为真实值， $\hat{y}_i$ 为回归预测值， $\bar{y}$ 为真实值的平均值， $n$ 为回归的数据个数。 $SS_{residual}$ 表示残差的平方和（residual sum of squares，即模型的预测误差的平方和）， $SS_{total}$ 表示预测值都为 $\bar{y}$ 的残差的平方和（total sum of squares）。取值范围 $(-\infty,1]$ ， $R^2=1$ 表示预测模型在每一个测量数据 $y_i$ 上都预测完全正确， $R^2=0$ 表示等价于平均值预测法， $R^2<0$ 表示预测模型比平均值预测法还差。值越大，性能performance越好

六、场景相关说明

为什么要定义这么多指标，准确率和精确率不看公式定义，还容易弄混。这是因为不同的场景强调不同的分类能力，例如有的场景不希望正样本漏掉，有的场景不希望误报。所以机器学习和模式识别得到的分类器或者模型，就需要有不同的指标了。

1、异常检测

异常检测是一个非常追求召回率，同时也强调准确率的领域（如准确率>85%，召回率>99%）。那么召回率是否一定要做到100%呢？这要看成本与召回率提升所带来的收益了。举个例子，金融银行的信用卡申请欺诈。金融银行A收到10,0000份信用卡的申请，其中有100份是欺诈的，检测出99份的欺诈申请了，其余的被判定是无欺诈的。所以召回率为：

$recall=\frac{99}{100}=99\%$ ，

准确率为：

$accuracy=\frac{99999}{100000}=99.999\%$ ，

此时是否必须要等另一份欺诈申请检测出来才能发放信用卡呢，应该是金融系统会评估这一份“欺诈申请”带来的损失（如额度10000元的损失）是否小于通过“其他无欺诈信用卡申请”带来的收益。

2、电子商务

举个例子，电商广告100个投放，其中用户会点击的正样本为1个，其余为用户不点击的负样本（不平衡数据集）。如果分类器简单地将样本都分为负样本，准确率为

$accuracy=\frac{99}{1+99}=99\%$ ，

准确率非常高，但显然没有意义。这些场景里分类器会追求广告转化过程中的指标，如对应曝光指标的有：

1）千次曝光费用cost-per-mille（cpm=一千次曝光的费用），

2）单位时间费用cost-per-time（cpt=单位时间的费用），

3）每天费用cost-per-day（cpd=一天的费用）。

对应点击指标的有：

1）点击通过率click-through-rate（点击率ctr=投放广告被点击的次数/广告总的曝光次数），

2）每次点击费用cost-per-click（cpc=一定时间内总费用/广告总的点击次数）。

对应转化指标的有：

1）转化率conversion-rate（cvr=投放广告的转化次数/广告的点击次数），这里的转化可以是商品购买、应用app下载、注册、地产推广用户登记报名等，

2）每次行为费用cost-per-action（cpa=一定时间内总费用/广告总的行为次数），这里行为可以是下载、注册、用户登记报名等，一般不付费，

3）每次下载费用cost-per-download（cpd=一定时间内总费用/广告产生的下载量），

4）每次安装费用cost-per-install（cpi=一定时间内总费用/广告产生的安装量），

5）每次购买费用cost-per-sales（cps=一定时间内总费用/广告产生的销售量），这里是购物类的商品产生了具体的销售。

对应成本核算指标的有：

1）投资回报率return-on-investment（ROI=广告产生价值/广告总的费用），这里广告产生价值可以是广告产生利润、广告产生销售额等

3、信息检索

信息检索是一个同时追求召回率recall和精确率precision的领域，即mAP指标（Tan et al., 2006）。另外还有指标TopN的精确率（Pr@N=topN中的点击数/N）用来衡量在曝光有限情况下的效果，因为人们浏览检索结果的页数与数量是有限的。常用的如：

$Pr@5=\frac{top5-click-number}{5}$ ，

其他的根据用户平均能浏览的深度，如10个，还有Pr@10等指标。

4、化工故障检测

在化工故障检测领域中，用故障检测率fault detection rate（即召回率recall）和误报率false alarm rate来反映效果的好坏。当故障细化到某一个具体的类别时，有故障A1的故障检测率：

$A1-fault-detection-rate=A1-recall=\frac{TP_{A1}}{P_{A1}}$ ，

如上表中（Zhang et al., 2018），21个故障类别的故障检测率。如果不标记具体类别，指的是平均故障检测率（mean fault detection rate），即各个故障类别检测率的平均值。

5、信号分析

举个例子，军舰雷达收到100个水雷来袭的信号，其中真正的水雷来袭信号为3个，其余97个是迷惑性的敌方模拟信号。假如分类器将2个真正的水雷来袭信号判定为正样本，其余98个信号判定为负样本（1个正样本+97个负样本）。这种情况下，

准确率：

$accuracy=\frac{2+97}{100}=99\%$ ，

精确率：

$precision=\frac{2}{2}=100\%$ ，

可以看到准确率和精确率都非常高，我们再计算下其他指标，

召回率：

$recall=\frac{2}{3}=66.7\%$ ，

误报率：

$false alarm=\frac{0}{97}=0\%$ ，

漏报率：

$miss rate=\frac{1}{3}=33.3\%$ .

可以看到误报率为0，非常好。但漏报率很高，这漏掉的水雷可能造成军舰沉没。所以这个场景里，漏报是致命的。那反过来说，把漏报率做成0，分类器简单地把所有信号都判定为正样本，实现非常简单，是不是就是最好的？显然不是，一般收到警报是要动员，准备应对和反击的，如果误报率很高，不停的动员，最后大家都累死了，也容易造成“狼来了”的漠视态度。所以这个场景里分类器要追求漏报率为0，但误报率也要控制在很小的范围内。

引用

【1】Wikipedia：Sensitivity and specificity

【2】http://en.wikipedia.org/wiki/Precision_and_recall

【3】http://en.wikipedia.org/wiki/Accuracy_and_precision

【4】T. Fawcett. An introduction to ROC analysis. Pattern Recognition Letters. 27(8): 861–874, 2006

【5】C. Willmott, and K. Matsuura. Advantages of the Mean Abso-lute Error (MAE) over the Root Mean Square Error (RMSE) in assessing average model performance. Clim. Res., 30, 79–82, 2005

【6】C. J. Willmott, K. Matsuura, and S. M. Robeson. Ambiguities inherent in sums-of-squares-based error statistics. Atmos. Env-iron., 43, 749–752, 2009

【7】T. Chai. Root mean square error (RMSE) or mean absolute error (MAE). Geoscientific Model Development discussions. 7(1), 1247-1250, 2014

【8】B. Tan, X. Shen, and C. Zhai. Mining long-term search history to improve search accuracy. Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining. Pages 718-723, 2006

【9】X. Zhang, M. Kano, and Y. Li. Principal Polynomial Analysis for Fault Detection and Diagnosis of Industrial Processes. IEEE Access. vol. 6, 52298-52307, 2018

本文链接：https://blog.csdn.net/liveshow021_jxb/article/details/111727883

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

Eclipse中配置WebMagic(已配置好Maven)_使用eclipse搭建webmagic工程-程序员宅基地

文章浏览阅读364次。1.WebMagicWebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。2.在Eclipse中配置WebMagic1.首先需要下载WebMagic的压缩包官网地址为：WebMagic官网最新版本为：WebMagic-0.7.3，找到对应版本，打开下载界面，注意，下载要选择Source code(zip)版本，随便下载到哪里都可以；2.下载好的压缩包需要解压，此时解压到的位置即为后续新建的Eclipse的project位置，比如我的Ecli_使用eclipse搭建webmagic工程

linux启动mysql_linux如何启动mysql服务_linux启动mysql服务命令是什么－系统城-程序员宅基地

文章浏览阅读1.9k次。mysql数据库是一种开放源代码的关系型数据库管理系统，有很多朋友都在使用。一些在linux系统上安装了mysql数据库的朋友，却不知道该如何对mysql数据库进行配置。那么linux该如何启动mysql服务呢？接下来小编就给大家带来linux启动mysql服务的命令教程。具体步骤如下：1、首先，我们需要修改mysql的配置文件，一般文件存放在/etc下面，文件名为my.cnf。2、对于mysql..._linux中 mysql 启动服务命令

php实现在线oj,详解OJ(Online Judge)中PHP代码的提交方法及要点-程序员宅基地

文章浏览阅读537次。详解OJ(Online Judge)中PHP代码的提交方法及要点Introduction of How to submit PHP code to Online Judge SystemsIntroduction of How to commit submission in PHP to Online Judge Systems在目前常用的在线oj中，codeforces、spoj、uva、zoj..._while(fscanf(stdin, "%d %d", $a, $b) == 2)

java快捷键调字体_设置MyEclipse编码、补全快捷键、字体大小-程序员宅基地

文章浏览阅读534次。一、设置MyEclipse编码(1)修改工作空间的编码方式：Window-->Preferences-->General-->Workspace-->Text file encoding(2)修改一类文件的编码方式：Window-->Preferences-->General-->content Types-->修改default Encoding(..._java修改快捷缩写内容

解析蓝牙原理_蓝牙原理图详解-程序员宅基地

文章浏览阅读1.4w次，点赞19次，收藏76次。1.前言市面上关于Android的技术书籍很多，几乎每本书也都会涉及到蓝牙开发，但均是上层应用级别的，而且篇幅也普遍短小。对于手机行业的开发者，要进行蓝牙模块的维护，就必须从Android系统底层，至少框架层开始，了解蓝牙的结构和代码实现原理。这方面的文档、网上的各个论坛的相关资料却少之又少。分析原因，大概因为虽然蓝牙协议是完整的，但是并没有具体的实现。蓝牙芯片公司只负责提供最底层的API_蓝牙原理图详解

从未在一起更让人遗憾_“从未在一起和最终没有在一起哪个更遗憾”-程序员宅基地

文章浏览阅读7.7k次。图/源于网络文/曲尚菇凉1.今天早上出门去逛街，在那家冰雪融城店里等待冰淇淋的时候，听到旁边两个女生在讨论很久之前的一期《奇葩说》。那期节目主持人给的辩论题是“从未在一起和最终没有在一起哪个更遗憾”，旁边其中一个女生说，她记得当时印象最深的是有个女孩子说了这样一句话。她说:“如果我喜欢一个人呢，我就从第一眼到最后一眼，把这个人爱够，把我的感觉用光，我只希望那些年让我成长的人是他，之后的那些年他喝过..._从未在一起更遗憾

随便推点

Spring Cloud Alibaba 介绍_sprngcloud alba-程序员宅基地

文章浏览阅读175次。Spring Cloud Alibaba 介绍Sping体系Spring 以 Bean（对象）为中心，提供 IOC、AOP 等功能。Spring Boot 以 Application（应用）为中心，提供自动配置、监控等功能。Spring Cloud 以 Service（服务）为中心，提供服务的注册与发现、服务的调用与负载均衡等功能。Sping Cloud介绍官方介绍 Tools for building common patterns in distributed systems_sprngcloud alba

测试数据类型的一些测试点和经验_基础字段的测试点-程序员宅基地

文章浏览阅读3.2k次，点赞4次，收藏21次。我这里是根据之前在测试数据类项目过程中的一些总结经验和掉过个坑，记录一下，可以给其他人做个参考，没什么高深的东西，但是如果不注意这些细节点，后期也许会陷入无尽的扯皮当中。1 需求实现的准确度根据产品需求文档描述发现不明确不详细的或者存在歧义的地方一定要确认，例如数据表中的一些字段，与开发和产品确认一遍，如有第三方相关的，要和第三方确认，数据类项目需要的是细心，哪怕数据库中的一个字段如果没有提前对清楚，后期再重新补充，会投入更大的精力。2 数据的合理性根据业务场景/常识推理，提..._基础字段的测试点

一文看懂：行业分析怎么做？_码工小熊-程序员宅基地

文章浏览阅读491次。大家好，我是爱学习的小xiong熊妹。在工作和面试中，很多小伙伴会遇到“对XX行业进行分析”的要求。一听“行业分析”四个字，好多人会觉得特别高大上，不知道该怎么做。今天给大家一个懒人攻略，小伙伴们可以快速上手哦。一、什么是行业？在做数据分析的时候，“行业”两个字，一般指的是：围绕一个商品，从生产到销售相关的全部企业。以化妆品为例，站在消费者角度，就是简简单单的从商店里买了一支唇膏回去。可站在行业角度，从生产到销售，有相当多的企业在参与工作（如下图）在行业中，每个企业常常扮._码工小熊

LLaMA 简介：一个基础的、650 亿参数的大型语言模型_llma-程序员宅基地

文章浏览阅读1.6w次，点赞2次，收藏2次。还需要做更多的研究来解决大型语言模型中的偏见、有毒评论和幻觉的风险。我们在数万亿个令牌上训练我们的模型，并表明可以仅使用公开可用的数据集来训练最先进的模型，而无需诉诸专有和不可访问的数据集。在大型语言模型空间中训练像 LLaMA 这样的小型基础模型是可取的，因为它需要更少的计算能力和资源来测试新方法、验证他人的工作和探索新的用例。作为 Meta 对开放科学承诺的一部分，今天我们公开发布 LLaMA（大型语言模型元 AI），这是一种最先进的基础大型语言模型，旨在帮助研究人员推进他们在 AI 子领域的工作。_llma

强化学习在制造业领域的应用：智能制造的未来-程序员宅基地

文章浏览阅读223次，点赞3次，收藏5次。1.背景介绍制造业是国家经济发展的重要引擎，其产能和质量对于国家经济的稳定和发展具有重要意义。随着工业技术的不断发展，制造业的生产方式也不断发生变化。传统的制造业通常依赖于人工操作和手工艺，这种方式的缺点是低效率、低产量和不稳定的质量。随着信息化、智能化和网络化等新技术的出现，制造业开始向智能制造迈出了第一步。智能制造的核心是通过大数据、人工智能、计算机视觉等技术，实现制造过程的智能化、自动化...

ansible--安装与使用_pip安装ansible-程序员宅基地

文章浏览阅读938次。系列文章目录文章目录系列文章目录前言一、ansible是什么？二、使用步骤 1.引入库 2.读入数据总结前言菜鸟一只，刚开始使用，仅作以后参考使用。边学习，边记录，介绍一下最基础的使用，可能会有理解不到位的地方，可以共同交流，废话不多说，走起。一、ansible 简介？ansible是自动化运维工具的一种，基于Python开发，可以实现批量系统配置，批量程序部署，批量运行命令，ansible是基于模块工作的，它本身没有批量部署的能力，真正.._pip安装ansible