评估分类器——精确率与召回率

Throughout this course we have evaluated classifiers in one key way.We measured error or the accuracy of that classifier.

上次课程中,我们通过测量误差或准确度这一个关键的方式对分类器进行了评估。

But it turns out that for many real world applications, error or accuracy is not great measure to try to understand whether classifier is doing the right thing for you.

但是事实证明,对于现实世界的很多情况来说,误差或准确度并不是很好的方式来试图理解分类器做的事情对不对。

And in this module, we're going to talk about precision recall, which is a really cool, very simple way to evaluate classifiers that captures something that's needed for a wide range of applications.

在这篇文章中,我们将讨论精确度和召回率,这是一个很棒也很简单的方式来评估反应广泛应用所需求的分类器

And we'll use a cool, fun application as a kind of running example throughout the module. 

这里我们将用一个很酷很有趣的应用作为实例演示。

So here's the idea. Let's say I have a restaurant and I have a goal. I want to increase the number of guests, the number of people, coming to my restaurant by 30%.

这里有个想法:假设我开了一家餐厅,我有一个目标,使来我餐厅的客人数量增加30%。

 And I say, I'm going to do a cool advertising campaign to do that. But nobody wants to just get those ads in the mail or spam email as their advertising campaign. 

我说我想搞一个很酷的广告活动来达到这一目的。但是没有人再想让你的广告被人从垃圾邮件列表里面得知这一老套的宣传方式吧。

So I want to be innovative, I want to be authentic about my advertising campaign.

所以我们得来点创新,让我们的广告变得可信。

 And the way that I want to be authentic is that when I use the voice of my customers to talk about how great the restaurant is.

而这里我想要的方式是使用我顾客的声音来反应我的餐厅有多棒!

 So when I'm looking at customer reviews, and then I find great things in there, great nuggets, to be able to tell everyone about how great my restaurant is.

因为当我在看客人们的评价时,我发现了惊喜的东西,它们能够告诉大家我的餐厅是多么美好!

So I want to find great quotes, key positive sentences that describe amazing things about my restaurant. 

所以我想找出那么能描述我餐厅精彩的关键积极性评价。

And may even find some spokespeople that are really eloquent, they explain really well what they love about my restaurant.

要是可能的话,我甚至想从中找到一些口才很好的顾客当餐厅代言人,因为他们完美解释了有多爱我的餐厅。

So that's my goal. And so, I might do that automatically by taking the restaurant reviews and posting key sentences or key things that people are saying on my website. 

这就是我的目标。并且我希望能够自动收集顾客们的评价然后把其中对餐厅的关键评论发布到我的网站上,

So that anybody who lands there can see the latest greatest of what's being said.

所以当有人登陆我的网站时就能看到那些最新最棒的评价。

 So I want to do a lot of these restaurant reviews, and I want to automate a lot of that process. 

因此我想使用那些餐厅评价数据并且能够自动处理这个过程。

So I want to do it. So just like we described in the first course in this specialization, we're going to take the restaurant reviews, and we're going to split them into sentences.

有了这个想法之后,就跟我们在这个系列课程第一课中描述的那样,我们准备采集餐厅评价数据,然后把它们分割成句子。

 So for every sentence, some are positive about my restaurant, some are negative, I want to be able to evaluate. 

对于其中的每一句话,会有一些对我餐厅是积极正面的,也会有一些是负面的,我希望能够对这些数据进行评估。


So for example, if the sentence says, easily the best sushi in Seattle, that's my input xi. 

例如,如果有句话说:差不多是西雅图最好的寿司。把这句话当作我的系统输入数据Xi。

And when I feed that for the sentence sentiment classifier and get an output y hat I which is either positive sentiment or negative sentiment. 

当我为我的句子情感分类器输入Xi后,能够得到正面情绪或负面情绪的输出yi。

And I want to do that for every sentence in every review that I get.

我想要为我收集的评论中的每一个句子做这个分类。

 And, in fact, I might even do that in real time. Every time a new review comes in, I'm going to feed it through this classifier model, and start to predict y hat i has been positive for some sentences.

实际上或许可以实时做这个过程,每当一个新的评论过来,就把它输入进分类模型中,然后预测出了对某些句子yi是积极的。

 These are the great ones, the ones I want to show off, the ones I want to talk about. And then y hat i -1, this is the negative ones, I want to ignore those. 

这些好的句子是我想要展示和宣传的。当yi-1是不那么好的时候,那我可不想把这些话展示在我的网站上面。

So I only care about the positive ones, and I'm going to do my best to take those positive sentences, show them in a way that people really feel, man, my restaurant is awesome.I'm going to go there for sushi.

所以我只需要关心积极正面的句子,并且尽全力获取它们,通过宣传这些让大家真正感觉到:这家餐厅棒极了,我要去那吃寿司!

So how do I find those positive sentences? I am going to do a sentiment classifier. How do I know the sentiment classifier is really good, I can trust it, I can put those sentences on my website without having to check every time a sentence goes up? This is the key point. 

那么如何找到这些积极的句子? 我需要做一个情感分类器。我如何知道情感分类器很好,让我可以相信它并放心地把这些句子放在我的网站上,而不必每次检查一下? 这就是关键点了。

We are talking about automating machine learning. You have to really trust the machine learning model. 

这就是我们谈论的机器学习自动化,因此要使用你就必须相信机器学习模型。

So if I give you a particular, say, accuracy, is that enough trust for me to just automatically feed reviews into something that shows up in my website?

所以如果我给你一个特别的标准(比如精确度),这是否能让我足够相信那些宣传在我的网站上面的,由自动机产生的内容吗?

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容

  • **2014真题Directions:Read the following text. Choose the be...
    又是夜半惊坐起阅读 9,437评论 0 23
  • 大西北的云才不会这么缠绵,长情, 我们有的吖! 每天弥漫着浓厚的晨雾 令人大清早不自禁地猛打个哆嗦, 却是愈发爽朗...
    桔梗瑕阅读 221评论 0 0
  • 无论打工也好,自己创业也罢,这两者对人职业素养的要求在很多方面还是有很大的关联性,并不完全矛盾,更不能用“资方与...
    Lypr阅读 206评论 0 0
  • 做为一名义工的我,这是我坚持的最久的一件事了。给露宿送餐已有一年之久,风雨无阻。对于每件事都三天热度的我,...
    紫草思雨阅读 369评论 7 5