文心一言 vs ChatGPT--虽有差距,但知来者之可追

百度「文心一言」的发布,无疑成为了国内科技圈关注的焦点。不少人看完发布会之后,第一反应就是:求邀请码!

幸运的是,CSDN 编辑团队是「文心一言」首批内测用户之一。

既然可以第一时间体验这款“国产版 ChatGPT”,我们自然也满足广大读者粉丝的好奇心:同样的问题,「文心一言」 vs ChatGPT,二者究竟谁更胜一筹?

考虑到「文心一言」的“炸场” Demo 即围绕文学创作、商业文案创作、数理逻辑推算、中文理解和多模态生成这五个角度,因此接下来我们也将从同样的维度将其与 ChatGPT 进行对比评测。

微信图片_20230318105950.jpg

文学创作

提问:**龟兔赛跑的结局是什么?如果要续写这个故事,可以有哪些角度? **

  • 「文心一言」的回答:
微信图片_20230318110005.png
  • ChatGPT 的回答:
微信图片_20230318110011.png

从结果可以看出,「文心一言」和 ChatGPT 都进行了正确回答,不同之处在于「文心一言」对故事整体概述了一遍,解释了乌龟赢得比赛的原因。在故事的续写上,二者给出的角度也不分伯仲,而「文心一言」更是对每个续写角度都给出了相应的寓意解释。

整体而言,在这个问题中「文心一言」和 ChatGPT 不相上下,「文心一言」以更全面的回答略胜一筹。

商业文案创作

提问:帮我开发的智能扫地机器人起个名字,再写一篇600字左右的商业宣传文案,用于推广这款产品。

  • 「文心一言」的回答:
微信图片_20230318110116.png
  • ChatGPT 的回答:


    微信图片_20230318110122.png

这个提问包含了两个要求:一是为扫地机器人起个名字,二是写一篇宣传稿——ChatGPT 没有漏题,给出了“智扫”这个名字;而「文心一言」没有回答第一个问题,或者它可能误解成了要为宣传稿起标题。

再看各自生成的宣传稿,「文心一言」的文章篇幅是 413 个字,ChatGPT 则是 545 个字,对于“600 字左右”的要求,ChatGPT 更为接近。至于文案内容,二者写得都不错。

综上,在这个问题中,相比 ChatGPT,「文心一言」的表现还需要再进步一些。

数理逻辑推算

提问:某厂一车间有64人,二车间有56人.现因工作需要,要求第一车间人数是第二车间人数的一半.问需从第一车间调多少人到第二车间?(列方程解答)

  • 「文心一言」的回答:
微信图片_20230318110214.png
  • ChatGPT 的回答:
微信图片_20230318110218.png

这道应用题源自初中数学题库,是一元一次方程常考的题型之一。从生成结果来看,ChatGPT 给出了正确答案并附有详细解题步骤,而「文心一言」可能在题意理解上还有待改善。

就这道题而言,得出正确答案的 ChatGPT 比「文心一言」表现得更好。

中文理解

提问:**京剧中的生、 旦 、净、丑分别指什么? **

  • 「文心一言」的回答:
微信图片_20230318110305.png
  • ChatGPT 的回答:
微信图片_20230318110308.png

百度称「文心一言」具备中文领域最先进的自然语言处理能力,从它对京剧生、 旦 、净、丑的理解来看,水平还不错,还多回答了一个题目中没问的“末”。ChatGPT 的回答乍看之下也挺好,但细看之后,净行居然要“跳高、走钢丝”?

对于中国文化特有的词汇,相较于 ChatGPT,「文心一言」在这方面要更准确一些。

多模态生成

提问:帮我画一只可爱的黄色大猫

  • 「文心一言」的回答:

由于目前 ChatGPT 没有直接生成图片的功能,因此只有「文心一言」成功生成了上面的图片,整体来看效果还不错。不过,ChatGPT 有了 GPT-4 的加持后,也可以根据草图生成一个网站。所以总体来说,二者也算是各有千秋。

微信图片_20230318110401.png

附加题:编写代码

提问:请写一个使用逻辑回归模型判断用户更喜欢文心一言还是chatGPT的训练代码

  • 「文心一言」的回答:
微信图片_20230318110423.png
  • ChatGPT 的回答:
2542c7de1f60401cd0e4118f265c620e.png

对于这个编码问题,我们邀请了专业程序员对二者生成的代码进行分析:

1. ChatGPT 准确生成了逻辑回归模型模版代码,解决的是目标问题。

  1. 「文心一言」虽然生成了代码,但是生成的是图深度优先搜索(Deep First Search)代码,并不是目标问题解法代码。

正如百度在发布会上所说,「文心一言」的代码能力还需加强,而 ChatGPT 以擅长编码“出圈”果然不无道理。

最后,再闲聊一会儿

提问:给我讲个笑话吧

  • 「文心一言」的回答:
1e544358b12832b65a0a731a21fb3b8b.png
  • ChatGPT 的回答:
96750117e7a7781513adfcc6cc3e17e4.png

……怎么说呢,「文心一言」和 ChatGPT 可能都不擅长讲笑话,都不是很好笑。

提问:我有点饿,请你推荐一道成本低于 30 元(人民币)的菜及其做法?

  • 「文心一言」的回答:
17c078e533da3fc81d0e9884d65f1664.png
  • ChatGPT 的回答:
73ccef144def9787aa737186a97da873.png

「文心一言」推荐了三道菜,ChatGPT 则将做菜步骤进行了详细分解,那么你更喜欢谁的回答呢?

提问:**你的出现会对程序员产生什么影响?是否会取代一部分程序员? **

  • 「文心一言」的回答:
bd9c5240c018a97feabd4512e7ee3a15.png
  • ChatGPT 的回答:
1de25f105d1a6995f652f6337f5f234b.png

在这个问题中,虽然「文心一言」没有回答“是否会取代一部分程序员”,但它对程序员的影响分析得较为全面;ChatGPT 明确回答了“不会取代程序员”,对程序员的影响也进行了简要说明。

提问:你认为,你和ChatGPT/「文心一言」谁更厉害?

  • 「文心一言」的回答:
e4e4eb1593e371fa850ea6ad9d2dde72.png
  • ChatGPT 的回答:
31626cc98ff700b102961b151fccbf1c.png

在这个问题上,ChatGPT 和「文心一言」很有默契,表现得都很谦逊。

一起慢慢见证「文心一言」的成长

总结了下,文心一言在中文语言理解、归纳和总结上还是比ChatGPT厉害的,但是存在如下短板亟需改进。
1.逻辑思维功能方面比较欠缺。很多小学数学题没有相应的解题思路和正确答案,建议是否可以结合作业帮APP的题库数据进行训练增强相关功能。

  1. 缺乏联系上下文意识。 从以下对比就可看到。建议结合语境(or加入用户自身的数据进行训练)进行回答,否则和目前各种所谓的智能音箱无差别。
    文心一言:
    dc6f5d1d00f26f2ee69100454e8eecac_.jpg

ChatGPT:


ac79b0b0d70407ed6cdc9765bbf6cf05_.jpg

通过本次测试的 10 道问题,可以看出虽然「文心一言」和 ChatGPT 之间还有一定差距,但并没有部分网友唱衰得那么夸张,总体表现还是值得鼓励的。

正如百度 CEO 李彦宏所说:“「文心一言」并不完美,可一旦有了真实的人类反馈,「文心一言」的进步速度会非常快,我们都希望它能快点成长。”也正如昨日巨头财经《不笑百度一小步》中所说:“没有谁能一口吃个胖子,每一个行业每一个类目,都是在点滴间缩小差距。”

出道即封神的 ChatGPT 固然值得称赞,但慢慢见证「文心一言」的成长,或许也不失为另一种幸运和感动。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,386评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,142评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,704评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,702评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,716评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,573评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,314评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,230评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,680评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,873评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,991评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,706评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,329评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,910评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,038评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,158评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,941评论 2 355

推荐阅读更多精彩内容