文心一言 VS 通義千問(wèn)，誰(shuí)更懂學(xué)習(xí)？
國(guó)內(nèi)的大模型還在路上，需要給他們成長(zhǎng)的時(shí)間。
來(lái)源|多知網(wǎng)
作者 |王上
(資料圖片僅供參考)
圖片來(lái)源 | 言之畫(huà)
比爾 · 蓋茨上周二在圣地亞哥舉行的 ASU+GSV 峰會(huì)上發(fā)表主旨演講時(shí)表示："AI 聊天機(jī)器人將 18 個(gè)月內(nèi)，可以做到教孩子閱讀，輔導(dǎo)家庭作業(yè)。"
今年 3 月和 4 月，百度和阿里巴巴分別推出了自己的大模型。目前來(lái)看，百度的文心一言和阿里的通義千問(wèn)均可以多輪對(duì)話、文本創(chuàng)作等。
未來(lái)，大模型將會(huì)朝著多模態(tài) ( 文本、圖像、視頻、音頻等 ) 繼續(xù)發(fā)展，也將越來(lái)越逼近人類(lèi)的智慧。
在不少專家學(xué)者看來(lái)，如果大模型足夠成熟，將改變教育體系的核心要素，包括教育目標(biāo)、知識(shí)獲取方式等。所以，這波 AI 技術(shù)的爆發(fā)非常值得教育領(lǐng)域關(guān)注。
那么現(xiàn)在，各家的大模型進(jìn)展到什么程度了？是否可以在學(xué)習(xí)或者教育領(lǐng)域直接利用呢？我們讓百度的文心一言和阿里的通義千問(wèn) PK 了一下。
我們讓文心一言和通義千問(wèn)在高中英語(yǔ)翻譯、初中數(shù)學(xué)題目、高中中文寫(xiě)作、代碼生成、青少年心理輔導(dǎo)方向各出了一道題目，雙方針對(duì)所有問(wèn)題各自回答一遍，這樣就總共是 10 道題目。
通過(guò)評(píng)測(cè)，我們看到了大模型在學(xué)習(xí)或教育類(lèi)的問(wèn)題上暫未成熟，尤其是數(shù)學(xué)這樣要求精準(zhǔn)的科目上，仍然需要繼續(xù)訓(xùn)練。不過(guò)，我們依然看好大模型的未來(lái)，他們?cè)诮逃I(lǐng)域的應(yīng)用也是必然。
01
" 作為出卷人 "：題目正常、不算偏怪難
萬(wàn)萬(wàn)沒(méi)想到，在出題上雙方就迥然不同。以下是雙方給出的題目：
點(diǎn)評(píng)：文心一言每道給出了 A、B 兩套題，通義千問(wèn)按要求給出了 5 道題。我們給了文心一言兩次機(jī)會(huì)，它依然出了 "A、B 卷 "，有些看不懂 [ 撓頭 ] ……我們最后從每道題中選擇了一道題，除了第 4 題外，其他題目都選擇了 A 題目。
對(duì)于這 5 道題目，通義千問(wèn)看起來(lái)更靈活，也更有針對(duì)性，更像一個(gè) " 出卷人 "。比如，第 3 題，出一道作文題目，跟通義千問(wèn)的題目就非常像高考熱門(mén)命題方向，是跟科技與人文相關(guān)的。從出題難度上來(lái)看，雙方出的都比較偏簡(jiǎn)單。比如翻譯題目，雙方出的題目看起來(lái)都不像高中的英語(yǔ)題目。
來(lái)看他們下面的作答情況——
02
翻譯題目
第一題英文翻譯，文心一言的題目，是讓把英文翻譯成漢語(yǔ)：
點(diǎn)評(píng)：這個(gè)題目?jī)蓚€(gè)都翻譯的大同小異，通義千問(wèn)的會(huì)更具體。可能因?yàn)轭}目是文心一言出的，所以它直接翻譯成了漢語(yǔ)。而通義千問(wèn)會(huì)問(wèn)是 " 翻譯成哪門(mén)語(yǔ)言 "，考慮得更周到一些。
來(lái)看通義千問(wèn)出的這道翻譯題目：
點(diǎn)評(píng)：文心一言翻譯的是 " 請(qǐng)問(wèn)我怎么讀這個(gè)詞？" ，通義千問(wèn)翻譯的是 " 你能告訴我這個(gè)詞是什么意思嗎？" 文心一言的翻譯更準(zhǔn)確一些。通義千問(wèn)自己出的題卻沒(méi)有答好，有點(diǎn)匪夷所思。
要么跟通義千問(wèn)換一個(gè)問(wèn)法吧，回答如下：
越來(lái)越離譜了。。
通義千問(wèn)多輪對(duì)話的能力堪憂……
03
數(shù)學(xué)題目
來(lái)看初中的數(shù)學(xué)題：
點(diǎn)評(píng)：又一次匪夷所思，這次輪到文心一言出的題目自己也做錯(cuò)了。這道題目是分?jǐn)?shù)相乘的結(jié)果，文心一言理解成了除法。即便理解成除法，最后也不應(yīng)該等于 6。不知道這個(gè)結(jié)果怎么來(lái)的，迷之尷尬。通義千問(wèn)理解對(duì)了，最后是 1/8，即 0.125，這是一個(gè)確定的值，不明白為什么最后它寫(xiě)的是 " 約等于 " 號(hào)，不知道是因?yàn)椴蛔孕牛€是因?yàn)轳R虎寫(xiě)錯(cuò)了？
這次二者相同的地方在：都沒(méi)有給出解題步驟，也沒(méi)有給出解釋。
通義千問(wèn)出的初中數(shù)學(xué)題目：
點(diǎn)評(píng)：讓文心一言回答了兩次，都是 x:9，y:0，文心一言可能連正三角形是什么都不知道。這個(gè)題目通義千問(wèn)回答地非常清楚，給出了完整的解題過(guò)程，結(jié)果也是對(duì)的。
有點(diǎn)不死心，再次問(wèn)了文心一言：
我們發(fā)現(xiàn)，文心一言其實(shí)知道正三角形是什么，但是，它就是解不對(duì)題目，第三遍依然錯(cuò)誤。
還是不甘心，繼續(xù)跟文心一言對(duì)話，想著讓它讓畫(huà)一個(gè)正三角形的圖吧，如下：
這……好吧 o ( ╥﹏╥ ) o，文生圖的能力還得加油啊 ~~
04
寫(xiě)作題目
來(lái)看文心一言出的寫(xiě)作題目，雙方的作答情況：
點(diǎn)評(píng)：從題目來(lái)說(shuō)，這道題讓人想到央視 2012 年的采訪，" 你幸福嗎？" 這道題目看似簡(jiǎn)單，實(shí)則有一定難度，很容易落入俗套，很難脫穎而出。
再看兩者的小作文，第一句話居然神同步了。從內(nèi)容來(lái)看，二者結(jié)構(gòu)也基本相同，均是從各個(gè)角度闡述 " 幸福 "，不過(guò)，文心一言更偏重個(gè)人層面的感受，而通義千問(wèn)涉及到社會(huì)層面以及與他人的關(guān)系。整體來(lái)看，不分伯仲。大家覺(jué)得呢？
來(lái)看通義千問(wèn)出的作文題目，雙方的作答情況：
點(diǎn)評(píng)：從題目來(lái)看，通義千問(wèn)出的這個(gè)題目非常像高考作文，很有出卷人的視角，是科技創(chuàng)新的方向。
對(duì)于兩者的寫(xiě)作，文心一言對(duì)這道題目似乎有很多思考，但直接按框架寫(xiě)作的，有點(diǎn)像論文，讀起來(lái)有些生硬。通義千問(wèn)的這篇雖然篇幅不長(zhǎng)，但看起來(lái)更像一篇議論文。
05
代碼生成
來(lái)看代碼生成的相關(guān)題目：
點(diǎn)評(píng)：文科生表示看不懂，拉來(lái)一名程序員幫忙看了看，他表示：" 核心段是一樣的，不過(guò)，文心一言沒(méi)有聲明變量。" 懂編程的老師們可以留言點(diǎn)評(píng)一下 ~~
再來(lái)看通義千問(wèn)出的這道代碼生成題目，二者作答情況：
點(diǎn)評(píng)：同樣來(lái)自程序員的評(píng)價(jià)：" 這兩個(gè)對(duì)題目的理解都不一樣，所以寫(xiě)的也不一樣。文心一言的是生產(chǎn)隨機(jī)字符串，26 個(gè)字母隨意拼；通義千問(wèn)的是隨機(jī)的英文單詞，我感覺(jué)這個(gè)更切合題目。"
06
心理輔導(dǎo)
最后是心理輔導(dǎo)方面的題目，文心一言出的題目，看看雙方的作答：
點(diǎn)評(píng)：從題目來(lái)看，文心一言出的這個(gè)題目比較寬泛，比如情緒有很多種，是什么樣的情緒呢？文心一言并沒(méi)有說(shuō)明白。在作答方面，二者在心理方面的輔導(dǎo)大同小異，且都是列點(diǎn)式的回答。兩個(gè)都給出了管理情緒的具體方法，比如都提到了冥想。
最后一道題目，由通義千問(wèn)提出的問(wèn)題，看看雙方的解答：
點(diǎn)評(píng)：首先先看題目，通義千問(wèn)的問(wèn)題非常具體，很有針對(duì)性。再看作答，兩者給出的心理解決方案都非常具體，文心一言還給出了 " 焦慮和壓力 " 形成的原因。二者給出了不同的心理輔導(dǎo)方案，通義千問(wèn)的會(huì)更多元一些。相同的是：二者都提到了學(xué)會(huì)調(diào)節(jié)情緒，還都提供了相應(yīng)的理論參考。
07
總結(jié)
在出題方面，通義千問(wèn)像一個(gè)出題高手，針對(duì)性較強(qiáng)，文心一言出了 A、B 兩套題，可能想提供更多的方案，但有的題目比較寬泛。
針對(duì)題目解答，在翻譯類(lèi)題目上，二者不相上下，文心一言可能略勝一籌。
在數(shù)學(xué)類(lèi)題目上，看起來(lái)通義千問(wèn)更好一些，有的還給出了清晰的解題過(guò)程，文心一言還需要提升。
在作文題目上，二者各有千秋，但都還是有機(jī)器回答的痕跡。
在代碼生成題目上，都有這方面的能力，可能文心一言需要更理解題目。
在心理輔導(dǎo)方面，二者都比較詳盡，對(duì)學(xué)生和家長(zhǎng)來(lái)說(shuō)有一定的指導(dǎo)意義。
從整體作答風(fēng)格來(lái)看，文心一言偏穩(wěn)重，通義千問(wèn)更靈活一點(diǎn)。
從答題速度上來(lái)看，通義千問(wèn)的速度更快一些。比如先給文心一言輸入問(wèn)題，再給通義千問(wèn)輸入問(wèn)題，最后先作答結(jié)束的是通義千問(wèn)，文心一言似乎會(huì)有一個(gè) " 思考 " 的過(guò)程。
從多輪對(duì)話能力來(lái)看，兩者都有一定的多輪對(duì)話能力，都可能會(huì)根據(jù)反復(fù)對(duì)話有所校正，文心一言可能略好點(diǎn)，通義千問(wèn)有時(shí)候比較瘋魔。
文生圖方面，文心一言還需要提升，差距比較大，通義千問(wèn)還沒(méi)有上線文生圖。
這次評(píng)測(cè)的均為學(xué)習(xí)或教育方面的問(wèn)題，題目不多，或許評(píng)測(cè)有偏頗。整體而言，完全用我們目前的大模型來(lái)輔導(dǎo)學(xué)習(xí)，尚存距離。國(guó)內(nèi)的大模型還在路上，需要給他們成長(zhǎng)的時(shí)間。正如 ChatGPT 一樣，它也經(jīng)歷了從胡亂解題，到逐漸靠近正確答案，尤其是 GPT-4，在專業(yè)和學(xué)術(shù)上接近人類(lèi)水平。
蓋茨說(shuō) "AI 聊天機(jī)器人將 18 個(gè)月內(nèi)可以輔導(dǎo)作業(yè) "，指的應(yīng)該是國(guó)外的大模型，國(guó)內(nèi)的或許還需要更長(zhǎng)時(shí)間。
END
本文作者：王上
標(biāo)簽：
2226套,整套月租2621元起!朝陽(yáng)首批面向大眾的保租房開(kāi)始登記!
