摘要: 原標(biāo)題:第一批拿AI當(dāng)作業(yè)神器的孩子,被AI的已讀亂回整不會了 AI是一個(gè)強(qiáng)大的助手,但如果孩子把AI當(dāng)拐杖,想利用AI來偷懶,那么AI幻覺就像是一種警示
原標(biāo)題:第一批拿AI當(dāng)“作業(yè)神器”的孩子,被AI的“已讀亂回”整不會了……
AI是一個(gè)強(qiáng)大的助手,但如果孩子把AI當(dāng)拐杖,想利用AI來偷懶,那么AI幻覺就像是一種警示。
恰逢開學(xué)季,DeepSeek作為今年新登場的“學(xué)習(xí)助手”讓大家又愛又恨, 首當(dāng)其沖的就是企圖用DeepSeek解決作業(yè)的孩子們。
最近,博主無敵大薇薇就分享了一個(gè)故事:
孩子在做寒假作業(yè)時(shí),有好幾道數(shù)學(xué)題不會做,就向DeepSeek提問。
DeepSeek不僅展示了最終結(jié)論,還展示了完整的思考、推演與驗(yàn)證的過程,讓娃不僅知其然,也知其所以然。
用DeepSeek解答數(shù)學(xué)思訓(xùn)題
就這樣,大家一直很信任DeepSeek。但有一天卻出了bug,娃和他爸驗(yàn)算反推了N次,又問了數(shù)學(xué)老師,發(fā)現(xiàn)DeepSeek給的答案和過程是錯的。除非發(fā)現(xiàn)它的問題,并提出來繼續(xù)提問,它才會往正路上逐步修改。
看似一本正經(jīng),實(shí)則胡說八道,這種情況被專業(yè)人士稱為AI幻覺(AI Hallucinations)。
數(shù)學(xué)題還能靠寫寫算算發(fā)現(xiàn)問題,如果AI幻覺出現(xiàn)得更加隱蔽呢?孩子們可能都無知無覺。
先前有多信任,現(xiàn)在就有多震驚,甚至是后怕。
有時(shí)候,AI可能在“已讀亂回”
AI幻覺指AI會生成看似合理,但實(shí)際不準(zhǔn)確或虛假的信息。
舉個(gè)例子,如果你問它“姚明有多高”,它大概率不會錯,因?yàn)檫@知識點(diǎn)很明確,它能記住。但你如果問“隔壁老王有多高”,它可能就懵了,因?yàn)樗鼪]見過老王。
但是它的設(shè)計(jì)原理又決定了,它必須要“接茬兒”。于是,它就自動“腦補(bǔ)”,根據(jù)“一般人有多高”這個(gè)概念,編一個(gè)數(shù)出來,這就是“幻覺”。
其實(shí), AI幻覺并不是一個(gè)新概念。在ChatGPT剛推出時(shí),就已經(jīng)有了很多相關(guān)討論。
沃頓商學(xué)院的 Ethan Mollick 教授稱 ChatGPT 就像一個(gè)“無所不知、渴望取悅你的實(shí)習(xí)生,有時(shí)會對你撒謊”。
當(dāng)Fast Company要求 ChatGPT 為特斯拉撰寫一份季度收益報(bào)告時(shí),它回復(fù)了一篇措辭流暢、沒有語法錯誤、語言流暢的文章,但它也插入了一組與任何真實(shí)的特斯拉報(bào)告都不對應(yīng)的隨機(jī)數(shù)字。
今年爆火的DeepSeek,顯然也沒能避免AI幻覺這個(gè)問題。
外灘君也嘗試著與DeepSeek開啟了一段對話,企圖用它解決一些工作中的迷思。
“我想看幾本關(guān)于國際教育行業(yè)的書籍,有推薦嗎?”
通過深度思考后,DeepSeek給出了這樣的答案:
可拿著這份書單逐一搜索時(shí),外灘君卻發(fā)現(xiàn),有些書根本找不到。在追問它時(shí),它已經(jīng)顯示“服務(wù)器繁忙,請稍后再試”了。
所以,當(dāng)你向AI提出一個(gè)刁鉆的問題時(shí),看似它給出了你一個(gè)邏輯縝密的答案,但有可能它只是在一本正經(jīng)地胡說八道。
隨著版本的更新,ChatGPT“胡言亂語”的癥狀逐步減輕; 而學(xué)會“深度思考”的DeepSeek,給出答案前會展示詳細(xì)的思考過程,進(jìn)而給出一個(gè)邏輯滿分的合理答案。
如果不進(jìn)行仔細(xì)探究與查證,我們確實(shí)很難分辨出,AI給出的答案到底是真是假。
AI幻覺是所有生成式AI的
“致命缺陷”
DeepSeek-R1正式版發(fā)布即將滿月。
這一個(gè)月里,在很多方面,它都表現(xiàn)得非常出色。
不僅華為、阿里、360、騰訊、字節(jié)等大廠,紛紛把產(chǎn)品接入DeepSeek。
據(jù)不完全統(tǒng)計(jì),接入DeepSeek的軟件領(lǐng)域已經(jīng)包括云服務(wù)、網(wǎng)絡(luò)安全、芯片、汽車、手機(jī)、醫(yī)療、教育、辦公等。
真可謂“萬物皆可DeepSeek”。
但是目前,它14.3%的AI幻覺率遠(yuǎn)超行業(yè)平均水平,這也是它目前面臨的最大問題。
Vectara HHEM人工智能幻覺測試:人工智能行業(yè)權(quán)威測試,通過檢測語言模型生成內(nèi)容是否與原始證據(jù)一致,從而評估模型的幻覺率,幫助優(yōu)化和選擇模型。
從技術(shù)上說,DeepSeek-R1的幻覺問題嚴(yán)重,和它獨(dú)特的學(xué)習(xí)模式有關(guān)。
當(dāng)然,AI幻覺不僅僅是DeepSeek的問題,而是所有生成式AI的“通病”。我們相信這會在以后的迭代中改善。
但是DeepSeek的高超性能和超高的普及率,也讓一些問題更加嚴(yán)峻,尤其是對孩子來說。
首先,就是虛假消息泛濫更普遍、范圍更大了。
前兩天,微信接入DeepSeek的消息炸開了鍋。數(shù)據(jù)顯示,微信的用戶數(shù)量截止去年年底,已經(jīng)接近14億。 有網(wǎng)友發(fā)出感嘆:“國運(yùn)級AI+國民級應(yīng)用,真正的王炸組合”。
外灘君有幸成為這對“王炸組合”的灰度測試用戶。通過DeepSeek生成的答案可以一鍵轉(zhuǎn)發(fā)給好友,或者直接分享到朋友圈。
一旦AI幻覺給出一些虛假信息,而我們又沒能看出來,那一鍵轉(zhuǎn)發(fā)的可就不是“AI的深思熟慮”而是假消息了。
保持質(zhì)疑、辯證思考,這些自ChatGPT面世以來,大家就在念叨了。但現(xiàn)在,AI幻覺帶來的挑戰(zhàn)正在升級, AI正在制造一種更大規(guī)模、更自圓其說、更閉環(huán)的“信息繭房”。
在網(wǎng)絡(luò)上,大家分享著AI幻覺的各種不靠譜回答:
我們或許會成為一個(gè)領(lǐng)域的專家,對這個(gè)領(lǐng)域的專業(yè)知識了然于胸,有能力去分辨、去查證AI幻覺的胡言亂語。但我們不可能成為每個(gè)領(lǐng)域的專家。
而且,AI們都還有著“討好型人格”。當(dāng)與它對話時(shí),它會投其所好地回答出“你更想看到的答案”,而不一定是正確的答案。當(dāng)我們習(xí)慣了這樣的舒適區(qū),當(dāng)AI系統(tǒng)開始預(yù)判你的預(yù)判,誰能保證它不會篡改事實(shí)的邊界?
再說一件事情。
2月初,字節(jié)跳動推出了新的數(shù)字人方案OmniHuman。
該模型能夠通過一張圖片配合音頻或視頻,生成非常自然的會說話、唱歌的人類動作視頻。在生成動畫時(shí)能夠保持極高的真實(shí)感,能夠精確捕捉到人類的面部表情、身體動作、手勢變化、物體交互等細(xì)節(jié)。
技術(shù)進(jìn)步十分喜人,但如果使用的人有別的心思呢?
科普作家@河森堡 提出了一個(gè)假想,讓人“細(xì)思極恐”:
如果有人為了販賣自己的偽造文物,事先用知名專家的形象、聲音講述偽造的歷史,用AI生成虛假文獻(xiàn)、照片,然后散播到互聯(lián)網(wǎng)大海中,發(fā)酵一段時(shí)間,會發(fā)生什么?
當(dāng)你看到熟悉的專家在講述一段陌生的歷史,查證后發(fā)現(xiàn)網(wǎng)上竟然還有不少文獻(xiàn)圖文資料,是不是會覺得這就是真實(shí)的?日后看到偽造的文物,是不是就會認(rèn)為是真文物?
再講個(gè)故事。2022年,中文維基百科發(fā)現(xiàn)了 “歷史相關(guān)條目偽造事件”,十多年里,用戶折毛在維基里虛構(gòu)了半部俄羅斯古代史:
一位奇幻作家作者在為小說查資料時(shí),發(fā)現(xiàn)中文維基里的古俄羅斯史不對勁。著名的“卡申銀礦”,居然在地方都沒有記載,更詭異的是,1334年開采的銀礦,參考資料居然是2005年關(guān)于自動化采礦的一篇論文。
但更離譜的還在后面。詞條編輯者“折毛”十多年來居然“孜孜不倦”地創(chuàng)建了至少206個(gè)條目,編輯了4,800次,憑一己之力虛構(gòu)了半部俄羅斯古代史,還被英語等外語詞條參考。在一場虛構(gòu)戰(zhàn)役的詞條里,折毛引用了100多條參考文獻(xiàn),甚至還親自繪制了一幅局勢圖。
時(shí)至今日,維基百科都不敢保證刪干凈了這些虛假信息。
在沒有AI的時(shí)代,虛假信息和幻覺都能有這樣的破壞力。如今, AI幻覺的破壞力只增不減。
@河森堡 在微博中感慨:“如今AI制造的幻覺在強(qiáng)度上,和之前編點(diǎn)文字故事時(shí)不可同日而語,除非你親自見到專家本人求證,或者到現(xiàn)場實(shí)地考察,否則你會被AI創(chuàng)造出的假象玩得死死的。”
可是,回歸現(xiàn)實(shí)生活,又有誰有精力驗(yàn)證AI給出的每一個(gè)答案呢?
孩子們使用AI要“膽大心細(xì)”
以上種種,其實(shí)是對思辨能力提出了更高要求。
當(dāng)孩子們越來越依賴通過AI來獲取信息時(shí),而 不學(xué)習(xí)、不思考、不查證,終有一天,孩子們的生活會被AI搞得“烏煙瘴氣”。
但要家長獨(dú)自應(yīng)對、承受AI幻覺的壓力,這擔(dān)子又太重了。隨著AI課程進(jìn)入更多課堂,我們或許可以從學(xué)校、教育者等更廣的維度去借鑒他山之石。
那我們能做什么?能怎么教孩子去面對AI幻覺?
外灘君總結(jié)為四個(gè)字——膽大心細(xì)。
那AI還用不用?
當(dāng)然要用。二十多年前,電腦還是微機(jī)教室里嬌貴的教具,如今,電腦早就成了許多工作的標(biāo)配,手機(jī)甚至都快趕上半個(gè)電腦了。 AI如今勢不可擋,肯定不能因噎廢食。
亞馬遜云科技上海人工智能研究院張崢院長就曾在演講中說;“要放開了讓他們用。我們的目標(biāo)是 通過AI顯著提升學(xué)校效果,實(shí)現(xiàn)2到10倍的提升。”
但怎么用?要注意什么?
首先,推動思考,而不是替代思考。
在美國不少學(xué)校,學(xué)生使用的AI都是定制化的,老師們事先為AI設(shè)置了很多提示詞(prompts)。
AI不僅能夠啟發(fā)學(xué)生,反向?qū)W生提出一系列值得思考的問題,來會提示學(xué)生“AI幻覺的存在”,推動孩子們主動去思考、推理、辨別。而不是坐享其成,拿現(xiàn)成答案。
而且, 在推動學(xué)生思考的同時(shí),老師們也通過AI的幫助提高了自己的輔導(dǎo)、出卷效率,整個(gè)教學(xué)的效率都提上來了。
其次,要學(xué)會大膽地質(zhì)疑AI提供的內(nèi)容。
當(dāng)然,在這個(gè)過程中,每個(gè)人都需要搭建個(gè)人知識庫。雖然孩子們不能成為每個(gè)領(lǐng)域的專家,但如果孩子們可以在一個(gè)或幾個(gè)領(lǐng)域深耕,構(gòu)建起自己的知識庫,那么這本身就會成為辨別虛假信息的裝備庫。
此外,保持好奇心,甚至可以利用AI幻覺來激發(fā)創(chuàng)新、想象力。
在事實(shí)性方面“已讀亂回”,是一種干擾,但如果是需要擺脫束縛的領(lǐng)域呢?
外灘君發(fā)現(xiàn)石溪大學(xué)做了一個(gè)特別有意思的項(xiàng)目:
博士生Ryan Burgert、Kanchana Ranasinghe 和 Xiang Li與石溪大學(xué)人工智能研究所的 SUNY Empire 創(chuàng)新副教授 Michael Ryoo 教授一起,利用AI幻覺創(chuàng)作了很多視覺錯覺圖。
除了好玩的圖片、拼圖,這也可以用來隱藏字符等信息,感覺還能開發(fā)不少用途。
AI是一個(gè)強(qiáng)大的助手,但如果孩子把AI當(dāng)拐杖,想利用AI來偷懶,那么AI幻覺就像是一種警示和小懲罰。
但如果我們把AI的已讀亂回看作一個(gè)機(jī)會呢?讓孩子們知道,不能因?yàn)橛辛诉@樣一個(gè)看似無所不能的 “小助手”,就放棄主動思考。只有不斷打磨獨(dú)立思考的能力,勇于探索未知,才能在這個(gè)充滿變數(shù)的世界中,穩(wěn)穩(wěn)走好每一步。
原標(biāo)題:第一批拿AI當(dāng)作業(yè)神器的孩子,被AI的已讀亂回整不會了 AI是一個(gè)強(qiáng)大
觀察1分鐘前
原標(biāo)題:小學(xué)教師因末位淘汰輕生?官方回應(yīng):網(wǎng)傳末位淘汰不屬實(shí) 近日,網(wǎng)傳
觀察15分鐘前
原標(biāo)題:Deepseek改變的可能是整個(gè)中國,教育,你準(zhǔn)備好了嗎? 相信節(jié)后大家見
觀察2025-02-17 16:27:25
原標(biāo)題:大學(xué)生返校潮:把家搬空,究竟發(fā)生了什么? 在每年的這個(gè)特殊時(shí)刻
觀察2025-02-17 16:04:07
原標(biāo)題:大學(xué)生返校潮:把家搬空,究竟發(fā)生了什么? 在每年的這個(gè)特殊時(shí)刻
觀察2025-02-17 16:04:07