當前位置: 華文問答 > 數位

知乎新上線的 AI 大模型產品「知乎直答」體驗效果如何?

2024-06-29數位

趁周老板 @周源 還沒正式釋出,趕緊先來寫篇回答。直答的整體體驗不錯,但這個回答會以挑毛病提建議為主。

知乎做 AI 搜尋也在意料之中,ChatGPT 出來以後應該沒有哪家互聯網公司不在思考怎麽跟進的,更不要說像知乎這樣的強相關的內容社群。

應該說知乎在大模型方面的反應並不算慢,去年 4 月就灰度做了熱榜摘要 [1] (內容摘要、網頁總結類產品算是第一批可落地的簡單場景),前幾個月又在手機端做了知海圖 AI 搜尋 [2] ,這次把 AI 搜尋獨立作為一個產品,網頁端啟用單獨的網域名稱 zhi.da 和品牌,App 端設定一級入口,可見知乎對直答的重視程度和期望。

關於直答的產品體驗和建議

首先從產品形態上我覺得應該無須諱言,就是「類 Perplexity AI 搜尋」,這一類產品國內國外都很多,也有一些開源的方案,不論是 UI 還是邏輯大體上也比較類似,這裏對競品就不做太多介紹了。UI 互動上我覺得沒啥問題,功能點都比較直觀。

直答的生成邏輯上分為四步:理解問題 - 尋找資訊 - 生成回答 - 完成回答。

接下來我就按這四步分別提點建議吧:

理解問題

我之前在另一個回答裏寫過 [3]

大模型 + 搜尋重在模型,不拘泥於提問的形式,可以用長文本、多輪對話來進行交流,充分利用 AI 的理解和生成能力,搜尋只是對即時資訊的補全,給 AI 工具提供更多基礎性的參考資料。

相比於傳統的搜尋引擎,大模型 / AI 搜尋工具對語意的理解能力更強。使用者不再像使用十年前的搜尋引擎那樣,需要學會如何精準提煉關鍵詞,反而可以用更隨意、自然的交流方式直接進行提問,把意圖理解的部份交給 AI,減輕使用者的負擔。

但是呢…應該說直答對問題 query 的理解在我看來不太理想。比如我問:「如何評價知乎答主段小草」。對於這個問題,顯然重點不在於「如何評價」,也不在於「知乎答主」(這只是限定範圍的一個字首),而在於「段小草」。

但我得到的結果是這樣的 [4]

這裏面只有關於 Python 的兩點是對的,其余都是錯的。為什麽偏差這麽大呢?從結果的參考來源來看,它甚至沒有搜尋到我的個人主頁,而是把「知乎」「答主」「小草」作為一些關鍵詞進行了搜尋,得到了駁雜無關的參考資訊,進而得出了錯誤較多的結果。

作為對比(不得不搬出競品 Perplexity [5] ):

當然也有解決辦法,就是在搜尋時加一些限定符,告訴 AI 」段小草「是一個專有名詞,不要拆分,結果就會好非常多:

從這個對比就能看出來,並不是站內沒有可靠的資訊,也不是 AI 生成總結能力不足,單純就是在問題理解這一步出現了偏差。

對於「問題理解」,我的期待和建議是:

  • 一定要強化對問題的理解能力,這是出發點,否則就會差之毫厘謬以千裏
  • 可以參考秘塔搜尋的「研究模式」,類似於 Agent 式的檢索,由 AI 來 Re-Write / 最佳化重構搜尋詞
  • 可以參考傳統搜尋引擎,支持一些特殊語法,比如 site: intitle 等等
  • 舉個例子,比如我搜尋「十年前大家對 5G 的看法」或者「2014 年大家對 5G 的期待」,我其實希望 AI 搜尋可以把「十年」轉化為「2014 年」,進而在搜尋時把內容的創作時間限定在 2014 年(目前的這些搜尋引擎還做不到)。

    尋找資訊

    接下來聊「尋找資訊」。尋找資訊可以分解成兩個部份,第一是搜尋,第二是信源。搜尋是一門技術,信源則是一個數據池。

    相比於競品,知乎的優勢顯然在於自身的站努內容,可以便捷地觸及到站內的優質內容。同時相比於之前內測時的知海圖 AI 是完全限於知乎內部的,而這次的直答則增加了全網數據:

    這一點是很棒的,也意味著 直答從一個「知乎的站內工具」轉向了「全網搜尋工具」,這是一個產品定位的問題。

    但是呢…我還是先挑點毛病吧。最明顯的問題就是,直答作為知乎的官方 AI 搜尋工具,對知乎的內容和數據利用並不充分,表現在幾方面:

    第一,直答沒有接入「知乎熱榜」的內容,比如問直答今天的熱搜,它需要跑到外部信源去獲取:

    第二,直答返回的參考內容裏,甚至直接包括了「包含 AI 輔助創作」的內容。比如搜尋「輝達在 AI 領域的成功原因是什麽?」 [6] 。可以看到生成結果主要參考了第二個來源,但這個來源其實是 AI 生成的。

    也許是因為 AI 生成的內容也許比較結構化,也更被 AI 總結的工具所喜歡吧。但這顯然不是使用者所希望的,使用者想要找到更多答主原創的高品質內容,而非 AI 低創內容。況且既然都已經主動標註了,是否應該在參考來源中剔除這些內容?

    第三,直答返回的參考來源數據似乎沒有利用充分挖掘利用知乎的高品質內容。具體來講,直答更傾向於參照一些專欄文章(可能是因為文章標題更容易被 SEO 索引),這和站內的創作邏輯不太一致(站內相對應該是更鼓勵問答的)。或者當直答搜尋到一些問題後,參考的來源內容並不是這個問題下排序靠前的內容。比如搜尋「AI 繪畫在教育領域有哪些潛在套用?」 [7]

    這個回答的生成主要參考了來源 1,但仔細看這個來源 1 的話其實也是 AI 生成的。

    我覺得以上這些小毛病,總結來說就是和社群 / 創作者 / 使用者的預期不符。無論從哪個角色角度上講,大家使用直答的期待肯定是「 充分挖掘知乎站內沈澱的優質內容 」。有沒有可能,比如設定一個基礎的數據閾值(比如互動數據超過 10 個贊?)來判斷內容品質?或者參考答主的創作分給內容賦予一些不同的權重?

    總之不論用哪種形式,還是希望多思考如何更 充分地挖掘知乎站內沈澱的優質內容 。然後關於站外內容的話,放到後面聊吧。

    生成回答

    直答的生成分兩種,一種是搜尋後總結生成,就像前面展示的,也是直答的主要用途;另一種就是它自身模型的基礎生成能力(大概應該是面壁的模型?),比如可以直接寫詩 [8]

    生成能力主要依靠模型能力,這個回答主要聊 AI 搜尋這個產品,就不討論更多了。

    完成回答

    直答在完成回答之後,可以繼續追問 / 修改問題重新提問 / 篩選參考來源後重新生成回答,同時可以分享和收藏,功能還是比較完整的。

    建議的話,主要最佳化一下 feedback 吧,Perplexity vs 直答,Perplexity 的舉報是「不準確、過時、太短 / 太長、內容有害、沒有幫助」,而直答這邊的舉報則只是延續了知乎的內容舉報:

    另外再加一個反饋按鈕吧(現在只有舉報按鈕)。畢竟現在的大模型產品都有贊/踩的按鈕,以方便收集使用者反饋來強化模型的學習。(Perplexity 沒有這個按鈕也許是因為他自己不做模型)

    一些思考

    直答的產品定位是站內還是全網?做AI 搜尋,究竟是信源更重要還是生成更重要?

    上面其實提到了,我覺得要思考,直答的定位究竟是「知乎的站內工具」,還是「全網 AI 功能工具」。另一個問題是,做 AI 搜尋,究竟是 AI (生成能力)重要還是搜尋(信源)重要。

    我想直答一定是會朝著「全網 AI 功能工具」努力的,但現階段也要揚長避短。知乎的搜尋能力向來不是長處…而 AI 搜尋其實對參考來源的品質要求挺高的,我不知道現在的全網參考來源是知乎自己做的還是接入了搜尋 API,反正在信源的篩選和排序上,不論站內站外還是要下點功夫。

    因為我覺得,對於 AI 搜尋來說,信源比生成能力還更重要一些。如果信源品質不高,那生成結果一定不會好。

    生成式 AI 對知乎這樣的社群究竟有什麽影響?

    今天的新知大會沒有聽到太多社群治理和創作激勵方面的內容,不過還是想趁著這個話題聊一下。

    Kevin 說的一點很好,直答區別於其他 AI 工具的點在於,別人是「使用者+內容」,而知乎則是「創作者+內容+使用者」。

    比如直答會在參考來源中標註「已關註」或「+關註」,其實對於創作者來說,可以看做是一個新的流量來源。(但也很難說,有了 AI 總結以後,流量大機率還是會下降的,畢竟不會每條參考來源都點進去看)

    生成式 AI 對搜尋引擎、內容社群沖擊都很大,但是對於知乎來說,優勢在於站內沈澱的優質內容。而知乎內建的搜尋做的不太好,推薦流又是跟著流量導向走,所以對很多優質內容的長尾價值挖掘其實不充分。所以結合上面在「尋找資訊」部份說到的,希望直答可以真正成為一個充分挖掘內容長尾價值的工具。

    除了搜尋,我還希望在知乎看到什麽樣的 AI 功能?

    簡單來說吧,跟剛才直播時 @蘇洋 說的其實不謀而合。生成式 AI 可以用來改造每一項產品功能,每一個使用環節,我希望得到:

  • ChatTimeline:快速總結我的時間線 / 熱榜
  • ChatAnswerer:和答主的數位分身直接對話(RAG 這個答主的內容)
  • ChatQuestion:總結問題下的回答 / 數據 / 態度
  • ChatAnswer:總結某個具體的文章 / 回答內容
  • 可以說作為重度使用者 + 創作者,我們對於知乎的產品形態、營運策略、創作方向、社群流量都很關心。還有一些未竟的話題,比如 AI 時代的社群治理 [9] 和創作激勵(最近我的流量和站內激勵確實下降了),比如知乎對其他搜尋引擎的開放態度 [10] 等等(如果有可能,還是向社群提議以更開放的態度對待搜尋引擎收錄),這個問題下就不再詳細展開了。

    總結一下,不論從創作還是使用角度,我都是非常非常希望知乎能越來越好的,也希望直答能不斷最佳化產品功能,早日成為知乎的拳頭產品~

    參考

    1. ^ 知乎釋出大模型「知海圖 AI」並內測「熱榜摘要」 https://www.zhihu.com/question/595371242/answer/2982182790
    2. ^ 知乎移動端推出 AI 搜尋功能 https://www.zhihu.com/question/652463265/answer/3462709767
    3. ^ AI搜尋是否正在替代傳統搜尋引擎,體驗上都有哪些差別? https://www.zhihu.com/question/660068650/answer/3544103528
    4. ^https://zhida.ai/share/7385519787991800992
    5. ^https://www.perplexity.ai/search/ru-he-ping-jie-zhi-hu-da-zhu-d-71nLExhrTjKZ.QtF9MVW0Q#0
    6. ^https://zhida.ai/share/7385811697821017045
    7. ^https://zhida.ai/share/7385626620626154628
    8. ^https://zhida.ai/share/7385835168456165624
    9. ^ AI洗稿會進一步汙染中文互聯網嗎? https://www.zhihu.com/question/618234943/answer/3401681787
    10. ^ 如何看待知乎禁止必應和谷歌搜尋、抓取其內容? https://www.zhihu.com/question/657376810/answer/3535610978