当前位置: 华文问答 > 数码

知乎新上线的 AI 大模型产品「知乎直答」体验效果如何?

2024-06-29数码

趁周老板 @周源 还没正式发布,赶紧先来写篇回答。直答的整体体验不错,但这个回答会以挑毛病提建议为主。

知乎做 AI 搜索也在意料之中,ChatGPT 出来以后应该没有哪家互联网公司不在思考怎么跟进的,更不要说像知乎这样的强相关的内容社区。

应该说知乎在大模型方面的反应并不算慢,去年 4 月就灰度做了热榜摘要 [1] (内容摘要、网页总结类产品算是第一批可落地的简单场景),前几个月又在手机端做了知海图 AI 搜索 [2] ,这次把 AI 搜索独立作为一个产品,网页端启用单独的域名 zhi.da 和品牌,App 端设置一级入口,可见知乎对直答的重视程度和期望。

关于直答的产品体验和建议

首先从产品形态上我觉得应该无须讳言,就是「类 Perplexity AI 搜索」,这一类产品国内国外都很多,也有一些开源的方案,不论是 UI 还是逻辑大体上也比较类似,这里对竞品就不做太多介绍了。UI 交互上我觉得没啥问题,功能点都比较直观。

直答的生成逻辑上分为四步:理解问题 - 查找信息 - 生成回答 - 完成回答。

接下来我就按这四步分别提点建议吧:

理解问题

我之前在另一个回答里写过 [3]

大模型 + 搜索重在模型,不拘泥于提问的形式,可以用长文本、多轮对话来进行交流,充分利用 AI 的理解和生成能力,搜索只是对实时信息的补全,给 AI 工具提供更多基础性的参考资料。

相比于传统的搜索引擎,大模型 / AI 搜索工具对语义的理解能力更强。用户不再像使用十年前的搜索引擎那样,需要学会如何精准提炼关键词,反而可以用更随意、自然的交流方式直接进行提问,把意图理解的部分交给 AI,减轻用户的负担。

但是呢…应该说直答对问题 query 的理解在我看来不太理想。比如我问:「如何评价知乎答主段小草」。对于这个问题,显然重点不在于「如何评价」,也不在于「知乎答主」(这只是限定范围的一个前缀),而在于「段小草」。

但我得到的结果是这样的 [4]

这里面只有关于 Python 的两点是对的,其余都是错的。为什么偏差这么大呢?从结果的参考来源来看,它甚至没有搜索到我的个人主页,而是把「知乎」「答主」「小草」作为一些关键词进行了搜索,得到了驳杂无关的参考信息,进而得出了错误较多的结果。

作为对比(不得不搬出竞品 Perplexity [5] ):

当然也有解决办法,就是在搜索时加一些限定符,告诉 AI 」段小草「是一个专有名词,不要拆分,结果就会好非常多:

从这个对比就能看出来,并不是站内没有可靠的信息,也不是 AI 生成总结能力不足,单纯就是在问题理解这一步出现了偏差。

对于「问题理解」,我的期待和建议是:

  • 一定要强化对问题的理解能力,这是出发点,否则就会差之毫厘谬以千里
  • 可以参考秘塔搜索的「研究模式」,类似于 Agent 式的检索,由 AI 来 Re-Write / 优化重构搜索词
  • 可以参考传统搜索引擎,支持一些特殊语法,比如 site: intitle 等等
  • 举个例子,比如我搜索「十年前大家对 5G 的看法」或者「2014 年大家对 5G 的期待」,我其实希望 AI 搜索可以把「十年」转化为「2014 年」,进而在搜索时把内容的创作时间限定在 2014 年(目前的这些搜索引擎还做不到)。

    查找信息

    接下来聊「查找信息」。查找信息可以分解成两个部分,第一是搜索,第二是信源。搜索是一门技术,信源则是一个数据池。

    相比于竞品,知乎的优势显然在于自身的站内内容,可以便捷地触及到站内的优质内容。同时相比于之前内测时的知海图 AI 是完全限于知乎内部的,而这次的直答则增加了全网数据:

    这一点是很棒的,也意味着 直答从一个「知乎的站内工具」转向了「全网搜索工具」,这是一个产品定位的问题。

    但是呢…我还是先挑点毛病吧。最明显的问题就是,直答作为知乎的官方 AI 搜索工具,对知乎的内容和数据利用并不充分,表现在几方面:

    第一,直答没有接入「知乎热榜」的内容,比如问直答今天的热搜,它需要跑到外部信源去获取:

    第二,直答返回的参考内容里,甚至直接包括了「包含 AI 辅助创作」的内容。比如搜索「英伟达在 AI 领域的成功原因是什么?」 [6] 。可以看到生成结果主要参考了第二个来源,但这个来源其实是 AI 生成的。

    也许是因为 AI 生成的内容也许比较结构化,也更被 AI 总结的工具所喜欢吧。但这显然不是用户所希望的,用户想要找到更多答主原创的高质量内容,而非 AI 低创内容。况且既然都已经主动标注了,是否应该在参考来源中剔除这些内容?

    第三,直答返回的参考来源数据似乎没有利用充分挖掘利用知乎的高质量内容。具体来讲,直答更倾向于引用一些专栏文章(可能是因为文章标题更容易被 SEO 索引),这和站内的创作逻辑不太一致(站内相对应该是更鼓励问答的)。或者当直答搜索到一些问题后,参考的来源内容并不是这个问题下排序靠前的内容。比如搜索「AI 绘画在教育领域有哪些潜在应用?」 [7]

    这个回答的生成主要参考了来源 1,但仔细看这个来源 1 的话其实也是 AI 生成的。

    我觉得以上这些小毛病,总结来说就是和社区 / 创作者 / 用户的预期不符。无论从哪个角色角度上讲,大家使用直答的期待肯定是「 充分挖掘知乎站内沉淀的优质内容 」。有没有可能,比如设置一个基础的数据阈值(比如互动数据超过 10 个赞?)来判断内容质量?或者参考答主的创作分给内容赋予一些不同的权重?

    总之不论用哪种形式,还是希望多思考如何更 充分地挖掘知乎站内沉淀的优质内容 。然后关于站外内容的话,放到后面聊吧。

    生成回答

    直答的生成分两种,一种是搜索后总结生成,就像前面展示的,也是直答的主要用途;另一种就是它自身模型的基础生成能力(大概应该是面壁的模型?),比如可以直接写诗 [8]

    生成能力主要依靠模型能力,这个回答主要聊 AI 搜索这个产品,就不讨论更多了。

    完成回答

    直答在完成回答之后,可以继续追问 / 修改问题重新提问 / 筛选参考来源后重新生成回答,同时可以分享和收藏,功能还是比较完整的。

    建议的话,主要优化一下 feedback 吧,Perplexity vs 直答,Perplexity 的举报是「不准确、过时、太短 / 太长、内容有害、没有帮助」,而直答这边的举报则只是延续了知乎的内容举报:

    另外再加一个反馈按钮吧(现在只有举报按钮)。毕竟现在的大模型产品都有赞/踩的按钮,以方便收集用户反馈来强化模型的学习。(Perplexity 没有这个按钮也许是因为他自己不做模型)

    一些思考

    直答的产品定位是站内还是全网?做AI 搜索,究竟是信源更重要还是生成更重要?

    上面其实提到了,我觉得要思考,直答的定位究竟是「知乎的站内工具」,还是「全网 AI 功能工具」。另一个问题是,做 AI 搜索,究竟是 AI (生成能力)重要还是搜索(信源)重要。

    我想直答一定是会朝着「全网 AI 功能工具」努力的,但现阶段也要扬长避短。知乎的搜索能力向来不是长处…而 AI 搜索其实对参考来源的质量要求挺高的,我不知道现在的全网参考来源是知乎自己做的还是接入了搜索 API,反正在信源的筛选和排序上,不论站内站外还是要下点功夫。

    因为我觉得,对于 AI 搜索来说,信源比生成能力还更重要一些。如果信源质量不高,那生成结果一定不会好。

    生成式 AI 对知乎这样的社区究竟有什么影响?

    今天的新知大会没有听到太多社区治理和创作激励方面的内容,不过还是想趁着这个话题聊一下。

    Kevin 说的一点很好,直答区别于其他 AI 工具的点在于,别人是「用户+内容」,而知乎则是「创作者+内容+用户」。

    比如直答会在参考来源中标注「已关注」或「+关注」,其实对于创作者来说,可以看做是一个新的流量来源。(但也很难说,有了 AI 总结以后,流量大概率还是会下降的,毕竟不会每条参考来源都点进去看)

    生成式 AI 对搜索引擎、内容社区冲击都很大,但是对于知乎来说,优势在于站内沉淀的优质内容。而知乎内置的搜索做的不太好,推荐流又是跟着流量导向走,所以对很多优质内容的长尾价值挖掘其实不充分。所以结合上面在「查找信息」部分说到的,希望直答可以真正成为一个充分挖掘内容长尾价值的工具。

    除了搜索,我还希望在知乎看到什么样的 AI 功能?

    简单来说吧,跟刚才直播时 @苏洋 说的其实不谋而合。生成式 AI 可以用来改造每一项产品功能,每一个使用环节,我希望得到:

  • ChatTimeline:快速总结我的时间线 / 热榜
  • ChatAnswerer:和答主的数字分身直接对话(RAG 这个答主的内容)
  • ChatQuestion:总结问题下的回答 / 数据 / 态度
  • ChatAnswer:总结某个具体的文章 / 回答内容
  • 可以说作为重度用户 + 创作者,我们对于知乎的产品形态、运营策略、创作方向、社区流量都很关心。还有一些未竟的话题,比如 AI 时代的社区治理 [9] 和创作激励(最近我的流量和站内激励确实下降了),比如知乎对其他搜索引擎的开放态度 [10] 等等(如果有可能,还是向社区提议以更开放的态度对待搜索引擎收录),这个问题下就不再详细展开了。

    总结一下,不论从创作还是使用角度,我都是非常非常希望知乎能越来越好的,也希望直答能不断优化产品功能,早日成为知乎的拳头产品~

    参考

    1. ^ 知乎发布大模型「知海图 AI」并内测「热榜摘要」 https://www.zhihu.com/question/595371242/answer/2982182790
    2. ^ 知乎移动端推出 AI 搜索功能 https://www.zhihu.com/question/652463265/answer/3462709767
    3. ^ AI搜索是否正在替代传统搜索引擎,体验上都有哪些差别? https://www.zhihu.com/question/660068650/answer/3544103528
    4. ^https://zhida.ai/share/7385519787991800992
    5. ^https://www.perplexity.ai/search/ru-he-ping-jie-zhi-hu-da-zhu-d-71nLExhrTjKZ.QtF9MVW0Q#0
    6. ^https://zhida.ai/share/7385811697821017045
    7. ^https://zhida.ai/share/7385626620626154628
    8. ^https://zhida.ai/share/7385835168456165624
    9. ^ AI洗稿会进一步污染中文互联网吗? https://www.zhihu.com/question/618234943/answer/3401681787
    10. ^ 如何看待知乎禁止必应和谷歌搜索、抓取其内容? https://www.zhihu.com/question/657376810/answer/3535610978