当前位置: 华文问答 > 数码

作为一名自然语言处理研究者,2024 年有哪些研究方向更有潜力?

2023-11-30数码

作为一名自然语言处理领域(NLP)的工作者,个人觉得未来几年研究热点有两个:大模型(LLM)和多模态(Multimodal),下面粗略展开说下:

一、围绕大模型(LLM)产生的各种研究方向

(1)大模型的训练,具体包括数据的处理、模型的框架(位置编码、norm、loss等策略优化)、训练效率(主要attention、梯度优化等环节),训练策略(SFT、RLHF 等),这部分很吃硬件资源,拥有丰富GPU资源的人才能研究这个方向;

(2)大模型的推理,具体包括量化、解码、条件控制等,以及工程方面,这部分目前研究的相对少一些;

(3)大模型的微调技术,如lora、P-tuning,prompt相关的,该方向主要基于基座大模型进行高效优化,相对来说,资源要求小很多;

(4)大模型在问答方向的应用,这是目前大模型主攻的方向,但这个领域可以细分很多,目前比较有前景的两个技术方向,一是大模型+检索(LLM+RAG),二是LLM agent方向,这个也有点类似当前热议的混合专家系统(MOE);

(5)大模型在NLP传统任务的应用,如利用LLM解决语义问题,利用LLM进行信息抽取、或者LLM与KG的结合,该方向适合大部分来研究,并能容易发表论文;

(6)大模型在自动化方向的应用,这个方向比较小众,但若取得进展,将产生巨大的影响;

(7)小模型方向,现在都追求大模型(mode size 越来越大),但在很多场景受资源限制,如何反方向去研究,开发小而精的模型,也是一种追求高性价比的选择;

二、多模态的研究方向

(1)text2img方向,目前这个方向也在跟LLM结合,或者说LLM要具备多模态处理的能力;

(2)扩散模型(diffusion model),今年是被LLM盖住了,本来最热的研究方向是它;

(3)音频/视频方向,类似text2img发展趋势,利用text来自动生成音频或者动画视频,也是游戏领域很在乎的一个方向;

以上个人看法,具体还的看个人的研究兴趣+拥有的资源。最后推荐几篇研究综述,便于从中了解更多的研究方向和进展。

【1】Efficient Large Language Models: A Survey

【2】Data Management For Large Language Models: A Survey

【3】Large LanguageModelsMeet Computer Vision: A BriefSurvey

【4】Survey of Hallucination in Natural Language Generation

【5】 Large Language Models for Robotics: A Survey