【资料图】

“大型语言模型技术的快速演进，已经为我们展现了通用人工智能的大框架。下一步，最重要的是让大模型和现实世界‘对齐’。在模型自我学习、自我迭代过程中，人必须参与其中，以保持机器与人类价值观、思维方式一致，否则可能会离人类的偏好越来越远。”近日，在复旦大学管理学院主办的复旦科创先锋论坛上，复旦大学计算机科学技术学院教授、MOSS系统负责人邱锡鹏如此表示。

?

邱锡鹏 复旦管院供图

当天，在主题为《MOSS：对话式大型语言模型》的演讲中，邱锡鹏介绍了大型语言模型背后的技术原理，他认为好的语言模型需要更好地理解语言与常识。ChatGPT的三大关键技术是情景学习、思维链和自然指令学习。

情景学习即在上下文语境中学习，语言模型会在提示词（prompt）中附带一些例子作为“上文”输入，再预测并输出下文，这改变了传统的学习范式，可以大幅降低下游开发成本；思维链指做大模型示例时不要只给答案，也要给它推导过程，通过推导过程最终得出正确答案。这是突破模型参数约束，实现“涌现”能力的关键技术；自然指令学习指模型能直接理解人类指令，从指令中学习、判断，不断“对齐”人类的真实意图。

演讲中，邱锡鹏透漏，其主持研发的MOSS系统将于4月中旬开源。他指出，MOSS和ChatGPT具有相近的通用语义理解能力，目前在推理能力和事实类知识方面还有一定差距。这主要是由于参数规模不足造成的，可以通过扩大模型规模来实现。

“首先是对语言模型基座进行架构优化，这面临输入长度、中文编码、多模态接入等挑战；其次是指令微调，其难度远高于预训练，而让模型的回答‘对齐’人类思维习惯也非常困难；最后才是能力强化。”邱锡鹏说，“当语言模型向人类的价值观和思维方式对齐，并应用于真实世界，无疑将颠覆各个行业生态。”

关于人与机器的关系，邱锡鹏认为，AI替代不了那些AI使用者的工作，人类具有适应性和灵活性，更擅长利用AI的能力把工作做得更好。目前AI依然在可控范围内发展，当它成为某种基础设施后，如何控制其能力将变得十分关键，相关的法律法规、政府的重视、社会的认同，都须参与进整个生态。