1月17日,新一代大语言模型书生·浦语2.0(InternLM2)发布会暨书生·浦源大模型挑战赛启动仪式在上海举行。
InternLM2由上海人工智能实验室(简称“上海AI实验室”)与商汤科技联合香港中文大学和复旦大学发布。据介绍,InternLM2的核心理念在于回归语言建模的本质,致力于通过提高语料质量及信息密度,实现模型基座语言建模能力获得质的提升,进而在数理、代码、对话、创作等各方面都取得长足进步,综合性能达到同量级开源模型的领先水平。
据悉,InternLM2不仅在客观性能指标上提升显著,在主观体验上也有明显改善,可以为用户提供优秀的对话和交互体验。研究测试表明,InternLM2-Chat可以精准地理解和遵循用户意图,具备较强的共情能力和丰富的结构化创作能力。
上海AI实验室联合团队研究认为,大模型各项性能提升的基础在于语言建模能力的增强,对于大模型的研究应回归语言建模本质,通过更高质量的语料以及更高的信息密度,筑牢大模型能力基础。
为此,该联合团队通过多维度数据价值评估、高质量语料驱动的数据富集、针对性的数据补齐等技术方法,提出了新一代的数据清洗过滤技术。目前,InternLM背后的数据清洗过滤技术已经历三轮迭代升级,仅使用约60%的训练数据即可达到使用第二代数据训练1T token的性能表现,模型训练效率大幅提升。
沿袭第一代书生·浦语(InternLM)的设定,InternLM2包含7B及20B两种参数规格及基座、对话等版本,满足不同复杂应用场景需求。值得一提的是,秉持“以高质量开源赋能创新”理念,上海AI实验室继续提供InternLM2免费商用授权。
为促进AI生态发展,推动大模型在各行业的应用落地,书生·浦源大模型挑战赛同日启动。赛事由上海市经济和信息化委员会、上海市科学技术委员会、徐汇区人民政府共同指导,上海AI实验室主办,上海市人工智能行业协会承办,首期赛事包含行业应用和创新创意两个赛道,即日起面向全球进行场景和赛队征集。