书生大模型

官网介绍

书生通用大模型体系是由上海人工智能实验室（上海AI实验室）与商汤科技联合香港中文大学、复旦大学、上海交通大学及清华大学于2023年7月6日在2023世界人工智能大会（WAIC 2023）上发布的全新升级人工智能大模型体系。该体系包括书生·多模态、书生·浦语和书生·天际等三大基础模型，以及首个面向大模型研发与应用的全链条开源体系。目前，书生大模型在130多个评测中性能达世界领先或先进水平，涵盖视觉、语言、多模态交互和三维建模等多个领域，旨在通过原始创新引领技术进步，以开源开放赋能创新生态，推动人工智能技术创新与产业进步。

核心功能特点

多模态融合与交互能力

书生多模态大模型（InternLMM）包含200亿参数，使用80亿多模态样本训练，可通过自然语言定义各种任务，实现开放世界理解，支持多模态生成和跨模态交互，并支持350万语义标签的识别和理解，覆盖开放世界常见的类别和概念。该模型在80多种多模态和视觉评测任务中性能领先，超过了谷歌、微软、OpenAI等研发的同类模型。

长语境窗口语言理解

书生·浦语（InternLM）是国内首个正式发布的支持8K语境长度的千亿参数级语言大模型，具有1040亿参数，在包含18000亿token的高质量语料上训练而成。8K语境窗口使其具备了理解长输入、展开复杂推理、以及进行长时间多轮对话的能力，为处理复杂文档和多轮对话提供了强大支持。

全链条开源体系

书生·浦语开源了贯穿数据、预训练、微调、部署和评测五大环节的全链条工具体系。包括70亿参数的轻量级版本InternLM-7B，以及OpenDataLab开放数据集、InternLM-Train训练框架、全流程微调工具、LMDeploy部署推理工具链和OpenCompass开放评测平台，形成完整的大模型研发与应用生态。

城市级高精度三维建模

书生·天际是全球首个城市级NeRF实景三维大模型，已实现对100平方公里范围进行城市实景建模，分辨率精度可达4K；并支持对全范围的高精度实时渲染，以及城市级编辑、风格化转换等功能。该模型集算法、算子、计算系统为一体，在高精度建模、高精度渲染、功能可扩展性、训练交互一体化四个方面取得领先。

多维度能力全面提升

书生·浦语在42个主流评测集上性能明显提升，在其中35个评测集上性能超越了ChatGPT。特别是在数理逻辑能力方面有明显进步，大幅提高了数值计算、函数运算、方程求解等数理能力，在数学评测集GSM8K上性能从62.9提高到73.2，在2023年高考数学选择题上，正确率提升超过70%。

应用场景

• 自动驾驶：支持感知决策一体化的自动驾驶通用大模型UniAD，使自动驾驶更智能，助力自动驾驶技术发展。
• 智慧医疗：通过全球首个医疗多模态基础模型群"OpenMEDLab浦医"，为人工智能大模型在医疗领域的快速发展、高效落地提供坚实基础。
• 地球科学：支持全球中期天气预报大模型"风乌"，首次实现气象有效预报时间首破10天，仅需30秒即可生成未来10天全球高精度预报结果。
• 城市规划与管理：书生·天际提供的高精度城市三维模型可应用于城市规划、智慧交通、城市管理等领域，支持城市级编辑和分析。
• 多语言处理与跨文化交流：书生·浦语支持二十多种语言，可通过表格和图表等方式汇总与呈现复杂信息，促进跨语言沟通与信息传播。
• 科研创新支持：为各学科领域提供强大的数据分析和处理能力，加速科研进程，支持AI for Science研究方向。
• 教育培训：通过强大的语言理解和生成能力，提供个性化学习内容和辅导，支持教育资源的智能化开发与应用。

优势

书生通用大模型体系的主要优势体现在多个方面：首先，技术性能领先，在130多个评测中性能达世界领先或先进水平，其中多模态模型在80多种评测中超越谷歌、微软、OpenAI等同类模型，语言模型在35个主流评测集上性能超越ChatGPT；其次，模态覆盖全面，从视觉、语言扩展到多模态交互和三维城市建模，形成完整的技术体系；第三，开源生态完善，提供从数据、预训练、微调、部署到评测的全链条工具支持；第四，应用场景广泛，已在自动驾驶、智慧医疗、地球科学等多个领域展现出实际价值；第五，安全与对齐能力强，通过有效的指令微调包括RLHF技术，使模型更可靠地遵循人类指令；最后，有强大的学术合作网络支持，与国内十余所顶尖高校开展联合培养和研究合作。

价值总结

书生通用大模型体系的核心价值在于为人工智能领域提供了全面、领先、开源的技术基础和生态支持，推动AI技术的创新发展和产业应用。对科研机构而言，提供了先进的研究工具和开放的数据集，加速AI基础研究和应用研究进程；对企业而言，降低了大模型研发和应用的门槛，支持各行业智能化升级；对开发者而言，提供了完整的工具链和学习资源，促进AI技术的普及和应用创新；对社会而言，通过在医疗、气象、城市管理等领域的应用，提升公共服务质量和效率；对人才培养而言，为AI领域人才提供了实践和创新的平台。总体而言，书生大模型通过开源开放的方式，赋能整个AI生态，推动技术创新与产业进步，共创AGI美好未来。

用户体验与优势

书生通用大模型体系在用户体验方面具有显著优势：首先，模型交互自然流畅，支持通过自然语言定义任务和多模态交互，符合人类认知习惯；其次，长语境窗口支持处理复杂输入和多轮对话，提升了对长篇文档的理解能力和对话连贯性；第三，多语种支持二十多种语言，满足不同语言背景用户的需求；第四，结构化表达能力强，可通过表格和图表等方式汇总与呈现复杂信息，使结果更直观易懂；第五，开源工具链降低了使用门槛，全流程工具支持从数据处理到模型部署的各个环节；第六，安全可靠，通过强化学习等技术提升了模型的安全性和对齐能力；第七，性能优异且资源效率高，如轻量级模型InternLM-7B在性能领先的同时，对计算资源要求更为友好；第八，持续更新迭代，发布后一个月内即完成全面升级，展现出活跃的开发活力和技术演进能力。

技术优势

书生通用大模型体系在技术层面具有多项核心优势：在多模态处理方面，提出了高效的多模态融合方法，实现通过自然语言定义视觉任务的创新能力；在语言模型训练方面，采用了高质量大规模语料训练（18000亿token），并通过优化实现8K长语境窗口；在模型效率方面，开发了Hybrid-Zero独特技术，使训练框架性能领先行业水平，部署工具LMDeploy性能超越HuggingFace、Deepspeed、vLLM等主流推理框架；在三维建模方面，提出新的实景三维模型表征和训练范式，实现城市级大规模三维场景的高效准确表征；在开源工具方面，构建了覆盖数据、训练、微调、部署、评测的全链条工具体系；在评测体系方面，OpenCompass平台支持超过40个评测集、30万评测题目的一站式全方位评测；在轻量级模型优化方面，InternLM-7B在MMLU和CEval等基准上刷新7B量级模型世界纪录；最后，在跨学科应用方面，将大模型技术与自动驾驶、医疗、气象等领域深度融合，推动AI for Science发展。