中新社深圳12月8日电 (记者 郑小红)鹏城实验室8日与百度联合召开发布会,发布双方共同研发的全球首个知识增强千亿大模型——鹏城-百度·文心。该模型参数规模达到2600亿,是目前全球最大的中文单体模型。
同时,百度产业级知识增强大模型“文心”全景图首次亮相,从技术自主创新和加速产业应用等两方面,推动中国人工智能进一步发展。
中国工程院院士、鹏城实验室主任高文在致辞中表示,预训练模型对整个科学的发展、社会的发展、创新的发展都是非常重要的工具,这对人工智能的发展是一个福音。
据百度首席技术官王海峰介绍,百度知识增强大模型从大规模知识和海量数据中融合学习,效率更高,效果更好,具有良好的可解释性。从2019年3月发布文心ERNIE1.0,到最新的产业级知识增强大模型文心全景图,既包含基础通用的大模型,也包含面向重点领域、重点任务的大模型,以及丰富的工具与平台,有助于促进技术创新和产业发展。
此次发布的鹏城-百度·文心是“全球首个知识增强千亿大模型”,在机器阅读理解、文本分类、语义相似度计算等60多项任务取得良好效果,并在30余项小样本和零样本任务上刷新基准。
据悉,鹏城-百度·文心研发过程中,鹏城实验室的算力系统“鹏城云脑Ⅱ”和飞桨深度学习平台联手,解决了超大模型训练的多个公认技术难题。“鹏城云脑Ⅱ”是中国国产自主的首个E级人工智能算力平台,曾在多个国际性能测试上获得冠军。飞桨是中国首个自主研发的深度学习开源开放平台,研制了端到端自适应分布式训练框架,实现多硬件支持,并行效率高达90%,有效支持鹏城-百度·文心千亿大模型高效、稳定地训练。
本次联合发布的鹏城-百度·文心将进一步解决人工智能技术在产业应用中缺乏领域和场景化数据等关键难题。本着“开源开放”的理念,该模型代码近期将在OpenI启智社区开源,依托鹏城云脑Ⅱ对外开放,联合“产学研协”各方,挖掘人工智能大模型的赋能能力,助力科技创新,推动产业发展。(完)