(资料图片)

2023年8月14日，上海人工智能实验室宣布，联合中国大模型语料数据联盟成员单位共同开源发布“书生·万卷” 1.0多模态预训练语料。

界面新闻从上海市经信委获悉，“书生·万卷” 1.0目前包含文本数据集、图文数据集、视频数据集三部分，本次开源的数据总量超过2TB，包含超5亿个文本，2200万个图文交错文档，1000个节目影像视频。

其中文本数据为来自网页、百科、书籍、专利、教材、考题等不同来源的清洗后预训练语料，数据总量超过5亿个文档，覆盖科技、文学、媒体、教育、法律等领域。

图文数据主要来自公开网页，经处理后形成图文交错文档。文档总量超过2200万个，覆盖新闻事件、人物、自然景观、社会生活等领域。

视频数据主要来自中央广播电视总台和上海文广集团，包含新闻、影视等多种类型的节目影像，总计视频文件数超过1000个，内容覆盖军事、文艺、体育、自然、真实世界、知识、影像艺术、媒体、美食、历史、科教等方面。

据上海市经信委介绍，高质量、大规模、安全可信的语料数据对于大语言模型的训练和性能提升至关重要。基于语料数据联盟构建的语料库，上海人工智能实验室对其中部分数据进行细粒度清洗、去重以及价值对齐，形成了高质量多模态预训练语料“书生·万卷”1.0，具备多元融合、精细处理、价值对齐、易用高效等特征。

其中在精细处理方面，“书生·万卷”1.0经历了语言甄别、正文抽取、格式标准化、基于规则及模型的数据过滤与清洗、多尺度去重、数据质量评估等精细化数据处理环节，因而能更好地适配后续的模型预训练需求。

中国大模型语料数据联盟是由上海人工智能实验室联合中央广播电视总台、人民网、国家气象中心、中国科学技术信息研究所、上海报业集团、上海文广集团、上海数据集团、上海市数商协会、金杜律师事务所等单位联合发起成立的开放组织。

为应对大模型发展对高质量、大规模、安全可信语料数据资源的需求，保障大模型科研攻关及相关产业生态发展，联盟于2023年7月6日在世界人工智能大会上正式成立。