天河天元大模型是由中国的国家超算天津中心开发的中文大语言模型。该模型的训练数据集包括网页数据、各种开源训练数据、中文小说数据、古文数据、百科数据、新闻数据,以及专业领域的中医、医药、问诊、法律等多种数据集,总 token 数达到350B​1​。

天河天元大模型是在天河新一代超级计算机上训练的。这个新一代超级计算机是中国新一代百亿亿次超级计算机,具有自主的硬件到软件环境的信息技术应用创新。它的系统双精度浮点峰值计算性能达200P Flops,数据存储能力不低于20PB,峰值功耗不高于8兆瓦。这种超级计算机的算力是“天河一号”的150倍​​。

此外,天河天元大模型也是“天河 E 级智能计算开放创新平台”的一部分,该平台将带来突破百亿亿次的跨模态的超级计算算力,支撑传统的科学工程计算,并服务智能混合计算​​。

未来,国家超算天津中心计划在天河天元大模型的基础上启动面向医疗、工业、法律等领域的专业模型的深度训练,使大模型在深度学习平台的支撑下成为产业智能化基座​​。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注