百川智能发布Baichuan 2,文理兼备全面领先LLaMA 2
9月6日,在北京市科学技术委员会、中关村科技园区管理委员会、北京市海淀区政府的指导下,百川智能召开主题为“百川汇海,开源共赢”的大模型发布会,中科院院士张钹亲临现场并发表致辞。会上,百川智能宣布正式开源微调后的Baichuan 2-7B、Baichuan 2-13B、Baichuan 2-13B-Chat与其4bit量化版本,并且均为免费可商用。
百川智能此次还开源了模型训练的Check Point,并宣布将发布 Baichuan 2 技术报告,详细介绍Baichuan 2 的训练细节,帮助大模型学术机构、开发者和企业用户更深入的了解其训练过程,更好地推动大模型学术研究和社区的技术发展。
Baichuan 2下载地址:https://github.com/baichuan-inc/Baichuan2
文理兼备性能优异,全面领先 LlaMA2
Baichuan 2-7B-Base 和 Baichuan 2-13B-Base,均基于 2.6万亿高质量多语言数据进行训练,在保留了上一代开源模型良好的生成与创作能力,流畅的多轮对话能力以及部署门槛较低等众多特性的基础上,两个模型在数学、代码、安全、逻辑推理、语义理解等能力有显著提升。其中Baichuan 2-13B-Base相比上一代13B模型,数学能力提升49%,代码能力提升46%,安全能力提升37%,逻辑推理能力提升25%,语义理解能力提升15%。
本次开源的两个模型在各大评测榜单上的表现优秀,在MMLU、CMMLU、GSM8K等几大权威评估基准中,以绝对优势领先LLaMA2,相比其他同等参数量大模型,表现也十分亮眼,性能大幅度优于LLaMA2等同尺寸模型竞品。
更值得一提的是,根据MMLU等多个权威英文评估基准评分 Baichuan2-7B以70亿的参数在英文主流任务上与130亿参数量的LLaMA2持平。
7B参数模型的Benchmark成绩
13B参数模型的Benchmark成绩
Baichuan2-7B和Baichuan2-13B不仅对学术研究完全开放,开发者也仅需邮件申请获得官方商用许可后,即可以免费商用。
国内首创全程开源模型训练Check Point,助力学术研究
大模型训练包含海量高质量数据获取、大规模训练集群稳定训练、模型算法调优等多个环节。每个环节都需要大量人才、算力等资源的投入,从零到一完整训练一个模型的高昂成本,阻碍了学术界对大模型训练的深入研究。
本着协作和持续改进的精神,百川智能本次开源了模型训练从220B到2640B全过程的 Check Ponit。这对于科研机构研究大模型训练过程、模型继续训练和模型的价值观对齐等极具价值,将极大推动国内大模型的科研进展,开源训练模型过程对国内开源生态尚属首次。
技术报告揭示训练细节,繁荣开源生态
当前大部分开源模型在开源过程中只是对外公开自身的模型权重,很少提及训练细节,企业、研究机构、开发者们只能在开源模型的基础上做有限的微调,很难进行深入研究。
秉持更开放、更透明的理念,为帮助从业者深入了解Baichuan 2的训练过程和相关经验,更好地推动大模型社区的技术发展。百川智能在发布会上宣布,公开Baichuan 2的技术报告。技术报告将详细介绍Baichuan 2 训练的全过程,包括数据处理、模型结构优化、Scaling law、过程指标等。报告链接:
https://baichuan-paper.oss-cn-beijing.aliyuncs.com/Baichuan2-technical-report.pdf
百川智能自成立之初,就将通过开源方式助力中国大模型生态繁荣作为公司的重要发展方向。成立不到四个月,便相继发布了Baichuan-7B、Baichuan-13B两款开源免费可商用的中文大模型,以及一款搜索增强大模型Baichuan-53B,两款开源大模型在多个权威评测榜单均名列前茅,目前下载量超过500万次。
不仅如此,在今年创立的大模型公司中,百川智能是唯一一家通过《生成式人工智能服务管理暂行办法》备案,可以正式面向公众提供服务的企业。凭借行业领先的基础大模型研发和创新能力,此次开源的两款Baichuan 2大模型,得到了上下游企业的积极响应,腾讯云、阿里云、火山方舟、华为、联发科等众多知名企业均参加了本次发布会并与百川智能达成了合作。
未来,百川智能将在开源大模型领域持续深耕,将更多的技术能力、前沿创新开放出来,与更多的合作伙伴们共同助力中国大模型生态蓬勃发展。
本文源自:金融界资讯
举报/反馈
上一篇:大道之行 天下为公
下一篇:2023年山西成人高考考试时间是几月?
最近更新职业教育
- 加强行刑衔接协作 合力守护绿水青山
- 名单公布!南昌31名学霸上榜!
- 北京有车型优惠超10万元,南阳有门店贴出“国货惠民价7.59万元起”海报,合资车
- 事业单位编外人员转为雇员制行不行?银川市人社局回复了这份提案
- 老师曝光教室无窗帘被约谈 校长停职、教室已全部安装窗帘
- 大祥区中小学心理健康教育教师能力提升培训圆满结束
- 最美家庭展播二:梁芳清家庭
- 王晓龙谈国内青训:我们只有初中水平老师,教不出大学水平的学生
- 11月起 四川学业规划行业有了“国家标准”
- 河南2023年度全省职称评审工作开始
- gre数学有哪些备考方法
- 最优模型估算:祁连山国家公园青海片区雪豹种群数量为251只
- 家庭教育公开课第八讲 | 关爱青少年心理健康
- 重磅消息 | 第十二届商学院数字化论坛即将启幕!
- 《志愿军:雄兵出击》发布路演特辑
- 建筑“黑科技”闪耀长沙筑博会
- 为青春点赞!你最喜爱哪支广东青年大学生“百千万工程”突击队?
- 扬州各学校开展形式多样的庆祝活动 喜迎建队日争做好队员
- 深圳发布农贸市场综合治理第三轮测评结果 低于80分市场数量大幅度减少
- 2023下半年湖南英语四六级考试时间安排
- 朝阳营商环境考评成绩连续五年居全市第一
- 小米 14 表现如何?数据库实测性能续航充电等
- 发表SCI论文,申请专利,青年标兵……她是曲园学子李雯鑫
- “湿”意盎然的生态答卷丨马鞍山:水清岸绿 石臼湖风光美如画
- 「一线新动态」十年深耕涉外高端电力人才培养,“电力工程师的摇篮”助力“一带一路”