ChatGLM-130B 是由 AI 编程助手「CodeGeex」背后的智谱 AI 团队开发的 1300 亿参数的开源的、支持中英双语的对话语言模型。
GLM-130B 是一个开源开放的双语(中文和英文、双向稠密模型,拥有 1300 亿参数,模型架构采用通用语言模型(GLM1、。它旨在支持在一台 A100(40G * 8、 或 V100(32G * 8、服务器上对千亿规模参数的模型进行推理。截至 2022 年 7 月 3 日,GLM-130B 已完成 4000 亿个文本标识符(中文和英文各 2000 亿、的训练,它有以下独特优势:
- 双语:同时支持中文和英文。
- 高精度(英文、: 在 LAMBADA 上优于 GPT-3 175B(+4.0%、、OPT-175B(+5.5%、和 BLOOM-176B(+13.0%、,在 MMLU 上略优于 GPT-3 175B(+0.9%、。
- 高精度(中文、:在 7 个零样本 CLUE 数据集(+24.26%、和 5 个零样本 FewCLUE 数据集(+12.75%、上明显优于 ERNIE TITAN 3.0 260B。
- 快速推理:支持用一台 A100 服务器使用 SAT 和 FasterTransformer 进行快速推理(提速最高可达 2.5 倍、。
- 可复现性:所有结果(超过 30 个任务、均可通过我们的开源代码和模型参数轻松复现。
- 跨平台:支持在 NVIDIA、Hygon DCU、Ascend 910 和 Sunway 处理器上进行训练与推理。
收录说明:
1、本网页并非 ChatGLM 官网网址页面,此页面内容编录于互联网,只作展示之用;2、如果有与 ChatGLM 相关业务事宜,请访问其网站并获取联系方式;3、本站与 ChatGLM 无任何关系,对于 ChatGLM 网站中的信息,请用户谨慎辨识其真伪。4、本站收录 ChatGLM 时,此站内容访问正常,如遇跳转非法网站,有可能此网站被非法入侵或者已更换新网址,导致旧网址被非法使用,5、如果你是网站站长或者负责人,不想被收录请邮件删除:i-hu#Foxmail.com (#换@)
前往AI网址导航
声明:本文来自AIGC网址导航投稿,不代表微浪网立场,版权归原作者所有,欢迎分享本文,转载请保留出处!