清华开源模型ChatGLM-6B可本地

ChatGLM-6B：开源双语对话语言模型 | An open bilingual dialogue language model
Github开源链接：https://github.com/THUDM/ChatGLM-6B
“让我们一起为中国 ChatGLM 开源模型的团队喝彩，期待他们带来更多的技术创新！”
这是目前本站长所搜集到的资料：

1、https://www.bilibili.com/video/BV1E24y1u7Go/
【ChatGLM】本地版ChatGPT？6G显存可用！ChatGLM-6B 清华开源模型一键包发布 可更新
2、https://mp.weixin.qq.com/s?__biz=Mzg4MDE3OTA5NA==&mid=2247571682&idx=1&sn=a6701c408477f8ead5ddb3822a966026
​ChatGLM：千亿基座的对话模型启动内测，单卡版模型已全面开源

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存、。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。更多信息请参考我们的博客。

具体来说，ChatGLM-6B 具备以下特点：

• 充分的中英双语预训练：ChatGLM-6B 在 1:1 比例的中英语料上训练了 1T 的 token 量，兼具双语能力。
• 优化的模型架构和大小：吸取 GLM-130B 训练经验，修正了二维 RoPE 位置编码实现，使用传统 FFN 结构。6B（62亿、的参数大小，也使得研究者和个人开发者自己微调和部署 ChatGLM-6B 成为可能。
• 较低的部署门槛：FP16 半精度下，ChatGLM-6B 需要至少 13 GB 的显存进行推理，结合模型量化技术，这一需求可以进一步降低到 10GB（INT8、和 6GB（INT4、，使得 ChatGLM-6B 可以部署在消费级显卡上。
• 更长的序列长度：相比 GLM-10B（序列长度 1024、，ChatGLM-6B 序列长度达 2048，支持更长对话和应用。
• 人类意图对齐训练：使用了监督微调（Supervised Fine-Tuning、、反馈自助（Feedback Bootstrap、、人类反馈强化学习（RLHF、等方式，使模型初具理解人类指令意图的能力。输出格式为 markdown，方便展示。

不过，由于ChatGLM-6B的规模较小，目前已知其具有相当多的局限性，如事实性/数学逻辑错误，可能生成有害/有偏见内容，较弱的上下文能力，自我认知混乱，以及对英文指示生成与中文指示完全矛盾的内容。请大家在使用前了解这些问题，以免产生误解。