元象XVERSE-13B开源大模型

元象XVERSE-13B大模型，130亿参数，开源即免费商用。

来自前腾讯副总裁、腾讯AI lab创始人姚星创立的明星独角兽元象，公司成立一年即完成1.2亿美元融资。

此次开源的大模型，它支持40多种语言、8192上下文长度。在多项中英文测评中，性能超过了同尺寸（130亿参数）的LIama2、Baichuan等。

【模型介绍】

XVERSE-13B 是由深圳元象科技自主研发的支持多语言的大语言模型（Large Language Model），主要特点如下：

• 模型结构：XVERSE-13B 使用主流 Decoder-only 的标准 Transformer 网络结构，支持 8K 的上下文长度（Context Length），为同尺寸模型中最长，能满足更长的多轮对话、知识问答与摘要等需求，模型应用场景更广泛。
• 训练数据：构建了 1.4 万亿 token 的高质量、多样化的数据对模型进行充分训练，包含中、英、俄、西等 40 多种语言，通过精细化设置不同类型数据的采样比例，使得中英两种语言表现优异，也能兼顾其他语言效果。
• 分词：基于 BPE（Byte-Pair Encoding）算法，使用上百 GB 语料训练了一个词表大小为 100,278 的分词器，能够同时支持多语言，而无需额外扩展词表。
• 训练框架：自主研发多项关键技术，包括高效算子、显存优化、并行调度策略、数据-计算-通信重叠、平台和框架协同等，让训练效率更高，模型稳定性强，在千卡集群上的峰值算力利用率可达到 58.5%，位居业界前列。

作为通用大模型，它支持文本生成、自动化写作、数据分析、知识问答、多语言翻译、个性化交互、人物角色扮演、专业小助手等功能。

【能力评测】

具体到各项能力测评上，他们选取了 MMLU（英文）、 C-Eval（中文）、AGIEval（中英） 、GAOKAO-Bench（中英）、GAOKAO-English（英文）等在内的评测集。

比如在MMLU测评中，其综合评分达到55.1分，在多个维度超过了同参数规模的主流模型。

【团队介绍】

元象XVERSE，2021年3月成立，专注于AI与元宇宙技术服务。

创始团队来自腾讯游戏、Adobe、微软、IBM、麦肯锡等公司。创始人是前腾讯副总裁姚星，他曾亲手创立了腾讯AI lab以及机器人实验室Robotics X，并兼管腾讯技术工程事业群（TEG）多个技术部门。

他也是腾讯在受AlphaGo震动决定战略布局AI时的一号位负责人，代表腾讯全球挖人组队，也代表腾讯喊出了口号：AI in All。在此期间曾主导推出了绝艺、绝悟、云深智药等行业代表性产品和应用，张潼张正友都曾向他汇报。

2022年3月，元象完成A与A+轮融资1.2亿美元，投资机构包括腾讯、高榕资本、五源资本、高瓴创投、红杉中国、淡马锡和CPE源峰等。

前往官网

收录说明：
1、本网页并非 元象XVERSE-13B开源大模型 官网网址页面，此页面内容编录于互联网，只作展示之用；
2、如果有与 元象XVERSE-13B开源大模型 相关业务事宜，请访问其网站并获取联系方式；
3、本站与 元象XVERSE-13B开源大模型 无任何关系，对于 元象XVERSE-13B开源大模型 网站中的信息，请用户谨慎辨识其真伪。
4、本站收录 元象XVERSE-13B开源大模型 时，此站内容访问正常，如遇跳转非法网站，有可能此网站被非法入侵或者已更换新网址，导致旧网址被非法使用,
5、如果你是网站站长或者负责人，不想被收录请邮件删除：i-hu#Foxmail.com （#换@）