百度带来一款全新的开源模型 文心 ERNIE 5.5 Flash Base 这是一个供开发者继续训练的 AI 底座模型，开发者可以在它上面继续训练，打造自己或者行业专属 AI 模型 特点是知识面广...
小互(@imxiaohu) · 人工智能
百度带来一款全新的开源模型 文心 ERNIE 5.5 Flash Base 这是一个供开发者继续训练的 AI 底座模型，开发者可以在它上面继续训练，打造自己或者行业专属 AI 模型 特点是知识面广、能处理长内容，同时节省计算资源 从零开始预训练 2800 亿参数 运行时只激活约 140 亿（5%） 支持 100 万 token 上下文 它的价值是：提供了一个可以继续定制的起点：加入行业知识、适配本地语言，再结合后续训练和产品开发，就能做成适合自己业务的 AI 创新点 1. 长文用两种方式读：ERNIE 5.5 Flash Base把上下文的 KV 缓存 43 层分成两组：37 层看压缩后的内容，保留全局信息；另外 6 层可以回到原文，挑出相关的位置仔细看。这样既省缓存，又能找长文里的具体细节 2. 选专家，从一个人拍板变成多人打分：每次还是从 512 个专家里挑 10 个，变化在于由多个“派单员”共同打分。专家的计算量一样，但选出来的专家更能帮上忙 3. 让最后一层多练一步：模型训练时，除了猜紧接着会出现什么，还可以练习猜再往后的内容，以往会专门加一个模块做这件事，ERNIE 5.5 Flash Base直接复用最后一层。到了实际生成时，这一层还能先拟出候选内容，再交给模型验证 💬 2 🔄 0 ❤️ 0 👀 838 📊 2 ⚡ Powered by xgo.ing