2023年是卷Dense-LLM大模型的一年，参数在千亿以下，可以预见的是2024年是卷MoE-LLM的一年，截止到目前国外开源的MoE有Mistral 8*7B(560亿)，Grok-1(3140亿)，DBRX(1320亿)，因为他们的开源，国内工业界马上会基于这个继续优化跟进，推出自己的千亿以上MoE大模型，继续开卷MoE LLM[喵喵]
发布于 上海
Harvey科技
2023年是卷Dense-LLM大模型的一年，参数在千亿以下，可以预见的是2024年是卷MoE-LLM的一年，截止到目前国外开源的MoE有Mistral 8*7B(560亿)，Grok-1(3140亿)，DBRX(1320亿)，因为他们的开源，国内工业界马上会基于这个继续优化跟进，推出自己的千亿以上MoE大模型，继续开卷MoE LLM[喵喵]