MoE

MoE 模型（Mixture of Experts，混合专家模型）是一种机器学习模型的架构设计，旨在通过组合多个专家（子模型）来解决复杂任务。其核心思想是让不同的专家专注于处理输入数据的不同部分或不同模式，最终通过动态权重（由门控网络控制）将各专家的输出融合，形成最终的预测结果。