Log in
Research report
核心观点:混合专家模型技术(MoE)是由专家模型和门控模型组成稀疏门控制的深度学习技术。MoE通过门控网络实现任务/训练数据在不同专家模型间的分配,让每个模型专注处理其最擅长的任务,进而实现模型的稀疏性。随着大模型参数量的持续提升,MoE在提升计算效率方面展现出强大的能力。同时,近年来MoE逐渐与不同领域的模型相结合,包括自然语言、图像、推荐系统、多模态等,并展现出优秀的性能。后续MoE技术将在提
Read full report →No related institutions