Research report

计算机行业GPT产业复盘（20_21）：走向应用-20230219-华泰证券-21页

等任务，并在许多 NLP任务上均优于当时的 SOTA 技术。其演化版本MT-NLG 参数达5300亿，再次刷新NLP模型规模记录。谷歌ELECTRA模型基于替换 token检测任务训练得到，更注重提高预训练效率而非参数规模。参数规模最小的14MELECTRA-SmalI训练结果能够超过模型规模更大的GPT-1模型。 模型对比：GPT-2vsT-NLG/ELECTRA (M)T-NLG