OpenAI 发布基于无监督预训练的语言理解模型并取得 SOTA 结果

OpenAI 用结合 Transformer 与无监督预训练的通用、任务无关系统，在多项语言任务上取得 SOTA 结果，并开源发布该系统。OpenAI 表示这一结果验证了监督学习与无监督预训练结合的有效性，希望推动在更大、更多样数据集上的后续研究。