ELECTRA是谷歌推出的高效预训练模型，通过生成器-判别器架构替代传统的掩码语言模型。生成器替换标记，判别器判断标记是否被替换。ELECTRA在较少计算资源下实现与BERT相当或更好的性能，适用于文本分类、问答和命名实体识别等任务。

生成对抗网络（GAN）由生成器（G）和判别器（D）组成。生成器生成假数据，判别器判断数据的真假。通过反向传播训练，生成器和判别器不断提升能力，最终生成器能够生成以假乱真的数据。GAN的目标是最小化生成数据与真实数据分布之间的差异，常用交叉熵和KL散度进行衡量。这项技术在无监督学习中具有重要意义，推动了人工智能的发展。