这项研究比较了循环神经网络和transformer在字符级转换任务中的表现，发现transformer在大批量下优于循环模型。提出了一种新方法处理特征导向的字符级转换，并在多个任务上取得了先进表现。同时，研究介绍了新的掩码算法和基因组模型，显著提高了预训练效率和下游任务性能。