Apple Machine Learning Research
·
超越单一提取器：重新思考HTML到文本提取在大规模语言模型预训练中的应用
内容提要
本文探讨了在大规模语言模型预训练中，HTML到文本提取的重要性。研究表明，使用多种提取器可以提高数据利用率，增加71%的标记产出，并对下游任务表现产生显著影响。
关键要点
-
在构建大规模语言模型预训练数据集时，HTML到文本的提取是首要的预处理步骤。
-
现有的开源数据集主要使用单一固定的提取器，这可能导致对互联网数据的覆盖和利用不足。
-
不同的提取器可能导致相似的模型性能，但固定过滤管道下存活的页面可能有显著差异。
-
通过结合不同的提取器，可以将DCLM-Baseline的标记产出提高多达71%，同时保持基准性能。
-
对于结构化内容（如表格和代码块），提取器的选择对下游任务性能有显著影响，差异可达10个百分点（WikiTQ）和3个百分点（HumanEval）。
延伸解读
多提取器的优势
文章指出，使用多种提取器可以显著提高数据的利用率，标记产出可增加71%。这表明在构建大规模语言模型时，灵活选择提取器是提升模型性能的关键策略。
结构化内容的影响
对于表格和代码块等结构化内容，提取器的选择对下游任务的性能影响显著，差异可达10个百分点。这提醒研究者在处理特定类型数据时，需谨慎选择合适的提取器，以优化模型表现。
固定提取器的局限性
现有开源数据集多依赖单一固定提取器，这可能导致对互联网数据的覆盖不足。研究表明，固定过滤管道下存活的页面可能存在显著差异，影响模型的全面性和适应性。
延伸问答
HTML到文本提取在大规模语言模型预训练中有什么重要性？
HTML到文本提取是构建大规模语言模型预训练数据集的首要预处理步骤，影响数据的覆盖和利用。
使用多种提取器对模型性能有什么影响？
使用多种提取器可以将DCLM-Baseline的标记产出提高多达71%，同时保持基准性能。
固定提取器可能导致哪些问题？
固定提取器可能导致对互联网数据的覆盖和利用不足，影响模型的表现。
提取器选择对结构化内容的影响有多大？
提取器选择对结构化内容的下游任务性能影响显著，差异可达10个百分点（WikiTQ）和3个百分点（HumanEval）。
如何提高数据利用率？
通过结合不同的提取器，可以提高数据利用率，增加标记产出。
现有开源数据集的提取器使用情况如何？
现有开源数据集主要使用单一固定的提取器，可能导致数据覆盖不足。
