本研究提出了一种新的多尺度字节语言模型（MBLM），旨在解决字节语言模型在处理超长字节流时的建筑范式问题。该模型在单GPU上训练5M字节的上下文窗口，能够高效处理极长序列，并展现出强大的适应性，推动全模态基础模型的发展。