本研究提出了一种实时无文本对话生成模型（RTTL-DG），旨在提高语音对话系统的自然性。该模型通过处理流式语音对话，增强互动流畅性，并引入副语言信号，如回传信号和笑声，以提升人性化水平。

TinyLlama是一款参数只有1.1B的小型强大模型，4比特版本只需550M内存运行。它可用于大型模型的speculative decoding、边缘装置上的离线实时机器翻译和游戏中的实时对话生成。目前正在训练过程中，使用16块A100-40G的GPU，在90天内完成3万亿tokens的训练。