本文介绍了使用泰米尔语令牌增强开源的LLaMA模型来解决现有切尖模型中泰米尔语等语种的代表性不足所导致的性能不佳问题。通过LoRA方法进行高效的模型训练，并引入了Alpaca数据集和OpenOrca数据集的子集进行微调。实验结果显示在泰米尔语文本生成方面有显著的性能改进，对印度语言切尖模型的应用具有重要意义。通过公开模型、数据集和代码，促进语言建模领域的创新。

TinyLlama是一款参数只有1.1B的小型强大模型，4比特版本只需550M内存运行。它可用于大型模型的speculative decoding、边缘装置上的离线实时机器翻译和游戏中的实时对话生成。目前正在训练过程中，使用16块A100-40G的GPU，在90天内完成3万亿tokens的训练。