Dolly 2.0是EleutherAI pythia模型系列的语言模型，参数为120亿。Databricks发布了名为databricks-dolly-15k的Dolly 2.0微调数据集，包含1.5万条记录，涵盖公开问答、封闭式问答、维基百科信息提取等7个任务。RedPajama是1.2万亿token的开源数据集，包含维基百科、GitHub等来源。COIG是首个大规模可商用的中文开源指令数据集。StableLM是开源语言模型，有3B和7B参数版本，应用于自然语言处理任务。还有其他可商用的模型。