本文研究了自然语言输入决策中的不确定性，提出了CDT框架用于在线超参数调整，改进了Thompson Sampling算法以解决逻辑上下文bandits问题，并介绍了QTA算法以提高样本效率。此外，研究还探讨了基于模型的强化学习算法H-UCRL，展示了其在探索中的优势和广泛适用性。