深度强化学习中的问题包括奖励稀疏性、信用分配和错位。为了解决这些问题，引入了连续概念瓶颈代理（SCoBots），通过整合连续的概念瓶颈层使决策过程透明化，领域专家能够理解和纠正模型的错误行为。SCoBots在Pong等游戏中应用，帮助解决了错位问题。