图片下方文字解释了Sarsa和Q-learning在悬崖行走(Cliff Walking)问题中的表现差异,并指出Sarsa更“保守”。这里说的“保守”主要是指Sarsa在学习过程中倾向于选择更安全的路径,避免风险。 以下是Sarsa更保守的原因: On-policy (在策略) 学习: Sarsa 是一种 on-policy (在策略) 学习算法。这意味着它在更新Q值时,是基于当前策略选择的下一个动作 A' 来进行评估的。换句话说,Sarsa在学习过程中会“说一套做一套”,它用实际执行的动作序列来更新Q值。 具体…