1. 项目概述从理论到实践的强化学习敲门砖倒立摆这个在控制理论课上被反复提及的经典问题对于很多刚接触强化学习的同学来说就像一座横在面前的山。课本上的Q-learning公式看起来简洁明了但真到了要自己动手写代码让一个智能体学会控制摆杆不倒时各种问题就冒出来了状态怎么定义奖励函数怎么设计学习率调多少合适我当年也是这么过来的对着一个左右乱晃、死活立不起来的摆杆调试了好几个通宵。这个“强化学习实战——Q learning 实现倒立摆”项目恰恰是打通理论与实践的绝佳桥梁。它不涉及复杂的神经网络只用最基础的Q-learning算法却能让你亲手构建一个完整的强化学习智能体直观地看到“试错-学习-优化”这一核心过程是如何在代码中一步步实现的。对于初学者这个项目的价值在于它的完备性和可观测性。完备性指的是它麻雀虽小五脏俱全涵盖了强化学习五大核心要素智能体Agent、环境Environment、状态State、动作Action和奖励Reward。可观测性则是因为倒立摆的状态空间相对较小通常是位置、速度、角度、角速度四个连续值我们可以通过离散化将其转化为Q表能处理的离散状态从而让Q表的更新过程变得肉眼可见。你能清晰地看到智能体最初如何像无头苍蝇一样随机尝试然后逐渐在那些能让摆杆维持更久的状态-动作对上积累更高的Q值最终形成一套稳定的控制策略。这个过程比任何教科书上的描述都要生动和深刻。2. 核心原理与方案设计为什么是Q-learning和倒立摆2.1 环境建模倒立摆的动力学与控制目标倒立摆问题通常被建模为一个经典的连续控制任务。我们以一个最常见的一阶倒立摆车杆系统为例一个小车可以在一条有限长的轨道上左右移动车上通过一个无摩擦的铰链连接着一根摆杆。智能体即我们的控制器的任务是通过向左或向右给小车施加一个固定大小的力来防止摆杆倒下即与垂直方向的夹角超过一定阈值比如±12度同时还要尽量让小车保持在轨道中心附近。环境的状态通常由四个连续变量描述小车位置 (x)范围一般在[-2.4, 2.4]。小车速度 (v)。摆杆角度 (θ)从垂直方向计算单位通常是弧度。摆杆角速度 (ω)。动作空间是离散的{向左推 向右推}。每一步智能体根据当前状态选择一个动作环境会基于物理动力学方程通常用欧拉法或龙格-库塔法数值积分求解计算出下一时刻的状态并给出一个奖励。奖励函数的设计是引导学习的关键一个常见的设计是每一步只要摆杆没有倒下角度在阈值内就给予一个1的奖励如果摆杆倒下或小车超出轨道范围则回合终止并可能给予一个负奖励如-100。这个设计的巧妙之处在于它让智能体的目标变得极其明确且可量化最大化累积奖励也就是尽可能长时间地保持摆杆直立。注意奖励函数是强化学习的“指挥棒”。有些初学者会尝试设计更复杂的奖励比如加入对小车站位的惩罚。在初期我强烈建议使用上述最简单的稀疏奖励存活即1这能让学习目标最清晰避免智能体陷入局部最优或出现奖励“黑客”行为例如通过快速左右抖动来骗取存活步数奖励但这在实际控制中是不稳定的。2.2 算法选型经典Q-learning的适用性与挑战为什么选择Q-learning来实现这个任务而不是更先进的DQN、PPO这背后有几个关键的考量教学与理解优先Q-learning是时序差分TD学习最直观的代表。其核心更新公式Q(s,a) ← Q(s,a) α [r γ * max_a’ Q(s’,a’) - Q(s,a)]清晰地体现了“利用当前奖励和下一状态价值估计来更新当前价值估计”的思想。没有神经网络的“黑盒”所有学习成果都存储在一张Q表里便于调试和观察。状态空间可控倒立摆的原始状态是4维连续的直接使用Q表其索引必须是离散的是不可能的。这就需要我们引入状态离散化State Discretization。我们将每个连续状态变量划分成若干个区间bin例如把角度[-12°, 12°]离散化成10个区间。这样一个具体的连续状态(x, v, θ, ω)就可以被映射到一个离散的索引(bin_x, bin_v, bin_θ, bin_ω)从而作为Q表的行索引。如果每个维度离散化为10档那么Q表的总状态数就是10^4 10000个这对于现代计算机内存来说是微不足道的。这种“连续环境离散处理”的方式是理解如何将强化学习应用于现实世界问题的关键一步。动作空间简单只有两个离散动作完美匹配Q-learning处理离散动作空间的特点。然而挑战也随之而来。最大的挑战就是**“维度灾难”的温和体现**。虽然10000个状态不算多但如果我们为了提高控制精度而增加离散化粒度比如每个维度20档状态数就会激增至16万个。更棘手的是由于离散化是粗暴的两个非常接近的连续状态可能被分到同一个离散区间导致信息丢失而两个稍有差别的状态可能被分到不同区间使得学到的策略不连续、不稳定。此外Q-learning是一种**离策略off-policy**算法它学习的是最优动作价值函数但探索时却遵循ε-greedy策略。如何平衡探索尝试新动作与利用执行当前认为最好的动作是调参的重点。3. 实战构建从零搭建Q-learning智能体3.1 环境搭建与状态离散化我们通常不推荐从零开始编写物理仿真环境那会分散我们聚焦强化学习算法的精力。在Python中Gymnasium原OpenAI Gym的维护分支是首选。它提供了CartPole-v1这个经典环境其目标就是控制倒立摆。pip install gymnasiumCartPole-v1的终止条件是摆杆角度超过±12度或小车位置超过±2.4个单位或回合步数达到500步已算成功。奖励是每存活一步1。首先我们需要解决核心问题将Gymnasium返回的连续状态一个包含4个float的NumPy数组离散化。import gymnasium as gym import numpy as np class Discretizer: def __init__(self, env, bins_per_dim): self.env env self.bins bins_per_dim # 例如 [10, 10, 10, 10] # 获取状态的边界值对于CartPole我们可以根据环境特性或经验设定 # 注意官方环境可能不直接提供我们需要根据环境规范或通过采样估算 self.obs_high np.array([2.4, 3.0, 0.2095, 3.0]) # 位置速度角度约12度角速度的估计上限 self.obs_low -self.obs_high self.bin_widths (self.obs_high - self.obs_low) / np.array(self.bins) def discretize(self, state): 将连续状态映射为离散索引 scaled_state (state - self.obs_low) / self.bin_widths # 确保索引在[0, bin-1]范围内 discrete_state np.clip(scaled_state.astype(int), 0, np.array(self.bins)-1) # 将多维索引转换为一个一维的整数作为Q表的行键 # 使用np.ravel_multi_index是高效的做法 index 0 for i in range(len(self.bins)): index index * self.bins[i] discrete_state[i] return int(index) # 初始化环境和离散化器 env gym.make(CartPole-v1) discretizer Discretizer(env, bins_per_dim[10, 10, 10, 10])这里有个关键细节obs_high和obs_low的设定。CartPole-v1的实际边界可能略大于常用值。一个更稳健的做法是在训练初期进行随机探索记录遇到的状态最大值和最小值动态调整边界。或者直接采用一个足够大的、能覆盖绝大多数情况的边界值。3.2 Q表设计与智能体实现Q表本质上是一个二维数组行数是所有离散状态的数量列数是动作的数量2个。我们使用字典来动态存储也是一种方法但对于这种中等规模的状态空间用NumPy数组更高效。class QLearningAgent: def __init__(self, state_size, action_size, learning_rate0.1, discount_factor0.95, exploration_rate1.0, exploration_decay0.995, min_exploration0.01): self.state_size state_size # 离散状态总数例如 10*10*10*10 10000 self.action_size action_size # 2 self.lr learning_rate # α学习率 self.gamma discount_factor # γ折扣因子 self.epsilon exploration_rate # ε探索率 self.epsilon_decay exploration_decay self.epsilon_min min_exploration # 初始化Q表可以初始化为0或者小的随机值以鼓励早期探索 self.q_table np.zeros((state_size, action_size)) # 或者self.q_table np.random.uniform(low-0.01, high0.01, size(state_size, action_size)) def choose_action(self, state_index): 基于ε-greedy策略选择动作 if np.random.random() self.epsilon: # 探索随机选择动作 return np.random.randint(self.action_size) else: # 利用选择当前状态下Q值最大的动作 return np.argmax(self.q_table[state_index]) def learn(self, state_index, action, reward, next_state_index, done): 执行Q-learning更新 current_q self.q_table[state_index, action] if done: # 如果回合结束则没有下一个状态的价值 target_q reward else: # 计算TD目标r γ * max_a Q(s, a) max_next_q np.max(self.q_table[next_state_index]) target_q reward self.gamma * max_next_q # Q值更新Q(s,a) ← Q(s,a) α * [target - Q(s,a)] self.q_table[state_index, action] self.lr * (target_q - current_q) # 衰减探索率但不低于最小值 if done: self.epsilon max(self.epsilon_min, self.epsilon * self.epsilon_decay)参数选择的经验谈学习率 (α)通常设置在0.1到0.5之间。太高会导致学习不稳定Q值震荡太低则学习缓慢。可以从0.1开始。折扣因子 (γ)通常接近1如0.95或0.99。它决定了智能体对未来奖励的重视程度。对于倒立摆这种“延迟奖励”不明显的任务每一步奖励都一样0.95是个不错的起点。探索率 (ε)及其衰减初始探索率设为1.0完全随机探索然后每个回合结束后乘以一个衰减系数如0.995直到一个最小值如0.01。这保证了早期充分探索后期偏向利用学到的知识。衰减速度是关键太快容易陷入局部最优太慢则学习效率低下。3.3 训练循环与性能评估训练过程就是智能体与环境不断交互的循环。我们通常通过多个回合episode来训练并观察平均回报累积奖励是否随着训练增长。def train_agent(episodes5000): env gym.make(CartPole-v1) discretizer Discretizer(env, bins_per_dim[10, 10, 10, 10]) state_size np.prod(discretizer.bins) # 10000 agent QLearningAgent(state_sizestate_size, action_sizeenv.action_space.n) rewards_history [] for episode in range(episodes): state, _ env.reset() state_index discretizer.discretize(state) total_reward 0 done False while not done: # 1. 选择动作 action agent.choose_action(state_index) # 2. 执行动作 next_state, reward, terminated, truncated, _ env.step(action) done terminated or truncated # 3. 离散化新状态 next_state_index discretizer.discretize(next_state) # 4. 学习 agent.learn(state_index, action, reward, next_state_index, done) # 5. 更新状态和累积奖励 state_index next_state_index total_reward reward rewards_history.append(total_reward) # 每100回合打印一次平均成绩 if (episode 1) % 100 0: avg_reward np.mean(rewards_history[-100:]) print(fEpisode {episode1}, Avg Reward (last 100): {avg_reward:.2f}, Epsilon: {agent.epsilon:.3f}) # 如果最近100回合平均奖励接近最大值如495可以提前停止或保存模型 if avg_reward 495: print(Solved! Early stopping.) break env.close() return agent, rewards_history评估与可视化训练结束后我们可以运行一个测试回合并渲染环境来看智能体的实际表现。同时绘制训练期间回报的变化曲线能直观看到学习进展。import matplotlib.pyplot as plt def test_agent(agent, discretizer, renderTrue): env gym.make(CartPole-v1, render_modehuman if render else None) state, _ env.reset() state_index discretizer.discretize(state) total_reward 0 done False while not done: action np.argmax(agent.q_table[state_index]) # 测试时完全利用不探索 next_state, reward, terminated, truncated, _ env.step(action) done terminated or truncated state_index discretizer.discretize(next_state) total_reward reward env.close() print(fTest total reward: {total_reward}) return total_reward # 训练并测试 agent, history train_agent(episodes2000) test_agent(agent, discretizer, renderTrue) # 绘制学习曲线 plt.plot(history) plt.xlabel(Episode) plt.ylabel(Total Reward) plt.title(Q-learning on CartPole-v1) plt.show()4. 调优策略与进阶技巧4.1 核心超参数调优实战调参是让Q-learning在倒立摆上成功的关键。以下是一个基于经验的调优指南超参数推荐初始值影响与调整方向调优心得学习率 (α)0.1控制每次更新的步长。回报曲线震荡大 - 降低α学习速度太慢 - 适当提高α但不超过0.5。我习惯从0.1开始。如果发现智能体偶尔能得高分但成绩不稳定曲线锯齿状往往是α太大可尝试降至0.05或0.02。折扣因子 (γ)0.95决定未来奖励的重要性。任务越看重长期规划γ应越接近1。对于倒立摆0.95-0.99都行。如果智能体看似学会了但很快失败短视尝试提高γ到0.99。它对稳定性的影响比α更间接。探索率初始值 (ε)1.0初始完全随机探索确保覆盖状态空间。保持1.0即可重点在衰减策略。探索衰减率 (ε_decay)0.995控制探索减弱的速度。每回合乘以该值。值越大如0.999衰减越慢。这是最重要的参数之一。如果学习曲线在上升后突然崩溃可能是ε衰减太快智能体过早停止探索策略未固化。可尝试0.997或0.998。最小探索率 (ε_min)0.01防止完全停止探索避免策略僵化。保留一个很小的探索率如0.01甚至0.001有助于应对环境微小变化。状态离散化粒度[10,10,10,10]粒度越细控制越精确但状态空间爆炸学习更慢且需要更多数据。优先调整这个。如果智能体成绩卡在200-300上不去尝试将角度和角速度的粒度增加到15或20。这是提升性能最有效的手段但计算量会增加。一个实用的调参流程是先固定一组中等参数如α0.1 γ0.95 ε_decay0.995然后优先调整离散化粒度。当粒度调整到性能瓶颈后再微调α和ε_decay。可以使用网格搜索或随机搜索进行自动化调参但对于教学项目手动观察学习曲线调整更有助于理解。4.2 状态离散化的高级策略与奖励塑形基础的均匀离散化可能不是最优的。例如摆杆在接近竖直位置角度接近0时我们需要更精细的控制而在角度很大时控制可以粗糙一些。因此非均匀离散化可能更有效在角度0附近设置更密集的区间在边缘设置更稀疏的区间。# 示例对角度进行非均匀离散化使用正切函数拉伸中心区域 def non_uniform_discretize_angle(theta, num_bins10): # 将角度映射到[-1, 1]区间然后用非线性函数变换 normalized theta / 0.2095 # 假设阈值是12度0.2095弧度 stretched np.arctan(3 * normalized) / (np.pi/2) # 使用arctan进行非线性拉伸 # 将拉伸后的值映射到bin索引 bin_index int((stretched 1) / 2 * (num_bins - 1)) return np.clip(bin_index, 0, num_bins-1)奖励塑形Reward Shaping是另一个强大的技巧。稀疏奖励不倒就1虽然简单但学习速度可能较慢。我们可以提供一些中间奖励来引导智能体。例如额外奖励摆杆接近竖直、小车靠近中心reward 1.0 (1 - abs(theta/0.2095)) (1 - abs(x/2.4))。但塑形奖励是一把双刃剑设计不当会导致智能体学到奇怪的行为比如为了获得靠近中心的奖励而忽略平衡。初学者应在掌握稀疏奖励后再尝试。4.3 从Q-learning到深度Q网络DQN的平滑过渡当你想追求更高性能、更稳定的控制或者处理更复杂的环境时Q-learning的离散化瓶颈就显现了。这时自然过渡到**深度Q网络DQN**是下一步。DQN用神经网络来近似Q函数可以直接处理连续的原始状态4个浮点数无需手动离散化。实现DQN解决倒立摆你需要用一个简单的全连接网络如输入层4隐藏层128/256输出层2代替Q表。引入经验回放缓冲区Replay Buffer来打破数据间的相关性。使用目标网络Target Network来稳定训练。损失函数使用均方误差MSE计算TD误差。虽然代码复杂度提升但核心思想与Q-learning一脉相承。完成本项目后你会对状态、动作、奖励、Q值等概念有扎实理解再去看DQN的论文和代码会发现很多地方是相通的学习曲线会平缓很多。5. 常见问题排查与调试心得在实际编码和训练中你几乎一定会遇到下面这些问题。这里是我踩过坑后总结的排查清单问题现象可能原因排查与解决思路回报始终很低501. 探索率ε衰减太快或初始太低。2. 学习率α太高导致Q值发散或太低导致学不动。3. 状态离散化粒度太粗智能体无法感知细微状态差别。4. 奖励函数设计有误例如回合终止时给了大的正奖励。1. 检查ε衰减曲线确保在训练中期如500回合仍有足够的探索0.1。2. 将α调低一个数量级如从0.1到0.01试试。3. 增加角度和角速度的离散化bins数量。4. 确认回合终止的奖励是负值或0。回报曲线剧烈震荡1. 学习率α过高。2. 没有使用目标网络在DQN中常见。3. 经验回放缓冲区大小不足或采样batch size太小在DQN中。1. 显著降低α值。2. 对于Q-learning此问题不典型若出现可检查代码是否有bug导致Q值更新错误。3. 确保Q表初始化值不要太大可以初始化为小随机数或零。前期学习正常后期突然崩溃1. 探索率ε衰减到最小值后策略过于贪婪无法适应环境或自身策略变化导致的分布偏移。2. 离散化粒度下某些关键状态样本不足导致Q值估计不准。1. 提高ε_min如从0.01到0.05或使用随时间表衰减的ε。2. 尝试更细粒度的离散化或改用函数逼近如线性函数、神经网络。测试时表现远差于训练末期1. 过拟合智能体记住了训练时的特定状态序列泛化能力差。2. 探索率在测试时未关闭代码bug。1. 在训练中加入更多随机性如环境重置的初始状态随机。对于Q-learning过拟合风险相对较低。2.务必确保测试时agent.choose_action只执行贪婪策略np.argmax不进行随机探索。智能体学会快速抖动以维持平衡奖励函数设计有缺陷。例如只奖励存活不惩罚剧烈运动。在奖励函数中加入对动作幅度或能量消耗的微小惩罚需谨慎可能引入新的学习难度。对于CartPole-v1官方环境设计已避免此问题。几个宝贵的调试心得可视化是王道除了回报曲线可以定期渲染一两个回合的视频直观看智能体是怎么失败的。是反应迟钝还是过度反应打印关键变量在训练初期打印几个随机状态的Q值看它们是否在合理更新。打印(state, action, reward, next_state)元组确认数据流正常。从小开始验证可以先在极简环境如NChain问题或把倒立摆的最大步数调低如100步来快速验证算法逻辑是否正确。随机种子的力量固定np.random.seed()和env.seed()确保实验可复现这对于排查问题至关重要。完成这个项目后你收获的不仅仅是一个会玩倒立摆的程序。你真正理解了强化学习智能体如何通过与环境交互来自主学习一套控制策略。这张Q表就是它从无数次失败中凝练出的“经验手册”。当你看到摆杆从东倒西歪到稳稳直立那种成就感是看十篇论文也无法比拟的。更重要的是这套从环境交互、状态处理、算法更新到调参优化的完整流程为你后续进军更复杂的深度强化学习领域打下了最坚实的根基。
1. 项目概述从理论到实践的强化学习敲门砖倒立摆这个在控制理论课上被反复提及的经典问题对于很多刚接触强化学习的同学来说就像一座横在面前的山。课本上的Q-learning公式看起来简洁明了但真到了要自己动手写代码让一个智能体学会控制摆杆不倒时各种问题就冒出来了状态怎么定义奖励函数怎么设计学习率调多少合适我当年也是这么过来的对着一个左右乱晃、死活立不起来的摆杆调试了好几个通宵。这个“强化学习实战——Q learning 实现倒立摆”项目恰恰是打通理论与实践的绝佳桥梁。它不涉及复杂的神经网络只用最基础的Q-learning算法却能让你亲手构建一个完整的强化学习智能体直观地看到“试错-学习-优化”这一核心过程是如何在代码中一步步实现的。对于初学者这个项目的价值在于它的完备性和可观测性。完备性指的是它麻雀虽小五脏俱全涵盖了强化学习五大核心要素智能体Agent、环境Environment、状态State、动作Action和奖励Reward。可观测性则是因为倒立摆的状态空间相对较小通常是位置、速度、角度、角速度四个连续值我们可以通过离散化将其转化为Q表能处理的离散状态从而让Q表的更新过程变得肉眼可见。你能清晰地看到智能体最初如何像无头苍蝇一样随机尝试然后逐渐在那些能让摆杆维持更久的状态-动作对上积累更高的Q值最终形成一套稳定的控制策略。这个过程比任何教科书上的描述都要生动和深刻。2. 核心原理与方案设计为什么是Q-learning和倒立摆2.1 环境建模倒立摆的动力学与控制目标倒立摆问题通常被建模为一个经典的连续控制任务。我们以一个最常见的一阶倒立摆车杆系统为例一个小车可以在一条有限长的轨道上左右移动车上通过一个无摩擦的铰链连接着一根摆杆。智能体即我们的控制器的任务是通过向左或向右给小车施加一个固定大小的力来防止摆杆倒下即与垂直方向的夹角超过一定阈值比如±12度同时还要尽量让小车保持在轨道中心附近。环境的状态通常由四个连续变量描述小车位置 (x)范围一般在[-2.4, 2.4]。小车速度 (v)。摆杆角度 (θ)从垂直方向计算单位通常是弧度。摆杆角速度 (ω)。动作空间是离散的{向左推 向右推}。每一步智能体根据当前状态选择一个动作环境会基于物理动力学方程通常用欧拉法或龙格-库塔法数值积分求解计算出下一时刻的状态并给出一个奖励。奖励函数的设计是引导学习的关键一个常见的设计是每一步只要摆杆没有倒下角度在阈值内就给予一个1的奖励如果摆杆倒下或小车超出轨道范围则回合终止并可能给予一个负奖励如-100。这个设计的巧妙之处在于它让智能体的目标变得极其明确且可量化最大化累积奖励也就是尽可能长时间地保持摆杆直立。注意奖励函数是强化学习的“指挥棒”。有些初学者会尝试设计更复杂的奖励比如加入对小车站位的惩罚。在初期我强烈建议使用上述最简单的稀疏奖励存活即1这能让学习目标最清晰避免智能体陷入局部最优或出现奖励“黑客”行为例如通过快速左右抖动来骗取存活步数奖励但这在实际控制中是不稳定的。2.2 算法选型经典Q-learning的适用性与挑战为什么选择Q-learning来实现这个任务而不是更先进的DQN、PPO这背后有几个关键的考量教学与理解优先Q-learning是时序差分TD学习最直观的代表。其核心更新公式Q(s,a) ← Q(s,a) α [r γ * max_a’ Q(s’,a’) - Q(s,a)]清晰地体现了“利用当前奖励和下一状态价值估计来更新当前价值估计”的思想。没有神经网络的“黑盒”所有学习成果都存储在一张Q表里便于调试和观察。状态空间可控倒立摆的原始状态是4维连续的直接使用Q表其索引必须是离散的是不可能的。这就需要我们引入状态离散化State Discretization。我们将每个连续状态变量划分成若干个区间bin例如把角度[-12°, 12°]离散化成10个区间。这样一个具体的连续状态(x, v, θ, ω)就可以被映射到一个离散的索引(bin_x, bin_v, bin_θ, bin_ω)从而作为Q表的行索引。如果每个维度离散化为10档那么Q表的总状态数就是10^4 10000个这对于现代计算机内存来说是微不足道的。这种“连续环境离散处理”的方式是理解如何将强化学习应用于现实世界问题的关键一步。动作空间简单只有两个离散动作完美匹配Q-learning处理离散动作空间的特点。然而挑战也随之而来。最大的挑战就是**“维度灾难”的温和体现**。虽然10000个状态不算多但如果我们为了提高控制精度而增加离散化粒度比如每个维度20档状态数就会激增至16万个。更棘手的是由于离散化是粗暴的两个非常接近的连续状态可能被分到同一个离散区间导致信息丢失而两个稍有差别的状态可能被分到不同区间使得学到的策略不连续、不稳定。此外Q-learning是一种**离策略off-policy**算法它学习的是最优动作价值函数但探索时却遵循ε-greedy策略。如何平衡探索尝试新动作与利用执行当前认为最好的动作是调参的重点。3. 实战构建从零搭建Q-learning智能体3.1 环境搭建与状态离散化我们通常不推荐从零开始编写物理仿真环境那会分散我们聚焦强化学习算法的精力。在Python中Gymnasium原OpenAI Gym的维护分支是首选。它提供了CartPole-v1这个经典环境其目标就是控制倒立摆。pip install gymnasiumCartPole-v1的终止条件是摆杆角度超过±12度或小车位置超过±2.4个单位或回合步数达到500步已算成功。奖励是每存活一步1。首先我们需要解决核心问题将Gymnasium返回的连续状态一个包含4个float的NumPy数组离散化。import gymnasium as gym import numpy as np class Discretizer: def __init__(self, env, bins_per_dim): self.env env self.bins bins_per_dim # 例如 [10, 10, 10, 10] # 获取状态的边界值对于CartPole我们可以根据环境特性或经验设定 # 注意官方环境可能不直接提供我们需要根据环境规范或通过采样估算 self.obs_high np.array([2.4, 3.0, 0.2095, 3.0]) # 位置速度角度约12度角速度的估计上限 self.obs_low -self.obs_high self.bin_widths (self.obs_high - self.obs_low) / np.array(self.bins) def discretize(self, state): 将连续状态映射为离散索引 scaled_state (state - self.obs_low) / self.bin_widths # 确保索引在[0, bin-1]范围内 discrete_state np.clip(scaled_state.astype(int), 0, np.array(self.bins)-1) # 将多维索引转换为一个一维的整数作为Q表的行键 # 使用np.ravel_multi_index是高效的做法 index 0 for i in range(len(self.bins)): index index * self.bins[i] discrete_state[i] return int(index) # 初始化环境和离散化器 env gym.make(CartPole-v1) discretizer Discretizer(env, bins_per_dim[10, 10, 10, 10])这里有个关键细节obs_high和obs_low的设定。CartPole-v1的实际边界可能略大于常用值。一个更稳健的做法是在训练初期进行随机探索记录遇到的状态最大值和最小值动态调整边界。或者直接采用一个足够大的、能覆盖绝大多数情况的边界值。3.2 Q表设计与智能体实现Q表本质上是一个二维数组行数是所有离散状态的数量列数是动作的数量2个。我们使用字典来动态存储也是一种方法但对于这种中等规模的状态空间用NumPy数组更高效。class QLearningAgent: def __init__(self, state_size, action_size, learning_rate0.1, discount_factor0.95, exploration_rate1.0, exploration_decay0.995, min_exploration0.01): self.state_size state_size # 离散状态总数例如 10*10*10*10 10000 self.action_size action_size # 2 self.lr learning_rate # α学习率 self.gamma discount_factor # γ折扣因子 self.epsilon exploration_rate # ε探索率 self.epsilon_decay exploration_decay self.epsilon_min min_exploration # 初始化Q表可以初始化为0或者小的随机值以鼓励早期探索 self.q_table np.zeros((state_size, action_size)) # 或者self.q_table np.random.uniform(low-0.01, high0.01, size(state_size, action_size)) def choose_action(self, state_index): 基于ε-greedy策略选择动作 if np.random.random() self.epsilon: # 探索随机选择动作 return np.random.randint(self.action_size) else: # 利用选择当前状态下Q值最大的动作 return np.argmax(self.q_table[state_index]) def learn(self, state_index, action, reward, next_state_index, done): 执行Q-learning更新 current_q self.q_table[state_index, action] if done: # 如果回合结束则没有下一个状态的价值 target_q reward else: # 计算TD目标r γ * max_a Q(s, a) max_next_q np.max(self.q_table[next_state_index]) target_q reward self.gamma * max_next_q # Q值更新Q(s,a) ← Q(s,a) α * [target - Q(s,a)] self.q_table[state_index, action] self.lr * (target_q - current_q) # 衰减探索率但不低于最小值 if done: self.epsilon max(self.epsilon_min, self.epsilon * self.epsilon_decay)参数选择的经验谈学习率 (α)通常设置在0.1到0.5之间。太高会导致学习不稳定Q值震荡太低则学习缓慢。可以从0.1开始。折扣因子 (γ)通常接近1如0.95或0.99。它决定了智能体对未来奖励的重视程度。对于倒立摆这种“延迟奖励”不明显的任务每一步奖励都一样0.95是个不错的起点。探索率 (ε)及其衰减初始探索率设为1.0完全随机探索然后每个回合结束后乘以一个衰减系数如0.995直到一个最小值如0.01。这保证了早期充分探索后期偏向利用学到的知识。衰减速度是关键太快容易陷入局部最优太慢则学习效率低下。3.3 训练循环与性能评估训练过程就是智能体与环境不断交互的循环。我们通常通过多个回合episode来训练并观察平均回报累积奖励是否随着训练增长。def train_agent(episodes5000): env gym.make(CartPole-v1) discretizer Discretizer(env, bins_per_dim[10, 10, 10, 10]) state_size np.prod(discretizer.bins) # 10000 agent QLearningAgent(state_sizestate_size, action_sizeenv.action_space.n) rewards_history [] for episode in range(episodes): state, _ env.reset() state_index discretizer.discretize(state) total_reward 0 done False while not done: # 1. 选择动作 action agent.choose_action(state_index) # 2. 执行动作 next_state, reward, terminated, truncated, _ env.step(action) done terminated or truncated # 3. 离散化新状态 next_state_index discretizer.discretize(next_state) # 4. 学习 agent.learn(state_index, action, reward, next_state_index, done) # 5. 更新状态和累积奖励 state_index next_state_index total_reward reward rewards_history.append(total_reward) # 每100回合打印一次平均成绩 if (episode 1) % 100 0: avg_reward np.mean(rewards_history[-100:]) print(fEpisode {episode1}, Avg Reward (last 100): {avg_reward:.2f}, Epsilon: {agent.epsilon:.3f}) # 如果最近100回合平均奖励接近最大值如495可以提前停止或保存模型 if avg_reward 495: print(Solved! Early stopping.) break env.close() return agent, rewards_history评估与可视化训练结束后我们可以运行一个测试回合并渲染环境来看智能体的实际表现。同时绘制训练期间回报的变化曲线能直观看到学习进展。import matplotlib.pyplot as plt def test_agent(agent, discretizer, renderTrue): env gym.make(CartPole-v1, render_modehuman if render else None) state, _ env.reset() state_index discretizer.discretize(state) total_reward 0 done False while not done: action np.argmax(agent.q_table[state_index]) # 测试时完全利用不探索 next_state, reward, terminated, truncated, _ env.step(action) done terminated or truncated state_index discretizer.discretize(next_state) total_reward reward env.close() print(fTest total reward: {total_reward}) return total_reward # 训练并测试 agent, history train_agent(episodes2000) test_agent(agent, discretizer, renderTrue) # 绘制学习曲线 plt.plot(history) plt.xlabel(Episode) plt.ylabel(Total Reward) plt.title(Q-learning on CartPole-v1) plt.show()4. 调优策略与进阶技巧4.1 核心超参数调优实战调参是让Q-learning在倒立摆上成功的关键。以下是一个基于经验的调优指南超参数推荐初始值影响与调整方向调优心得学习率 (α)0.1控制每次更新的步长。回报曲线震荡大 - 降低α学习速度太慢 - 适当提高α但不超过0.5。我习惯从0.1开始。如果发现智能体偶尔能得高分但成绩不稳定曲线锯齿状往往是α太大可尝试降至0.05或0.02。折扣因子 (γ)0.95决定未来奖励的重要性。任务越看重长期规划γ应越接近1。对于倒立摆0.95-0.99都行。如果智能体看似学会了但很快失败短视尝试提高γ到0.99。它对稳定性的影响比α更间接。探索率初始值 (ε)1.0初始完全随机探索确保覆盖状态空间。保持1.0即可重点在衰减策略。探索衰减率 (ε_decay)0.995控制探索减弱的速度。每回合乘以该值。值越大如0.999衰减越慢。这是最重要的参数之一。如果学习曲线在上升后突然崩溃可能是ε衰减太快智能体过早停止探索策略未固化。可尝试0.997或0.998。最小探索率 (ε_min)0.01防止完全停止探索避免策略僵化。保留一个很小的探索率如0.01甚至0.001有助于应对环境微小变化。状态离散化粒度[10,10,10,10]粒度越细控制越精确但状态空间爆炸学习更慢且需要更多数据。优先调整这个。如果智能体成绩卡在200-300上不去尝试将角度和角速度的粒度增加到15或20。这是提升性能最有效的手段但计算量会增加。一个实用的调参流程是先固定一组中等参数如α0.1 γ0.95 ε_decay0.995然后优先调整离散化粒度。当粒度调整到性能瓶颈后再微调α和ε_decay。可以使用网格搜索或随机搜索进行自动化调参但对于教学项目手动观察学习曲线调整更有助于理解。4.2 状态离散化的高级策略与奖励塑形基础的均匀离散化可能不是最优的。例如摆杆在接近竖直位置角度接近0时我们需要更精细的控制而在角度很大时控制可以粗糙一些。因此非均匀离散化可能更有效在角度0附近设置更密集的区间在边缘设置更稀疏的区间。# 示例对角度进行非均匀离散化使用正切函数拉伸中心区域 def non_uniform_discretize_angle(theta, num_bins10): # 将角度映射到[-1, 1]区间然后用非线性函数变换 normalized theta / 0.2095 # 假设阈值是12度0.2095弧度 stretched np.arctan(3 * normalized) / (np.pi/2) # 使用arctan进行非线性拉伸 # 将拉伸后的值映射到bin索引 bin_index int((stretched 1) / 2 * (num_bins - 1)) return np.clip(bin_index, 0, num_bins-1)奖励塑形Reward Shaping是另一个强大的技巧。稀疏奖励不倒就1虽然简单但学习速度可能较慢。我们可以提供一些中间奖励来引导智能体。例如额外奖励摆杆接近竖直、小车靠近中心reward 1.0 (1 - abs(theta/0.2095)) (1 - abs(x/2.4))。但塑形奖励是一把双刃剑设计不当会导致智能体学到奇怪的行为比如为了获得靠近中心的奖励而忽略平衡。初学者应在掌握稀疏奖励后再尝试。4.3 从Q-learning到深度Q网络DQN的平滑过渡当你想追求更高性能、更稳定的控制或者处理更复杂的环境时Q-learning的离散化瓶颈就显现了。这时自然过渡到**深度Q网络DQN**是下一步。DQN用神经网络来近似Q函数可以直接处理连续的原始状态4个浮点数无需手动离散化。实现DQN解决倒立摆你需要用一个简单的全连接网络如输入层4隐藏层128/256输出层2代替Q表。引入经验回放缓冲区Replay Buffer来打破数据间的相关性。使用目标网络Target Network来稳定训练。损失函数使用均方误差MSE计算TD误差。虽然代码复杂度提升但核心思想与Q-learning一脉相承。完成本项目后你会对状态、动作、奖励、Q值等概念有扎实理解再去看DQN的论文和代码会发现很多地方是相通的学习曲线会平缓很多。5. 常见问题排查与调试心得在实际编码和训练中你几乎一定会遇到下面这些问题。这里是我踩过坑后总结的排查清单问题现象可能原因排查与解决思路回报始终很低501. 探索率ε衰减太快或初始太低。2. 学习率α太高导致Q值发散或太低导致学不动。3. 状态离散化粒度太粗智能体无法感知细微状态差别。4. 奖励函数设计有误例如回合终止时给了大的正奖励。1. 检查ε衰减曲线确保在训练中期如500回合仍有足够的探索0.1。2. 将α调低一个数量级如从0.1到0.01试试。3. 增加角度和角速度的离散化bins数量。4. 确认回合终止的奖励是负值或0。回报曲线剧烈震荡1. 学习率α过高。2. 没有使用目标网络在DQN中常见。3. 经验回放缓冲区大小不足或采样batch size太小在DQN中。1. 显著降低α值。2. 对于Q-learning此问题不典型若出现可检查代码是否有bug导致Q值更新错误。3. 确保Q表初始化值不要太大可以初始化为小随机数或零。前期学习正常后期突然崩溃1. 探索率ε衰减到最小值后策略过于贪婪无法适应环境或自身策略变化导致的分布偏移。2. 离散化粒度下某些关键状态样本不足导致Q值估计不准。1. 提高ε_min如从0.01到0.05或使用随时间表衰减的ε。2. 尝试更细粒度的离散化或改用函数逼近如线性函数、神经网络。测试时表现远差于训练末期1. 过拟合智能体记住了训练时的特定状态序列泛化能力差。2. 探索率在测试时未关闭代码bug。1. 在训练中加入更多随机性如环境重置的初始状态随机。对于Q-learning过拟合风险相对较低。2.务必确保测试时agent.choose_action只执行贪婪策略np.argmax不进行随机探索。智能体学会快速抖动以维持平衡奖励函数设计有缺陷。例如只奖励存活不惩罚剧烈运动。在奖励函数中加入对动作幅度或能量消耗的微小惩罚需谨慎可能引入新的学习难度。对于CartPole-v1官方环境设计已避免此问题。几个宝贵的调试心得可视化是王道除了回报曲线可以定期渲染一两个回合的视频直观看智能体是怎么失败的。是反应迟钝还是过度反应打印关键变量在训练初期打印几个随机状态的Q值看它们是否在合理更新。打印(state, action, reward, next_state)元组确认数据流正常。从小开始验证可以先在极简环境如NChain问题或把倒立摆的最大步数调低如100步来快速验证算法逻辑是否正确。随机种子的力量固定np.random.seed()和env.seed()确保实验可复现这对于排查问题至关重要。完成这个项目后你收获的不仅仅是一个会玩倒立摆的程序。你真正理解了强化学习智能体如何通过与环境交互来自主学习一套控制策略。这张Q表就是它从无数次失败中凝练出的“经验手册”。当你看到摆杆从东倒西歪到稳稳直立那种成就感是看十篇论文也无法比拟的。更重要的是这套从环境交互、状态处理、算法更新到调参优化的完整流程为你后续进军更复杂的深度强化学习领域打下了最坚实的根基。
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
