当前位置：首页 > 卖家故事 > 从零开始学MATLAB强化学习工具箱使用(五)：Simulink+强化学习设计器

从零开始学MATLAB强化学习工具箱使用(五)：Simulink+强化学习设计器

时间：2024-04-20 13:20:49 来源：网络cs 作者：胡椒栏目：卖家故事阅读：

标签：强化学习使用设计工具

阅读本书更多章节>>>>

建立Simulink环境，导入强化学习设计器里，添加代理，进行训练

1. 建立Simulink环境

首先准备好你的Simulink模型，这里还用上节用到的水箱模型。
在这里插入图片描述

RL Agent模块报错是由于还没有给其绑定代理，后续会在强化学习设计器里配置，暂时不用理会。

下一步，在MATLAB命令行窗口或脚本里为环境指定状态空间和动作空间以及复位函数，然后创建环境。

% 观测空间形状及每个变量取值上下限obsInfo = rlNumericSpec([3 1],...    LowerLimit=[-inf -inf 0  ]',...    UpperLimit=[ inf  inf inf]');% Name and description are optional and not used by the softwareobsInfo.Name = "observations";obsInfo.Description = "integrated error, error, and measured height";% Action infoactInfo = rlNumericSpec([1 1]);actInfo.Name = "flow";% 创建环境对象env = rlSimulinkEnv("rlwatertank","rlwatertank/RL Agent",...    obsInfo,actInfo);% 指定环境复位函数，这里是自定义函数env.ResetFcn = @(in)localResetFcn(in);% 指定仿真时间T f TfTf和代理采样时间T s TsTs，单位是s，这里只是该Simulink模型用到的参数：Ts = 1.0;Tf = 200;

新建函数文件localResetFcn.m来提供该复位函数：

function in = localResetFcn(in)% Randomize reference signalblk = sprintf("rlwatertank/Desired \nWater Level");h = 3*randn + 10;while h <= 0 || h >= 20    h = 3*randn + 10;endin = setBlockParameter(in,blk,Value=num2str(h));% Randomize initial heighth = 3*randn + 10;while h <= 0 || h >= 20    h = 3*randn + 10;endblk = "rlwatertank/Water-Tank System/H";in = setBlockParameter(in,blk,InitialCondition=num2str(h));end

运行上述代码，使环境对象env出现在工作区。
在这里插入图片描述

2. 将环境导入RL设计器

命令行运行如下语句打开RL设计器，选择导入环境env。

reinforcementLearningDesigner

在这里插入图片描述
导入后如图所示，环境面板增加了环境env。

3. 配置代理

为导入的环境配置代理。在Reinforcement Learning标签页点击New，在弹出的窗口里，修改隐藏层神经元数量为50，默认的环境即为导入的环境，选择DDPG算法，点击OK。
在这里插入图片描述
建立好的代理如下图，按需修改参数：

可以查看Actor和Critic的结构，下图是Actor的：
在这里插入图片描述

4. 训练并导出训练结果

转到Train选项卡，修改训练参数，然后开始训练。

在这里插入图片描述
训练完成后如图所示，点击Accept保存训练结果。

导出训练结果agent1_Trained。

成功导出到MATLAB工作区。

5. 在Simulink里仿真

在Simulink模块里双击RL Agent模块，为模块绑定训练好的代理。
在这里插入图片描述
点击Simulink运行仿真，仿真结果如图。

当然，也可以通过MATLAB命令行运行仿真。

rng(1) % 固定随机数种子方便复现结果simOpts = rlSimulationOptions(MaxSteps=ceil(Tf/Ts),StopOnError="on");experiences = sim(env,agent1_Trained,simOpts);

当然，不导出训练结果，直接在RL设计器里运行也是可以的。如下：
先配置仿真参数：
在这里插入图片描述
仿真完成后，会展示每轮奖励以及所有轮奖励均值和标准差。

点击Inspect Simulation Data查看仿真结果，也可以点击Clear and Inspect Simulation Data预先清除在上一个会话中加载的任何数据。可以在不同的图中选择查看每一轮仿真的不同的数据。
在这里插入图片描述
回到仿真对话窗体，同样点击Accept保存仿真结果，在Results面板自动添加一条experience，双击它可以再次查看上述结果。