三子棋大师：用C语言打造无敌强化学习AI

我们让电脑自己和自己下棋，每一步都选择当前状态下分数最高的位置，如果分数相同（比如一开始的9个位置分数都是0.5），就随机选择一个位置。

int%20BestMove(int%20board[3][3],%20value_t%20value){//%20选择value最大的走法//%20找到最大的valueint%20state%20=%20GetState(board);double%20maxVal%20=%20-1;int%20point%20=%200;for%20(int%20i%20=%200;%20i%20<%209;%20++i){if%20(value[state][i]%20>%20maxVal)maxVal%20=%20value[state][i];}//%20有可能的最优走法bool%20moves[9]%20=%20{%200%20};//%20找到所有和最大value接近的valuefor%20(int%20i%20=%200;%20i%20<%209;%20++i){if%20(value[state][i]%20>%20maxVal%20-%200.01)moves[i]%20=%20true;}//%20在moves里随机选择一个最优走法while%20(true){int%20point%20=%20rand()%20%%209;if%20(moves[point])return%20point;}}

最终，会产生一个结果。有可能是先手方O赢了，也有可能是后手方X赢了，还有可能是和棋。

让电脑吸取经验教训，也就是给奖励，也可以是惩罚。

具体的做法是，从最后一步往前推，更新每一步的分数。我们规定：

那么倒数第三步和倒数第一步是同一方下的。倒数第三步的新的分数=倒数第三步的旧的分数+0.1*(倒数第一步的新的分数-倒数第三步旧的分数)。

同理，倒数第四步和倒数第二步是同一方下的。倒数第四步的新的分数=倒数第四步的旧的分数+0.1*(倒数第二步的新的分数-倒数第四步旧的分数)。

接下来是倒数第五步、倒数第六步……一直到正数第一步。这样，这盘棋出现的状态中，对于走过的行为，就有了新的分数，这就是强化学习！

根据前面的计算方式，很容易知道，如果这步棋是合法的，那么分数就在[0,1]之间。如果某一方赢了，该方最后一步的得分为1，那么前面的每一步分数都会增加，因为该方后一步的分一定比前一步高，这就是奖励。而如果某一方输了，该方最后一步的得分为0，那么前面的每一步分数都会减少，因为该方后一步的分一定比前一步低，这就是惩罚。

注意到更新的分数乘了0.1，这样越往前的分数，变动的幅度就越小，这也是合理的，因为越接近棋局开始，走棋的影响就越小。

经过大量的对局后，所有状态下的行为的得分就会更加准确，无限趋近于理论值。然而，为了防止出现局部最优，也就是AI自我感觉良好，最好让AI有一定的概率随机走棋，而不是每次都选择最优走法。

以下是一次强化学习：

void%20QLearning(value_t%20value){//%20棋盘int%20board[3][3]%20=%20{%200%20};//%20下棋的状态数组int%20states[9]%20=%20{%200%20};//%20下棋的位置数组int%20points[9]%20=%20{%200%20};//%20states和point数组记录的状态数量int%20size%20=%200;//%20记录stateint%20state%20=%200;//%20记录胜负和//%200%20-%20未分胜负//%201%20-%20先手方获胜//%202%20-%20后手方获胜//%203%20-%20和棋int%20res%20=%200;//%20下一盘棋while%20(true){//%20计算并保存新的状态state%20=%20GetState(board);states[size]%20=%20state;//%20一定概率随机走棋//%20否则选择value最大的走法if%20(rand()%20%%2010%20<%203){while%20(true){//%20随机走棋int%20x%20=%20rand()%20%%203;int%20y%20=%20rand()%20%%203;if%20(Move(board,%20x,%20y)){//%20保存当前pointpoints[size++]%20=%20x%20*%203%20+%20y;break;}}}else{//%20选择value最大的走法//%20找到最大的value和对应的pointint%20point%20=%20BestMove(board,%20value);//%20在point位置下棋Move(board,%20point%20/%203,%20point%20%%203);//%20保存pointpoints[size++]%20=%20point;}//%20棋局是否结束if%20(res%20=%20IsWin(board))break;}//%20根据这盘棋的信息，总结经验//%20不考虑最后一步--size;//%20倒数第二步直接导致输棋或和棋//%20输棋分数设为0//%20和棋分数设为0.5value[states[size%20-%201]][points[size%20-%201]]=%20(res%20==%203%20?%200.5%20:%200);--size;//%20从倒数第三步开始，每一步的分数更新为//%20原来的分数%20+%200.1%20*%20(后两步的分数-原来的分数)while%20(size%20>%200){value[states[size%20-%201]][points[size%20-%201]]=%20value[states[size%20-%201]][points[size%20-%201]]+%200.1%20*%20(value[states[size%20+%201]][points[size%20+%201]]-%20value[states[size%20-%201]][points[size%20-%201]]);--size;}}

这里举个实际的例子，比如下面的对局（这里是我跟电脑的对局，实际强化学习时可以是电脑自己和自己下，也可以是人类和电脑下）：

这盘棋总共下了7步，就分出了胜负。假设这场对局之前，除了最后一步棋的分数是1之外，其余的走法分数都是0.5。那么，value数组中，这7步的得分一开始是：

0.5 0.5 0.5 0.5 0.5 0.5 1

倒数第二步棋直接导致输棋，分数更新为0。

0.5 0.5 0.5 0.5 0.5 0 1

接着更新倒数第三步棋的分数，要加上倒数第一步棋的分数（1）和自己（0.5）的差的0.1倍，即0.05，更新后的分数为0.55。

0.5 0.5 0.5 0.5 0.55 0 1

接着更新倒数第四步棋的分数，要加上倒数第二步棋的分数（0）和自己（0.5）的差的0.1倍，即-0.05，更新后的分数为0.45。

0.5 0.5 0.5 0.45 0.55 0 1

接着更新倒数第五步棋的分数，要加上倒数第三步棋的分数（0.55）和自己（0.5）的差的0.1倍，即0.005，更新后的分数为0.505。 

0.5 0.5 0.505 0.45 0.55 0 1

同理更新前2步的分数：

0.5005 0.495 0.505 0.45 0.55 0 1

这就是一次强化学习。最终训练的结果，也就是value数组只需要保存到文件中，需要对局时再从文件中读取数据，这样就不用每次都重新训练了。

void SaveValue(value_t value){FILE* fin = fopen("value.dat", "wb");if (fin == NULL){perror("fopen");exit(2);}// 保存valuefwrite(value, sizeof(double), 177147, fin);fclose(fin);fin = NULL;}bool LoadValue(value_t value){FILE* fout = fopen("value.dat", "rb");// 没有这个文件if (fout == NULL)return false;// 加载valuefread(value, sizeof(double), 177147, fout);fclose(fout);fout = NULL;return true;}

完整代码

已上传至gitee链接

本文链接：https://www.kjpai.cn/xuetang/2024-04-08/155604.html，文章来源：网络cs，作者：淼淼，版权归作者所有，如需转载请注明来源和作者，否则将追究法律责任！