第三代AI_Pluribus首次在六人桌打败顶级职业牌手

2017年1月，人工智能程序Libratus 在1对1无限德扑比赛中成功战胜了4名顶级职业玩家，但人们一直认为多人德州扑克对于AI是一项更艰巨的任务。

但如今，这项任务已经达成！

美国卡内基梅隆大学和Facebook公司7月12日在《科学》上发表论文称，他们联合开发的德扑人工智能Pluribus在六人桌无限德扑中击败了顶级人类玩家。

这其中包括了获得过4次WPT（世界扑克巡回赛）冠军的Darren Elias、拥有6条WSOP（世界扑克锦标赛）金手链的“耶稣”Chris Ferguson，和在职业生涯中赚了将近200万美元的Michael Gagliano。

无论是一个Pluribus对战5个顶级人类玩家，还是五个Pluribus混战一个顶级人类玩家，经过1万手牌后，它的表现都会明显优于人类。

“Pluribus”是一个拉丁语词汇，意为“众”，美国国徽上就印有“E pluribus unum”（合众为一）的字样。起这个名字，无疑彰显这是世界上首个在多人德扑中超越人类专业选手的AI。

“Pluribus在多人扑克领域取得了超人的成绩，这在人工智能和博弈论领域是一个公认的里程碑，”卡内基梅伦大学计算机科学教授Tuomas Sandholm说。Tuomas Sanholm和其学生Noam Brown博士（目前在facebook AI项目组工作）共同开发了Pluribus。

几十年来，扑克一直是人工智能领域一个困难而又重要的挑战。原因在于，扑克中含有隐藏信息，也就是说，你无法知道对方的牌。要想在扑克中获胜，你需要 bluff（吓唬）或者使用其他策略，这在棋类比赛中一般是不需要的。这一点使得在扑克中应用人工智能变得非常困难。

早在2015年4月到5月，由Noam Brown、Tuomas Sandholm 开发开发的第一款德扑程序Claudico，就在匹兹堡轮流与包括当时世界排名第一的Doug Polk在内的四名人类顶尖高手过招。那次比赛历时13天，共计2万局牌。但初出茅庐的德扑AI在赛程过半时，就已落后人类约46万个筹码，最终以大约73万个筹码的劣势铩羽而归。

但是到了2017年1月，同样由Noam Brown、Tuomas Sandholm 开发的人工智能程序 Libratus ，在持续20天的1对1无限制德扑比赛中成功战胜了4名全球顶级职业玩家。这也成为了继围棋之后，又一个高难度游戏被AI攻陷的里程碑事件。

此时的人工智能已经学会了bluff，而且还可以看穿人类选手的bluff。

但是从1对1到玩转6人对决，人工智能经历了怎样的进步？

“虽然从二到六看起来是一个渐进的过程，但这实际上是一个巨大的挑战，”研究游戏与人工智能的纽约大学助理教授 Julian Togelius 表示。“多人游戏方面的研究，此前在所有游戏中都未有出现。”

据介绍，Facebook 和卡内基梅隆大学设计的比赛分为两种模式：1 个 AI+5 个人类玩家和 5 个 AI+1 个人类玩家，Pluribus 在这两种模式中都取得了胜利。如果一个筹码值 1 美元，Pluribus 平均每局能赢 5 美元，与 5 个人类玩家对战一小时就能赢 1000 美元。职业扑克玩家认为这些结果是决定性的胜利优势。

Pluribus可能改变职业牌手的游戏方式

令人惊讶的是，Pluribus首先通过和自己对抗逐步学习如何使扑克行动对自己有利。

Pluribus 的核心策略是通过自我博弈的方式学习。在这一过程中，AI 和自己进行对战，不使用任何人类游戏数据作为输入。AI 首先随机地选择玩法，接着，随着决定每一步的行动后，逐渐提升性能，并对这些行动拟合概率分布。最终，AI 的表现比之前的策略版本会更好。

Darren Elias说：“它的最大优势是能够使用混合策略。这也是人类试图做到的事情。对人类来说重要的是执行——用完美随机的方式混合你的策略，而且始终一致。大多数人无法做到。

出乎意料的是，Pluribus使用“反主动下注“（donk bet）的频率远超过职业牌手。职业牌手们通常认为这种下注比较弱。

Chris Ferguson在比赛实验结束后说道：“Pluribus 真是太难对付了！我们很难在任何一手中盯死它。它不仅非常擅长进行薄的价值下注，而且擅长从好手牌中赢得最大价值。”

Brown博士表示，Pluribus的一些策略“甚至可能改变职业牌手的游戏方式。”