第三代AI_Pluribus首次在六人桌打败顶级职业牌手

2017年1月,人工智能程序Libratus 在1对1无限德扑比赛中成功战胜了4名顶级职业玩家,但人们一直认为多人德州扑克对于AI是一项更艰巨的任务。

但如今,这项任务已经达成!

美国卡内基梅隆大学和Facebook公司7月12日在《科学》上发表论文称,他们联合开发的德扑人工智能Pluribus在六人桌无限德扑中击败了顶级人类玩家

这其中包括了获得过4次WPT(世界扑克巡回赛)冠军的Darren Elias、拥有6条WSOP(世界扑克锦标赛)金手链的“耶稣”Chris Ferguson,和在职业生涯中赚了将近200万美元的Michael Gagliano。


从左至右:Darren Elias、Chris Ferguson、Michael Gagliano

无论是一个Pluribus对战5个顶级人类玩家,还是五个Pluribus混战一个顶级人类玩家,经过1万手牌后,它的表现都会明显优于人类。

“Pluribus”是一个拉丁语词汇,意为“众”,美国国徽上就印有“E pluribus unum”(合众为一)的字样。起这个名字,无疑彰显这是世界上首个在多人德扑中超越人类专业选手的AI。

“Pluribus在多人扑克领域取得了超人的成绩,这在人工智能和博弈论领域是一个公认的里程碑,”卡内基梅伦大学计算机科学教授Tuomas Sandholm说。Tuomas Sanholm和其学生Noam Brown博士(目前在facebook AI项目组工作)共同开发了Pluribus。

Tuomas Sandholm(左)与他的学生Noam Brown

几十年来,扑克一直是人工智能领域一个困难而又重要的挑战。原因在于,扑克中含有隐藏信息,也就是说,你无法知道对方的牌。要想在扑克中获胜,你需要 bluff(吓唬)或者使用其他策略,这在棋类比赛中一般是不需要的。这一点使得在扑克中应用人工智能变得非常困难。

早在2015年4月到5月,由Noam Brown、Tuomas Sandholm 开发开发的第一款德扑程序Claudico,就在匹兹堡轮流与包括当时世界排名第一的Doug Polk在内的四名人类顶尖高手过招。那次比赛历时13天,共计2万局牌。但初出茅庐的德扑AI在赛程过半时,就已落后人类约46万个筹码,最终以大约73万个筹码的劣势铩羽而归。

但是到了2017年1月,同样由Noam Brown、Tuomas Sandholm 开发的人工智能程序 Libratus ,在持续20天的1对1无限制德扑比赛中成功战胜了4名全球顶级职业玩家。这也成为了继围棋之后,又一个高难度游戏被AI攻陷的里程碑事件。

此时的人工智能已经学会了bluff,而且还可以看穿人类选手的bluff。

但是从1对1到玩转6人对决,人工智能经历了怎样的进步?

“虽然从二到六看起来是一个渐进的过程,但这实际上是一个巨大的挑战,”研究游戏与人工智能的纽约大学助理教授 Julian Togelius 表示。“多人游戏方面的研究,此前在所有游戏中都未有出现。”

据介绍,Facebook 和卡内基梅隆大学设计的比赛分为两种模式:1 个 AI+5 个人类玩家和 5 个 AI+1 个人类玩家,Pluribus 在这两种模式中都取得了胜利。如果一个筹码值 1 美元,Pluribus 平均每局能赢 5 美元,与 5 个人类玩家对战一小时就能赢 1000 美元。职业扑克玩家认为这些结果是决定性的胜利优势。


实验中 Pluribus 与人类玩家对抗时的界面

Pluribus可能改变职业牌手的游戏方式

令人惊讶的是,Pluribus首先通过和自己对抗逐步学习如何使扑克行动对自己有利。

Pluribus 的核心策略是通过自我博弈的方式学习。在这一过程中,AI 和自己进行对战,不使用任何人类游戏数据作为输入。AI 首先随机地选择玩法,接着,随着决定每一步的行动后,逐渐提升性能,并对这些行动拟合概率分布。最终,AI 的表现比之前的策略版本会更好。

Darren Elias说:“它的最大优势是能够使用混合策略。这也是人类试图做到的事情。对人类来说重要的是执行——用完美随机的方式混合你的策略,而且始终一致。大多数人无法做到。


图中显示的是在与顶尖玩家对战时 Pluribus 的筹码数量变化。直线表示实际结果,虚线表示一个标准差。
 

出乎意料的是,Pluribus使用“反主动下注“(donk bet)的频率远超过职业牌手。职业牌手们通常认为这种下注比较弱。

Chris Ferguson在比赛实验结束后说道:“Pluribus 真是太难对付了!我们很难在任何一手中盯死它。它不仅非常擅长进行薄的价值下注,而且擅长从好手牌中赢得最大价值。”

Brown博士表示,Pluribus的一些策略“甚至可能改变职业牌手的游戏方式。”

Tagged
Share:

Author: PokerPro

其他文章

2 thoughts on “第三代AI_Pluribus首次在六人桌打败顶级职业牌手

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注