《轮到你了揭秘篇》:智能AI如何胜任“陪玩”角色 创造者

  • 2022-09-26
  • John Dowson

《轮到你了揭秘篇》:智能AI如何胜任“陪玩”角色 创造者

  近期公布的第14期微信创意小游戏中有这样一款产品,看似推理竞技游戏的外衣,却没有任何“嘴遁”环节,紧张刺激的推理投票在2分钟即可让玩家体验到“狼人杀”、“阿瓦隆”等游戏的快感,它就是围绕AI设计的推理小游戏《轮到你了揭秘篇》。

  这款游戏是超参数科技旗下SERES GAMES游戏工作室的首款小游戏产品,超参数科技成立于2019年初,初始团队来自腾讯AI Lab和IEG,专注于探索如何将深度学习AI这一前沿技术赋能于游戏这个巨大又成熟的行业,目前已经和一些头部游戏厂商建立了AI技术层面的合作。

  SERES GAMES游戏工作室成立于2019年底。不唯商业盈利论,团队积极尝试用AI赋能游戏内的多种场景,希望用真实的游戏应用案例而不仅是技术论文,让行业认识到AI对游戏的巨大价值、以及超参数在游戏AI上的技术实力。

  本期创造者栏目,游戏茶馆请到了超参数科技的SERES GAMES游戏工作室团队,他们将从《轮到你了揭秘篇》的设计逻辑、AI设计和具体应用上进行深度阐述。

  作为一家精通AI技术的公司,期初团队想用个实验性产品,快速验证一下AI陪玩对玩家体验和游戏数据的影响,顺便磨合一下团队。抱着“什么类型的游戏最需要陪玩服务呢?”的初衷,团队调研了各种各样的游戏市场,发现桌游是各种游戏品类中对陪玩服务需求度最高的品类。

  桌游的核心玩法多为玩家之间的策略博弈,相比手游这种数值对抗为主的品类,玩家的能力强弱,更多的体现为策略优劣而非数值强弱。在众多“竞技类”桌游中,团队挑选了一款名为“阿瓦隆”的游戏,因为它上手简单又不乏深度,易懂难精。结合自身对于桌游玩法的理解,团队选择了这么一款多人推理游戏进行AI化的改造。

  桌游玩法都面临着冷启动匹配的问题:一是在游戏初期很难保证有足量玩家加入让游戏生态运转起来,二是在游戏成熟期很难保证玩家及时匹配到合适的对手、获得理想的游戏体验。而深度学习AI通过较高的拟人性、差异化的段位和风格,能够很好地解决冷启动匹配的问题。事实上,《轮到你了揭秘篇》也正是由于AI的加持,才能快速突破冷启动的瓶颈,并且维持了较好的玩家对局体验。

  游戏的策略性越强、玩家的行为空间越复杂,AI的作用就越大。举例来说,在《轮到你了揭秘篇》中,当玩家对另一个玩家进行监控投票时,他可能在怀疑这个玩家、也有可能在保护他、还有可能在向其他玩家释放线索...同一个行为下,玩家背后的目的不同,他接下来可能产生的行为也大不相同。这种问题,如果让传统的行为树来解决,那将是一个不可能完成的任务。而深度学习AI就可以很好地解决这个问题。

  SERES GAMES游戏工作室简化和微调了“阿瓦隆”的一些规则,并且让玩家不用说话、仅基于事实线索就能完整进行游戏,一方面是便于AI训练,另一方面也可以节约投入。在选择游戏包装时,正巧碰上推理日剧《轮到你了》的热播,于是便诞生了这样一款产品。最终选择微信小游戏平台上线,是出于方便迭代进行考虑的。

  对于《轮到你了揭秘篇》这样一款推理游戏来说AI的设计充满挑战,在这款非对称性、非完美信息的博弈类游戏中,AI不仅要学习在没有直接通信下的合作能力,甚至还要学习应该与谁进行合作、与谁进行对抗。同时,AI还需要学习伪装、欺骗等高级策略,以及复杂的推理能力,因为团队从三个方面让AI进行了深度学习。

  一是提出了从小样本中进行模仿学习的深度学习算法。在游戏正式上线前我们无法获得大量玩家数据,于是团队招募了100多个玩家进行了2000多局对局,基于这些小样本通过模仿学习先建立了一个初步AI版本。它能够进行一些简单的、符合逻辑的操作,但还不会推理和玩套路,只能对标一个新手玩家的水平;

  二是在强化学习算法中引入了预测学习,来解决隐藏信息的问题。游戏中最大的玄机在于身份的隐藏,人类在玩游戏的时候会事先在心里对其余玩家的身份有一个估计,并以此为基础来进行下一步的行动。于是团队让AI也做了类似的工作,预测学习模块会根据当前可见信息实时预测可能的身份组合,并将预测结果输入到强化学习模块中,从而引导模型的训练。这样的AI已经可以观测到一定的智能度;

  三是提出了一种基于种群的多智能体强化学习算法,来解决传统左右互搏的自对战方法难以收敛的问题。团队在训练时会从种群中挑选对手,该种群中的每个个体在训练过程中挑选的对手均不相同,从而演化出具有不同风格特点的、相生相克的AI。通过对种群中的所有个体举办联赛,并进行排名,从而获得不同段位等级的AI。经过这一步的训练,最强的AI已经可以达到比较高段位人类玩家的水平,能打出比较多的套路了。

  团队为了让我们更好理解,举了一个石头剪刀布的例子,假设把10个人关在一个房间里,由于每个玩家有自己的打法思路、擅长/不擅长处理的情况,他们其实是具备各自的风格的。通过他们互相之间的对战,我们可以有一个大致的胜率排名,假设排在前5位的是“经常出石头”的人、排在后5位的是“经常出剪刀”的人。这时候,有第11个人加入,如果他以战胜前5位玩家为目标,他可能会学成“经常出布”;如果他以战胜后5位玩家为目标,他可能会学成“经常出石头”的;而如果他以战胜全部10位玩家为目标,则可能会学出一套更棒的打法,根据对手策略来调整自己。随着越来越多的玩家加入,通过为不同的玩家挑选不同的对手,我们就能让玩家具备不同的风格特点和段位水平。这就是基于种群的AI学习方式。

  团队设计AI是为了让玩家通过网络随时找到合适的对手,始终是以优化玩家体验为第一要义。团队为AI设计了这样一套调用机制:按照玩家段位针对性地匹配与其实力接近的AI,且玩家段位越低匹配到AI的概率越高。目的是当新手玩家对游戏理解还不够深时,能保证该玩家和其匹配到的其他玩家的对局体验;而随着玩家段位提升,又能逐步体会到“与人斗其乐无穷”。

  这样的设计还是比较克制的,目前并没有观察到引发玩家的反感,但玩家实际上已经享受到了由这些AI带来的福利,包括更快的匹配速度、更好的对局体验等。

  玩家确实会猜测对面是否是AI,还经常会发在粉丝群里引起讨论。但实际上AI的表现已经和人类非常接近了,现在即使是游戏开发人员,也不能100%确定是否是AI。

  那么AI设计究竟适用于什么样的游戏呢?SERES GAMES游戏工作室研究了BGG上的一百多款桌游,我们把他们分为“娱乐型”和“竞技型”两类,娱乐型桌游的强调的是社交氛围的创造,达成破冰或者巩固社交关系的作用,因此这类游戏是无法做到电子化的;而另一类竞技型桌游,强调的是有深度的策略博弈,因此也被很多厂商挑为电子化的对象。

  但普遍的问题是,这类游戏上手门槛高、受众小,玩家无法通过网络随时找到合适的对手,而复杂的策略又让行为树AI无法满足玩家的挑战要求。在以往,这类游戏最终只能无疾而终。而今后,随着深度学习AI的加入,相信能让更多的“竞技类”桌游在电子化后,通过AI化焕发出新的活力。

  团队也总结了获得微信创意小游戏认可的原因,创意小游戏对于内容创新是有要求的,同样也需要运营数据进行支撑。在内容创新之外,《轮到你了揭秘篇》做了一种不需要“嘴遁”,通过投票等行为直接来推理身份的玩法,也是一种创新。从运营数据角度,深度学习AI为产品冷启动保驾护航,让PVP产品不需要“堆量”阶段,也能保证玩家的对局体验,从而够拥有较好的数据表现。微信官方提供了一定的流量支持,在程序优化方面也提供了些帮助。

  团队坦言对于《轮到你了揭秘篇》这款小游戏,并没有严格的商业化目标,重心一直都在用户的长尾运营上,一方面,团队一直在做社群运营,定期组织圈内的玩家进行比赛,效果还不错;另一方面,越来越多的优质玩家被沉淀下来,也让团队能够训练出更优秀的AI,从而不断推陈出新,与玩家的实力成长做匹配,带来持续的成长体验。

  在未来,《轮到你了揭秘篇》一方面会增加天梯赛这种传统的活跃玩法,以及AI挑战赛这种新型的游戏模式。另一方面,在乐逗游戏发行团队的帮助下,也会有更加丰富的社群和赛事活动。

  采访的最后,团队表示会继续在AI和游戏结合的道路上进行探索,多做一些商业化游戏团队不敢进行的尝试。除了匹配陪玩之外,也会在其他环节进行试错,像内容自动生成、数值自动平衡、智能NPC,甚至围绕AI进行设计、让AI在前台直接面对玩家等,团队都会去做积极探索。超参数科技希望能扮演好排头兵的角色,为行业趟出更多更新鲜更靠谱的道路和方向。

  商业合作方面,对于其中适合商业化的应用,超参数也会积极寻求各方面的合作,用实际的商业价值为AI技术提供背书,团队也非常欢迎有兴趣的团队一起来投入探索(在游戏茶馆公众号内回复“超参数科技”,即可获得团队联系邮箱)。

免责声明:本站所有信息均搜集自互联网,并不代表本站观点,本站不对其真实合法性负责。如有信息侵犯了您的权益,请告知,本站将立刻处理。联系QQ:1640731186

评论留言

发表评论