ICML RL4RealLife｜聚焦强化学习落地难题，学术与商业巨头齐聚，南栖仙策受邀参与

近年来，强化学习（RL）在游戏界的成功在AI界可谓一石激起千层浪 ，不管是继围棋之后又攻克的通用棋类游戏，还是在 Video Game里创造新高的AI，亦或是利用“左右互博”来自博弈的OpenAI，结合强化学习技术的 AI在多个游戏场景中的都已经超越了人类顶尖玩家。

然而，当前的强化学习算法依赖数万次、乃至数百万次对局的试错，游戏之类的虚拟场景尚可低成本试错，但是，在实际场景中试错代价高昂，无法进行大量采样，因而难以训练出有效的决策模型，导致落地困难。

目前国际上强化学习领域的主要研究机构，包括Google、DeepMind、OpenAI、UC Berkeley、Stanford等都在对强化学习落地技术积极开展研究，这个细分方向通常被称为“离线强化学习（Offline RL）”，但从相关公开报告中，都难以瞥见强化学习可以落地的技术。

近期，DeepMind、Google Brain等各自发布了 “离线强化学习”测试集，显示出目前主流技术均未表现出显著的有效性。强化学习落地技术呈现出潜能巨大、亟需突破、竞争激烈的态势。

7月23日，针对强化学习落地难题，ICML 2021将举办“Reinforcement Learning for Real Life（现实生活中的强化学习）”主题研讨会。此次研讨会主题设置为“RL for Real Life”，彰显了强化学习领域长期存在的困境：强化学习在现实世界中迟迟无法完成落地。而与此同时，强化学习背后隐藏着巨大商业价值已成为共识，一旦完成落地，商业前景极为广阔。强化学习如何落地？如何在Real Life（现实世界）中体现出商业价值？为此Workshop邀请了DeepMind，Google、Polixir（南栖仙策）、Facebook，Microsoft，MathWorks、Nvidia、Adobe、Didi（美国）等众多商业公司，共同探讨强化学习落地难题，寻找突破路径。

研讨会围绕Real Life（现实世界）主题设置讨论小组，议题包括“Foundation”（基础）、“Research-to-RealLife Gap”（研究与现实世界的差距）、“Recommender Systems”（推荐系统）、“Robotics”（机器人）、“Explainability & Interpretability”（可解释性）和“Operations Research”（运筹学）。

在以上主题中，“Research-to-RealLife Gap”（研究与现实世界的差距）专门关注强化学习当前的研究与现实应用之间的鸿沟、聚焦强化学习落地的关键问题，受邀参加主题讨论的有来自MathWorks(出品Matlab)的Craig Buhr、微软的Jeff Mendenhall、滴滴出行(美国)的Xiaocheng Tang、创业企业Borealis AI的Kathryn Hume，以及Polixir（南栖仙策）创始人、南京大学教授俞扬（Yang Yu)。俞扬教授也是本次Workshop中唯一来自大陆地区的讨论成员。

此次Workshop不乏来自MIT、CMU、Harvard等国际著名高校的学者。其中Thomas Dietterich 是国际机器学习创始主席、美国白宫《美国国家人工智能研究与发展策略规划》起草人；Fei Fang 获得IEEE国际人工智能十大新星（2020）、IJCAI 计算机与思维奖（2021），其他参会组员均为强化学习研究领域一流学者，共同激撞强化学习学术前沿的思想火花。

众多商业巨头公司聚焦此次研讨会，凸显出强化学习落地技术亟需突破的迫切性。作为全球率先实现强化学习落地的公司，Polixir（南栖仙策）也是大陆唯一受邀企业，并将在研讨会上分享强化学习落地过程，以及南栖仙策在现实世界中的落地案例。

南栖仙策如何让强化学习在Real Life中体现真正价值？7月23日，俞扬教授将通过南栖仙策丰富的落地案例，充分阐释“RL for Real Life”，欢迎大家投稿与参与，让我们期待一场精彩的对话。

ICML2021 RL4RealLife Workshop 更多活动详情，访问https://sites.google.com/view/RL4RealLife