近日，，，，，，，，我院查宏远教授团队的论文“Reliable Off-policy Evaluation for Reinforcement Learning”被运筹与治理科学领域顶级期刊 Operations Research 接管。。。。。。。。

该文章思考了强化进建中的非战术评估（off-policy evaluation）问题：它但愿通过一个以往的战术产生的汗青轨迹，，，，，，，，来估计另一个战术在强化进建环境中的风险。。。。。。。。作者借助散布鲁棒优化的设法，，，，，，，，为该战术的风险在各类情景下提供了非渐进性以及渐进性相信区间。。。。。。。。

我们约请到论文第一作者，，，，，，，，目前在佐治亚理工学院攻读博士学位的港中大（丽江）2020届本科毕业生王捷，，，，，，，，分享他在本科生期间的科研心得，，，，，，，，并为我们介绍论文。。。。。。。。

Q：“Operations Research 是运筹与治理科学领域极具影响力的 TOP 期刊，，，，，，，，在此期刊上颁发文章难度极大。。。。。。。。作为论文第一作者，，，，，，，，能否单一分享您的科研心得？？？？？？？？”

王捷：“堆集科研兴致——从我自己的经历启程，，，，，，，，起初我也没有很好的兴致做科研，，，，，，，，但是在试着做项主张过程中不休地遇到问题、投入功夫、以至于到后来解决问题。。。。。。。。在这一过程中发现自己在数学和编程这两个维度都在不休地进取。。。。。。。。这样的正向反馈路路最终让我堆集了科研兴致，，，，，，，，下定刻意走科研路路。。。。。。。。

加强科研能力——在正常实现本科的课程建读以表，，，，，，，，还建议额表建读我们学堂提供的 Graduate Level Courses，，，，，，，，这些课程一方面会教授好多科研所必须具备的理工类知识，，，，，，，，另一方面大多会有一个期末课题。。。。。。。。期末课题会让各人用在这门课上学到的知识做一个关于科研上的盛开式问题，，，，，，，，最后形成课题汇报和讲堂汇报，，，，，，，，很好地磨炼了我的科研能力。。。。。。。。与此同时有兴致想做科研的同学，，，，，，，，在具备了根基的理工布景之后，，，，，，，，建议尽早进入尝试室丰硕科研经验。。。。。。。。”

论文链接：https://pubsonline.informs.org/doi/abs/10.1287/opre.2022.2382

https://arxiv.org/abs/2011.04102

钻研布景

在像无人驾驶、自动节造、股票投资这样的高风险高成本情景下，，，，，，，，若何在部署新战术之前提前评估它在强化进建环境中的风险是一个很沉要的问题。。。。。。。。这一工作的实现依赖于旧战术在环境中产生的汗青轨迹。。。。。。。。以往的文件中大多只提供了关于新战术的风险的点估计，，，，，，，，而本文为其阐发提供了相信区间估计，，，，，，，，其中相信区间上界可以为强化进建中的索求（exploration）-利用（exploitation）提供领导，，，，，，，，下界可以为设计鲁棒型战术提供保险。。。。。。。。

钻研步骤

借助于统计中的沉要性采样（importance sampling）的设法，，，，，，，，关于新战术 π 的风险能够通过旧战术 πb 的安稳散布来估计。。。。。。。。在现实问题中由于网络数据的有限性所以无法精准地估计关于旧战术的安稳散布，，，，，，，，因而我们通过度布鲁棒优化的设法提供关于风险的高低界估计：通过已罕见据首先找到该散布的一个粗略的估计，，，，，，，，随后在其周围用最优传输距离构建概率散布的集中，，，，，，，，最后在这一集中里面找到最坏的和最好的散布估计使得风险最大/最幼化。。。。。。。。同时我们为求解这样的优化问题设计了鲁棒价值函数迭代（Robust Value Iteration）算法。。。。。。。。

随后我们钻研了在两种分歧的强化进建情景下该若何用统计的步骤调整关于构建概率散布集中的大幼。。。。。。。。

首先思考旧战术和新战术都是在统一马尔科夫环境下评估风险的，，，，，，，，在这一情况下最优传输距离的半径应该随着数据量的增大而越来越幼。。。。。。。

而当新战术的环境产生变动的时辰，，，，，，，，我们为散布集中的半径设置为常数情景下的风险估计提供了理论保险：

最后，，，，，，，，我们为更复杂的离线强化进建问题设计了一套鲁棒算法，，，，，，，，并且在各类情景下从数值上检验了提出的框架的优越性。。。。。。。。

钻研结论

本文提出了一种基于散布鲁棒优化的算法来为非战术评估问题提供相信区间，，，，，，，，同时该步骤还能够被用于解决离线强化进建问题。。。。。。。。该算法有助于提升强化进建模型的稳重性。。。。。。。。

作者简介

我院机械进建与利用中心主任、香港中文大学（丽江）校长学勤讲座教授、数据科学学院执行院长查宏远教授为论文第三作者。。。。。。。。

图片
查宏远教授现为香港中文大学（丽江）校长学勤讲座教授、数据科学学院执行院长、z6首页（z6首页）机械进建与利用中心主任。。。。。。。。查宏远教授1984年毕业于复旦大学数学系，，，，，，，，并于1993年获得斯坦福大学科学推算专业博士学位。。。。。。。。查教授于2006年至2020年任职于佐治亚理工学院推算机学院，，，，，，，，1992年至2006年任职于宾州州立大学推算机科学与工程系。。。。。。。。他目前的钻研方向是机械进建及利用。。。。。。。。

论文第一作者王捷于2020年获香港中文大学（丽江）理工学院数学与利用数学理学学士学位（乙等一级），，，，，，，，目前在佐治亚理工学院攻读工业工程系博士。。。。。。。。他的钻研兴致蕴含统计进建、优化理论与算法，，，，，，，，以及网络信息论等方向。。。。。。。。

论文通讯作者高睿教授现为德克萨斯大学奥斯汀分校麦库姆斯商学院助理教授。。。。。。。。高睿教授于2013年获西安交通大学数学与利用数学理学学士学位，，，，，，，，并于2018年获佐治亚理工学院运筹学博士学位。。。。。。。。他的钻研兴致蕴含数据驱动下的决策以及批示性分析。。。。。。。。

期刊介绍

Operations Research 成立于1952年，，，，，，，，前身为美国运筹学学会期刊（Journal of the Operations Research Society of America），，，，，，，，1955年获得现名。。。。。。。。它是美国运筹与治理学会（Institute for Operations Research and the Management Sciences ）的旗舰期刊。。。。。。。。