【观点】从优化盛会SIAM OP17看运筹学及AI发展趋势

【观点】从优化盛会SIAM OP17看运筹学及AI发展趋势

作者@Robin Shen系美国克莱姆森大学运筹学硕士,Ph.D. Candidate,师从整数规划大师W. Adams,后跳槽至欧盟玛丽居里博士项目,期间前往意大利IBM Cplex实习半年,现任德国海德堡大学交叉学科计算中心、组合优化实验室助理研究员,师从组合优化大师G. Reinelt。留言、评论,请前往本文在知乎专栏的原链接,有问必回,欢迎原链接转发。付费转载请前往@Robin Shen 的主页获取信息。
欢迎关注我的运筹学(优化)专栏,会陆续发布运筹学、人工智能相关干货:
[运筹帷幄]大数据和人工智能时代下的运筹学 - 知乎专栏

前言:(凸)优化是机器学习的引擎,非凸优化最近在机器学习界受到越来越多的重视,但是大家可知MIP(混合整数规划)乃 highly nonconvex problem,并且是NP难的?运筹学正是研究优化理论的学科,优化界开始趟起大数据和AI的“浑水”。深度学习在图像、音频上取得了很大的成功,但是在OR的传统领域(供应链、物流、决策)却鲜有建树。交叉学科大势所趋,希望有机会可以参与到DL和MIP的交叉研究,探索OR和DL更深层的理论及应用联系。

2017.05.22-25在加拿大温哥华召开了三年一度的优化盛会--SIAM Conference on Optimization。为期四天的大会总共迎来了7场Plenary Talks,数百场Invited&Contributed Talks,平行会场达到16个至多。与会人数上千,汇集了运筹、统计、计算机、电子工程、机器学习、增强学习等各个领域的学者和工业界研究人员。

每天举着厚厚的会议手册选talk的时候是最痛苦的,同一时间有好几个感兴趣的talk无奈只能选择一场。

会议全部Program目录链接如下:

Conference Program -- SIAM OP17

如果你对运筹学(优化理论)还不了解,请先戳:

运筹学--一门建模、优化、决策的科学 - 知乎专栏

  • Plenary Talk


下面先看看Plenary Talks,这是大会特邀报告,时长一小时,通常是业界大牛,并且通过PT可以看到所在领域近些年的大致发展方向和趋势

IP1 Rigorous Guarantees for Nonconvex Optimization?(点进去可以看摘要哦)
Martin Wainwright , University of California, Berkeley, USA

伯克利统计和EECS的大牛教授,俩本代表作(业界良心):Statistical Learning with Sparsity: the Lasso and GeneralizationsGraphical models, exponential families, and variational inference

貌似近期机器学习领域越来越多的关注非凸优化。

IP2 Innovation in Big Data Analytics
Eva K. Lee, Georgia Institute of Technology, USA

佐治亚理工教授,亚裔女性,主要讲了OR传统应用领域--Healthcare、defense, and service sector applications,Big Data只是用来吸睛的。但是她的头衔特别多,funding也巨多,而且项目和美国各大医院及卫生部等重要机构合作,运筹可以用来治病救人哦~


IP3 Optimizing Today's Communication Networks
Zhi-Quan Luo, The Chinese University of Hong Kong, Hong Kong

港中文和明尼苏达大学的罗教授(谁有现场照片麻烦发我哈),几乎每个华人运筹学者都知道他吧?报告是关于他的专长--通讯网络的优化,华为的崛起和他关系很大吧?报告中提到不下三次:)ADMM似乎很流行,最后一个LP问题罗教授提出用ADMM来做,提高了不少效率。记忆最深的是他一个数学家和工程师沟通的时候,工程师给的反馈“don't show me the NP hardness, just solve the problem”(感谢全球运筹学者群@许汝培的reminder)。数学家喜欢证明不喜欢工程,罗老师得奖(best paper reward)的工作恰恰是证明了通讯中那个有优化问题的NP难,但是工程师不care阿,于是罗老师埋头苦干也给搞出了高效的模型和算法--人赢~

IP4 Subgradient Methods
James M. Renegar, Cornell University, USA

康奈尔大学,凸优化的基本算法,比较理论,提出了新思想。

IP5 Using Second-order Information in Training Large-scale Machine Learning Models
Katya Scheinberg, Lehigh University, USA

李海大学,总算提到机器学习了,其实机器学习的理论基础都在优化领域。讲到了凸优化方法到非凸优化,stochastic gradient descent等等。

IP6 Using Local Measurements to Infer Global Network Properties
Ali Pinar, Sandia National Laboratories, USA

美国国家实验室,又是一个理论的talk,关于图论和网络,如何用局部的信息去帮助寻找全局信息,貌似很有趣。

IP7 Recent Progress on Dual Decomposition for Stochastic Integer Programming
Jeffrey Linderoth, University of Wisconsin, Madison, USA

威斯康星的Jeff,他的talk一向幽默,这次拿川普开涮不下五次,关于随机整数规划的,更多的是一个overview,深入浅出,我这个门外汉基本能听懂。


SP1 SIAG/OPT Prize Lecture: Proximal Minimization Algorithms for Nonconvex and Nonsmooth Problems
Shoham Sabach, Technion Israel Institute of Technology, Israel

这个厉害了,SIAM优化界三年一次的most outstanding paper reward,大奖毫无疑问地给了建设性的理论工作,毕竟fundamental的工作可以服务芸芸众生。又是Nonconvex和nonsmooth,机器学习的同学可以借鉴一下。

总结:8个talk中1个convex,3个nonconvex,2个运筹传统应用,1个理论,1个随机整数规划。至少三个和机器学习相关,可见人工智能、机器学习给优化界带来的冲击和机遇。

我早说过吧?不信请戳:

大话“人工智能、数据科学、机器学习”--综述 - 知乎专栏


  • “有趣”的session(一个session通常4个左右talk)

MS13 Nonconvex Optimization for Imaging Analysis -- 图像处理,楼主的talk也在其中哦

MS23 Sparse Optimization and Signal Processing -- 稀疏优化,信号处理,还包括压缩感知

MT2 Stochastic Optimization for Machine Learning -- 机器学习中的随机优化

MS40 Uncertainty in Optimization and Nash Games: Sampling-Based Algorithms -- 博弈论

MS46 Variational Analysis and Modern Statistics -- 变分,统计

MS50 Algorithms for Reinforcement Learning - Part I of II -- 增强学习

MS56 Optimization Algorithms for High-Performance and Embedded Computing Systems - Part II of II -- 高性能计算、嵌入式系统,没去听,是关于优化芯片的安装位置么?

MS64 Nonconvex Optimization in Data Analysis - Part II of III -- 非凸优化、数据分析,上图Stephen Wright 大神,名著Numerical Optimization (2nd edition),引用2w+次


MS66 Robustness and Dynamics in Optimization - Part I of III -- 鲁棒优化、动态规划

MS75 Optimizing Big Data: Acceleration, Randomization, and Parallelism - Part I of III --大数据

MS81 Making Machine Learning work with Big Datasets and Complicated Objectives - Part I of II -- 又一个机器学习、大数据

MS45 Nested Minimum Cuts on Parameterized Networks -- 网络流优化,上一张Thomas McCormick大神报告的照片,由叶老师的学生Y. Ding主持


MS51 Algebraic Aspects of Semidefinite Programming -- 半正定规划、SDP

MS58 Nonconvex Optimization for Machine Learning -- 非凸优化、机器学习

MS61 Complementarity Problems and Applications -- 互补问题,应用在经济学等领域

MS85 Computation, Learning and Uncertainty in PDE Constrained Optimization Models - Part II of II -- PDE约束的优化问题

MS95 Optimization and Quantum Chemistry -- 在量子化学还有应用?

MS96 Large Scale Optimization in Big Data -- 又来大数据

MS105 Conic Optimization and Quantum Information Theory - Part I of II -- 锥优化、量子信息,有意思

MS117 Relationship Between Optimization and Quantum Computation - Part I of II --量子计算的应用,有意思

MS131 Geometric Structures in Optimization -- 优化中的几何问题,比如最经典的单纯型法

总结:以上至少出现了10次机器学习、大数据、增强学习等当下和人工智能紧密相关的术语,足矣可见优化理论在AI扮演的重要作用,以及优化也赶起了时髦。

如果你是优化背景出生,或许你也应该趟一趟AI的“混水”:

想学数据分析(人工智能)需要学哪些课程? - 知乎

国内(全球)TOP互联网公司、学术界(人工智能)超高薪的揽才计划有哪些? - 知乎


  • 温哥华吃喝玩乐、Social、感悟

开会除了作报告、听报告,另俩大要素便是social和公费旅游了~此次会议给我的“全球运筹学者群”增添了不少新成员,也认识了很多全球优化的博士和教授,以及微软研究院的朋友。和蒙特利尔GERAD的教授吃饭讨论,了解到MIP(混合整数规划)试图与深度学习(四大金刚之一)合作,不知可以起到怎样的化学反应,初步确定了毕业后的规划;有幸认识了普林斯顿大学终身教授,并与之深入探讨了5个小时~

注:大家知道深度学习在图像、音频上取得了很大的成功,但是在OR的传统领域(供应链、物流、决策)却鲜有建树,原因在于DL基于有标签的大量训练集以及BP算法这样无约束的优化。OR领域随便一个问题都有着非常复杂的约束条件,至少目前为止DL是无法企及的。有机会我希望可以参与到这样的交叉研究中去,探索OR和DL更深层的理论及应用联系

以前参加的都是自己领域MIP的小会,看来参加OP这样的大会是很有必要的,各个学科的学者共聚一堂,可以增加见识以及产生交叉学科的合作。不仅如此,看到运筹学(优化)在各个领域的应用,也更加增强了自己专业的学习兴趣。并且此次听到不止一次八卦--OR界泰斗试图从优化角度把统计学教材重写:)

温哥华在97香港回归前迎来了香港最大波的移民,据说粤菜最好的大厨都搬来温哥华了,因此北美最佳中餐的美誉应该不会错。但是除了中餐,温哥华的日餐、韩餐也是一级棒的。加元现在才1:5点几,价格也很良心阿。不多说了,上图。




最后,温哥华市区在小岛上,三面环海,远处半小时不到的车程就是雪山,因此市中心任何角落眺望远方都能看到雪山,走路20分钟就到海边--实在太美了。

但是,据当地人说,温哥华在加拿大来说工资不高、房价其高,因此适合赚够钱了再搬来居住~

-----------------------------------------------------------------------------------

如果你是运筹学/人工智能硕博或在读,请在下图的公众号后台留言:“加微信群”。系统会自动辨认你的关键字,并提示您进一步的加群要求和步骤,邀请您进全球运筹或AI学者群(群内学界、业界大佬云集)。

同时我们有:【运筹学|优化爱好者】【供应链|物流】【人工智能】【数据科学|分析】千人QQ群,想入群的小伙伴可以关注下方公众号点击“加入社区”按钮,获得入群传送门。

学术界|工业界招聘、征稿等信息免费发布,请见下图:

编辑于 2018-04-07

文章被以下专栏收录