对话王立威：泛化理论能否催生AI理论的"牛顿时代"|ai|人工智能|牛顿|王立威

出品 | 网易智能（公众号 smartman163）

期号 | AI英雄总第91期

作者 | 小羿

作为北京大学信息学院教授，王立威对于人工智能的研究已有十几年。不同于其他的人工智能专家，王立威的主要研究兴趣在于机器学习理论。早在2010年，王立威就入选IEEE的AI’s 10 to Watch，是亚洲首位获得该奖项的学者，并于2012年获得国家自然科学基金优秀青年基金。

目前，王立威已经在机器学习顶级会议NIPS、COLT、ICML和顶级期刊JMLR、IEEE Trans. PAMI发表多篇论文。其中2008年发表于机器学习理论最高会议COLT的论文《On the Margin Explanation of Boosting Algorithms》是中国大陆学者在该会议上的首篇论文。

泛化理论：机器学习与深度学习的核心理论概念

在此次大会报告中，王立威详细解释了“机器学习”的涵义。他说，自然科学中的“机器学习”是利用方程式描述简单的数学规律，麦克斯韦方程组、牛顿定律、薛定谔方程、洛伦兹变换这些理论都是如此，而人类也曾像“机器学习”一样思考。但是，今天的机器学习技术，是设计复杂模型用于解决非常复杂的问题，比如区分猫和狗的图像，这类问题无法通过设计简单规则来完成。“今天机器学习的核心思想是，世界是复杂的，需要用极复杂的模型，从大数据中来学习。”王立威表示。

作为机器学习的一部分，王立威对深度学习的兴起以及核心问题做了解释。他称，深度学习的重要技术成就在于深度网络可以有效表示信号。早期人工神经网络是从人脑获得启发，有仿生的意味。而最新一轮的深度学习技术是2006年提出的，真正取得成果是在2012年。取得成果的核心原因是G.Hinton等人提出逐层预训练等新兴训练方法，以及硬件计算性能大幅提升和海量数据。正因为如此，深度学习在研究上新型网络结构不断提出，在应用上一些领域的表现不断被刷新。

“但是，目前我们缺少对深层理论的理解，人工智能在学术上最重要的问题就是要建立新的理论，解释深度学习所观察到的现象。”王立威说到。

在机器学习理论的研究上，王立威提到了泛化理论，他认为，泛化能力是机器学习区分于其他领域的核心概念。而泛化理论的目标是解释和证明为什么以及怎样提高训练集的准确性可以提高测试集的准确性。

王立威在会后的采访中向网易智能更加详细地解释了泛化理论的发展。他表示，早期的经典泛化理论认为，有多少数据，就需要相应复杂度的模型，如果少量数据用了非常复杂的模型，在已有的数据上的效果会非常好，但是在新的数据上效果会很差，新旧数据差异非常大。但是到了深度学习观察到的结果是矛盾的，“就像我们现在看牛顿定律并不是在所有场合都适用的，经典泛化理论也有自己的适用范围。”王立威表示，从学术的角度来说，我们希望建立一个理论去理解深度学习，而且近一两年有很多的学者在关注这样的问题。

诚然，如果用物理学理论来看人工智能学科理论发展，后者显然还没有到达“牛顿定律”的阶段。但是泛化理论让我们看到了人工智能理论发展的一些希望。

AI应用的两大限制四个商业领域

谈到人工智能应用，王立威认为，人工智能目前的成功主要是工程技术的成功。但是有两大限制：

第一，人工智能技术目前只适用于知识相对封闭、狭窄的领域。比如，人工智能在图像分类的运用上，所训练的图像必须预定分好类，如果图像没有提前分类是不可以用的。

第二，凡是需要人类通过常识、经验判断的领域，人工智能技术目前远未达到广泛应用的程度。比如2016年全国高考语文作文（见下图），对人来说这张图像容易理解，但对机器来说，虽然机器可以识别图像内容，但却无法理解背后的涵义，因为牵扯太多的背景信息。

图：2016年全国高考语文作文

在具体的商业应用上，王立威提到了四个领域：

首先是无人驾驶，王立威认为在无人驾驶领域，大大小小的公司已经积累了大量的训练数据，在常规道路上常规行驶不是问题，但真正落地应用还是很难，这其中的关键是无法应对极端情况，包括罕见的路况和天气。所以，王立威建议，无人驾驶领域现在要加大极端场景和突发情况的模拟训练。

其次是金融保险，目前人工智能在这一领域的应用热度很高，涉及量化交易、金融风控等。

再次是传统业务，比如AI赋能电力调度，智能养猪等等。

最后是是医疗健康领域，目前人工智能主要用于医疗影像识别，药物研发。

王立威表示，目前自己在医疗影像领域涉足较深。依托北京大学的一系列附属医院，王立威教授所在的北大信息学院与北大医学部联合成立了医信交叉中心，两个部门合作共同探索医疗影像的应用。