5月21日,机器学习领域的泰斗级人物、加州大学伯克利分校电机工程与计算机系和统计学系教授Michael I. Jordan到访上海交通大学上海高级金融学院(高金/SAIF),担任SAIF-CAFR名家讲堂主讲嘉宾,全面阐述其对人工智能准确内涵的理解。
“SAIF-CAFR名家讲堂”是高金和上海交通大学中国金融研究院(CAFR)从2009年起开始举办的系列高端学术讲座活动。高金副院长、会计学教授李峰在欢迎致辞中表示,作为按照世界一流商学院模式创立的国际化金融学院,高金在专注于研究和教学的同时,还积极打造开放的思想与学术交流平台。
他透露,截至目前已经有包括六位诺贝尔经济学获奖者在内的数十位海内外顶尖学者、业界领袖和政府决策者登上“SAIF-CAFR名家讲堂” ,传递权威且富前瞻性的研究和思考,当下人工智能领域备受市场关注,其在金融领域的应用也越来越广泛和深入,为此,高金力邀该领域学术泰斗力图从专业视角解读和剖析行业前景和挑战。
1956年,“人工智能”(AI)首次由麦卡赛、明斯基、罗切斯特和申农等一批年轻科学家在美国达特茅斯大学聚会时提出。但直至最近十余年,AI才迎来了真正的“勃兴元年”。此后,政府、行业巨头、资本等的关注和投入迅猛增长,AI迎来飞速发展。
对此,Michael I. Jordan教授在主题演讲环节中全面阐述对人工智能准确内涵的理解,他还详解了未来AI智能化和商业化存在的可能性。在互动讨论环节,他还与李峰教授进行对话,共同探讨人工智能在技术方向与商业模式上的前景与挑战。
以下是演讲实录:
Michael i.Jordan:大家好,非常高兴来到高金,也非常高兴能够在晚上跟大家做交流。我在伯克利大学分校很多学生晚上是不来上课的,今天讲人工智能,特别是讲一讲跟金融界的渊源。我也看到AI现在在金融和商业领域运用的非常多,比如说我们讲到很多AI在金融行业的应用,我们今天讲这个话题是很有意思,能够看看在高金AI能够有什么样新的应用。我希望讲的慢一些,有人是要戴翻译耳机,有多少人讲英文?戴耳机的人不多,很多年轻人英文还不错。很好。
我们可以看到人工智能已经日益成熟,在接下来20年、30年会越来越成熟,今天每个人都在谈论AI,它不是一个新的东西,以前叫机器学习我们已经叫了二三十年了,并不是完全全新的东西。机器学习是什么呢?其实是计算机科学当中工程学科,并不是什么神秘的学科,只是通过计算把一些数据进行算法找到一些规律,然后解决一些实际的问题,然后找到哪些挑战我们还没有解决,哪些已经得到了解决。我今天会给大家讲一讲人工智能有哪些东西做不了,当然我们还是看到人工智能已经帮我们解决了很多问题。我们下面看看AI这个词,我不喜欢说我是一个AI的专家,大家对AI这个说法现在已经用的很多,但是它是不是真的达到了智能还离的很远,我觉得人类的智能能够对世界进行抽象的理解,能够进行预设的一些前瞻性的规划,这一些才是真正的智能。我们现在对大脑的智能理解还不够足,电脑只是通过一些数据的计算来模仿人工的智能,所以还不是一个真正的智能。虽然它还没有达到成功模拟人的智能,但是它已经能够做一些东西,我们还是把它叫做机器学习比较好,尽管人们现在更多把它称为AI人工智能。
人工智能如果你解决不了问题,你说以后AI肯定能解决,解决不了的问题都推给AI,这是不行的,我们应该澄清这一点。另外我们从历史上来看,从上世纪五十年代就已经有人工智能的研究,而且当时把它称作是网络,网络是MIT的教授发明的,也做了很多信号分析,也对统计学和计算有相关的一些研究。所以当时虽然我们不叫人工智能,但是我们把它叫网络学。当时也提到不光是控制信号,不光是做一些数据的分析,应该做更多超过一些智能化的工作,包括编程,包括抽象理解,后来就创造了一个新的词用人工智能描述机器学习。把简单的数据处理用人工智能的词做了概括,所以基本上还是根源于数据的计算和数据的算法。
我们看看从那时候到现在,人们一直想要了解人的大脑的智能,现在还没有成功,都没有完全理解。我们应该把它叫IA,称作是增强智能更合适,用电脑来帮助我们人类的智能,让人类更加智慧。电脑本身达不到智能化,可以帮助我们来做很多事情。比如说搜索引擎,比如说百度Google也好让我们更聪明,记不住哪一个首都打一下字就给你答案就记住脑子当中了,可以增强我们的智慧。比如我们经常讲中国最长的河是哪一条,可能是长江,不确定,去网上搜一下,我的记忆有了搜索引擎以后极大扩展了,我感觉我这个人比以前聪明了。我们有的时候再看看翻译服务,你现在也可以在Google、百度里面把中文输进去,很快可以弹出英文的翻译,语音的翻译也已经实现了,通过麦克风,你的声音就可以被识别变成了文字,然后文字又翻译成其他语言,又被翻译成了中文。这就是没有理解的过程,只是把这些文字的东西转换成的对应的中文,对一些幽默的笑话或者是一些引喻或者讽刺的话,普通人很容易理解,机器理解不了,因为没有理解力。我们做翻译,我们后面有两位人员做翻译,我们现在就在做翻译,比如说我在讲两三分钟他已经听懂我讲的什么,记一些笔记,已经理解了我的内容,然后就把我的内容用中文表达出来,不是说字对字的翻译,他们不会被机器取代,他们做的是基于理解的翻译。但是现在通过机器翻译,确实是拓展了我在生活当中的便捷性,如果我有一个机器,机器当中可以告诉我有一些翻译,当然有可能翻译的不太准确,不能够完全帮助到我。比如说我去成都旅游,我个人到成都旅游作为一个老外,我现在靠着基本的翻译,至少我不会犯一些非常愚蠢的错误,起码能够问问路等等最基本的功能可以帮我实现,所有这些不叫AI,不叫人工智能,而是叫做智能增强,就是说帮人变得更加聪明一点。
我们从更加宽泛的意义上来看,过去40年,我们看到了智能基础设施,我们把它简称为II出现了,非常智能的系统可以为人类进行服务,并不是说我们要做出完全类人的机器人,而是像交通,智能交通能够让大家更加智能的更快的到达目的地,可以为人类提供各种各样的推荐。大家日常生活当中能够感受到的,通过数据的搜集做更好的预测,为你提供相应的推荐,这就是智能基础设施II,但是大家看到这当中出现很多问题,但是这个问题并不是AI的问题,而是系统的问题,稍后我会举一些具体的例子。
我们再回到AI,回到类人,我前面看到背板上说我这个标题是AI,但是我今天在这里不是来讲类人智能的,这只是当中的一部分,大家对类人智能很感兴趣,我们到底走到哪一步。比如说计算机的视觉,包括对听觉,我前面举的例子从语音转换到文本,确实目前计算机的视觉可以在视觉场景中进行标记,知道我走到哪里做一个标记,这就是它的极限了。我前面在小规模的对话当中提到所有有意思的领域,包括能源行业领域,金融服务行业领域,医疗方面领域都是类人智能目前做不到的。我们再来讲一讲数据的处理,现在我们可以在互联网当中大量的数据,比如说在图象识别中,可以识别出有一瓶水,或者有一只手,或者有一个宝宝,五年前图片识别也做不到今天这样的水平。但是现在识别率精确度可以达到90%,但是这背后的算法很简单,就有很多的数值的参数,比如说作为一瓶水,明显如果你认为这是一个宝宝,之前如果被识别为宝宝,你就说这是一个错误的识别。然后识别了1000次,被判错1000次之后终于识别这是一瓶水,从识别算法来说本身没有多么复杂,在互联网上做视觉标记。
现在所谓的深度学习,号称说在互联网中可以做到90%的图片识别率,但是一旦到现实生活中去一个摄象头来投射现实的画面,准确率可能也就20%而已。讲到人脸识别,大家感觉人脸识别脸都放到图片中央了,是不是很简单了,相对来说这个词汇量、词汇记忆非常有限,在实验室环境当中,你还是可以做到90%以上,但是在现实世界当中,可能80%都不到。语音识别问题比计算机视觉的问题更加明显,如果说对着话筒讲话把文字一个一个记下来这个是可以做到的,但是不理解文字的意思,这不是人工智能,是类人智能。机器的翻译只是找一个对应,找一个映射,但是自然语言当中有一些对话系统,比如说一问一答,有一个很简单的例子,我问计算机中国最大的城市是什么,它说北京。这个很简单,就是通过最关键的词,最大城市,中国你把这几个关键词输到百度搜索当中,你会发现答案出来是北京。你问说中国第二长的河流是什么,大家可能都知道这个答案,但是如果用百度搜索这个,你会发现答案是非常可笑的,因为最大的城市很容易结合出来的结果,但是如果说不是第二大的,或者说不在第二大河流旁边的城市是什么,这个机器就反映不出来了,因为不是确定性的,是否定的一种表达,还有在什么附近对机器人来说一下没有办法理解了。比如说我从上海想坐火车去杭州,你通过搜索说上海到杭州,可以告诉你怎么去。但是可能九点之前我去不了,因为我要先做一个演讲,但是我又想到我有各种各样的限制条件,比如说几点到几点做另外一件事情,你跟人沟通这个事情很快可以缩小到固定的范围,或者告诉你最后的答案,但是你跟机器进行这样的对话机器马上混淆不知道怎么办。
Google之前就出现了这样的例子,Google之前测试说人类和机器对话,对话了半天不知道对面是机器。但是说实话,首先是把机器的声音做了仿人声的处理,他们还加入人类的习惯表达,听上去这个机器是在思考,机器完全没有思考,只是特别模仿人类沟通的时候发出的声音。但是有一些简单的一问一答机器还可以理解,当时这个人想做预约剪头发,他直接说了我明天早上11点可以预约吗?机器就说行了,如果跟机器说的复杂一点,明天早上我们家里空调等人来修,空调修完之后才能剪头发,能不能安排这样预约剪头发的时间,机器就完全没有办法处理了。再比如说我今天要去接儿子,儿子踢足球要去接儿子,半路出现什么样的情况,但凡把对话做的复杂一些加入额外的情况机器就没有办法处理了,这是现实世界,现实世界就是这样的复杂。我想自然语言处理这方面的案例有很多,我觉得我有生之年,机器应该是没有办法解决这个问题,没有办法实现的。
机器人技术也是的,我们在工厂当中已经看到很多工业机器人,但是能够在真实的环境当中与人类进行互相交流的机器人,我想也是很难实现的。即便是我们把之前的问题,把上一列为还未可实现原始形态的事物,就算把它们处理掉解决掉,人工智能还是非常有限的智能,还会有新的问题出现,之前所有的语音的问题还不是最重要的问题,真正重要的问题是什么?在这里我想跟大家探讨一下。但是我们想是不是先说一说十年之内会实现什么吧。我前面所说的不可能,可能在十年后慢慢的看到一些迹象。比如说你可以打电话说我今天买了一台冰箱,但是冰箱好像坏掉了,机器会跟你说你试试插头有没有插上,这些简单的对话可以进行起来,但是我仍然认为这些人工智能系统会非常有限,至少现在很多人类还是可以轻松处理,机器要非常挣扎能够处理。
在我们的有生之年,不太可能实现的有什么呢?我现在在做一个演讲,在做演讲这个事情上就是非常抽象的概念,什么叫做做演讲?这背后有社交的理念,机器只能知道我站在这里,我站在舞台上,机器所能识别出来的就是我站在舞台上,它不能理解什么叫做演讲,这对于机器来说,在我们有生之年都是很难实现的。另外是做复杂的计划,尤其是充满不确定性的计划,人类对此应付不确定性非常在行,但是机器就不行。玩游戏、下围棋是有确定性的机器做的好,但凡有不确定性就很难。所以这些类人智能,他们有一点点像知识非常丰富的小孩子,它们可以知道乌兰巴托是哪个国家的首都,这些非常冷僻的知识点他们都知道,但是他们没有办法理解很多对我们来说是非常自然的事情。
大家知道现在有很多盒子跟你对话,你跟它对话几个礼拜之后,你会发现它没有记忆,不知道你这几个礼拜之前做了什么,也不知道你明天计划要做什么。我经常会问到这个问题,所谓的超人类智能会不会统治我们,我告诉大家短期之内绝对不可能发生,我们还远远没有到这个程度。我们为什么要开发造新的人?我们人类已经够多了。给我猜的话要500年,我们要能够创造出来和我们一样智慧的人,可能要500年。但是等真到那时候,已经出现了很多新的时候,计算机本身互相连接的程度已经超出我们的想象。大家是热炒,我一直都说我们应该把这个讨论放在实实在在的事情上,不要单纯去炒作。
所谓实实在在的事情是什么呢?首先是人工智能貌似智能,但世界上并非如此,比如说在医疗领域,包括在金融投资领域让人发生大笔亏损,或者交通智能系统,反而是造成了拥堵。这些看似的人工智能系统,但事实上却崩溃了,不起作用。很多人会失去工作和收入,大家说机器崛起之后,人们将会丢失工作。人一直在受到工作方面的威胁,因为机器崛起之后,人丢失工作的速度大大超越了以往。再来就是人与人之间的差距,当然还有居心不良之人滥用人工智能,这些是值得我们关注的。这才是我今天真正要讲的,看上去这一页满满的写了很多技术名词,但是这是我的主体,这是近期内的挑战,也是我在主攻的,也是我们在这个领域的人都想主攻克服的挑战。我从当中会挑两三个仔细展开讲。但是我先把这个总体给大家介绍一下,到底这些挑战是什么。
首先多重决策的错误控制,传统的AI不考虑这个,他们说我要造出像人一样的机器人,但是如果像一个人,一个时间只能做一个决定,或者说一系列的决定。但是如果说涉及到医疗领域、金融领域,可能是一个小时要同时做上成千上百个决定甚至更多,所有决策都得是正确的。一旦这个角色当中出现大量的错误,大家可以想想基础设施会发生多么大的灾难和混乱,我们做多重决策的时候要进行错误控制。大家想一想我们从这里要去机场,机器告诉你最快的一条路线,但是人人都选择那条路线是不是就造成拥堵了,这就是这个问题。比如说推荐餐厅也是一样的,我们同时推荐所有人都去同一家餐厅,那肯定餐厅坐不下那么多人,也是会出现问题的。所以我们不能再去按照传统的一个时间做一个决策的思路去做人工智能。另外这些系统能够创造一些市场,能够给人们带来价值,能够让人们在市场当中获得一些收益,这才是我们要的。比如说我们看到在计算机时代,它们能够给我们创造一些真正的市场的体系,比如说我到网上去看电影,我建议推荐一个电影,也给你推荐一个电影,这是可以的,可以把电影推荐给所有人,网上去看无所谓,大家去网上看就可以了。但是你要推荐餐厅或者提供座位,同样的餐厅给所有人,这个餐厅就会挤满人,没有那么多座位。在真的世界当中,其实资源是有限的,而在网络当中资源是无穷的,所以在市场上,我们需要有一些开创性的系统来保证市场能够运作。
另外不确定性,机器学习现在还应对不了不确定性,数据量很大,有一些算法,把请求给出一些答案。比如说你对答案有多确信不知道,告诉不了你有几分的确定。另外推荐网页或者推荐搜索结果,或者是给出医疗建议方面的列表,你去看医生,医生说我今天用人工智能来协助我诊断,把你的身高、体重、血液、检查、基因等等把数据全部输入到神经网络,神经网络给出一个答案,这个神经网络可能会说你有心脏病,你要做心脏手术,下礼拜就要做。然后你可以说谢谢,我就给你做手术吗?还是要找医生问一问你确定我要做心脏手术吗?是不是要更多的检查或者数据,你知道我是吃素的,我的血液指标跟正常人不太一样。这里面有一个特殊情况要考虑,我是典型的心脏病患者还是非典型性的,AI告诉不了你,只能给你普遍的结果,所以我们目前还不能用人工智能来推荐医疗方面的建议。
另外是管理云和边缘交互。比如说开车,我们会实现自动驾驶,有生之年我们可以见到自动驾驶的实现,但是要真正造自动驾驶的车,你可以让一辆车用电脑来代替人成为驾驶员,让电脑自动进行驾驶。但是在路上不可能只有这一辆车跑,有成千上万的车辆,并且车辆要进行信息的交互,每一个车都要找一条比较快捷的道路,而且要考虑到其他车辆的情况,不是说你去找一条去机场最快的路就行了,你还要考虑到其他的车做决策是如何情况。另外开车遇到树倒了拦住去路,把信息要告诉所有其他的车辆。车辆得到的信息之后,就可以把信息传到云。如果说一个车碰到了前面有一个小孩儿,要把这个信息传到云上问前面有一个小孩儿要停车还是压过去,肯定没有时间,必须要做出单机的决策。机器要不断的学习,要提升学习能力。所以这样的云要把所有的信息同步到车辆当中去,但是有的时候每辆车还要有能力应对特殊的情况,具体的一些情况。再拿银行举一个例子,确保每个人都同意我有多少钱在这家银行,有多少钱在那家银行。你要通过审计才可以发现具体的数据。这跟自动驾驶是一样,大家都必须要达成一致这个比较难,就叫云和边缘交互的管理,这是近期内的挑战。
另外是抽象,我刚才说人类对抽象的理解能力非常强。但机器在这方面还是很难设计快速抽象的系统,最近有一篇文章讲到人工智能革命已经发生了吗?是我的学生写的,在网上大家可以找到。在他的文章当中举了一个例子,医疗的例子,15年前我太太怀孕的时候,我们去看医生,做了一个超声检查,超声检查放到腹部探测胎儿的情况。我们看到了孩子在肚子里的样子,但是还有妇产科的医生在病房里,然后跳的地方是胎心,心旁边还有白色的点,他说这些白的点是钙,也是一种唐氏综合症的指标,所以我们决定到底是不是真的有唐氏综合症,他说我们还要做其他的检查,在子宫做穿刺进行DNA检查进一步查是不是有唐氏综合症。后来我们就去做了,当时做这种穿刺有2%的机率会造成胎儿死亡,数据是从真正的案例中做统计,我们还要衡量一下这种风险。当时想说这个数据从哪来,为什么说2%,我找到英国有一个医生十年前做的调查,他们通过上千个影象做了唐氏综合症筛查的准确率,他们做的很好,机器也做了学习,机器有一个小的屏幕。新的机器屏幕很大,像素也很高。像素不够你的白点就变成了噪音,通过放大噪音也放大了,我当时觉得要有新的机器,原来旧机器的检查不行了。他跟我说五年前刚弄的机器,也做了很多唐氏综合症检查。我说我们不做检测,我觉得这不是问题,这个问题是因为噪音的造成。后来我觉得这不光是我和医生的问题,不是说数据的问题,我们可以看到整个医学界拿了很多数据,包括来自英国的数据,从英国的研究的结果,十年前的研究结果拿来用于今天的检测,这是医疗体系落后的,而且我们看到每天全球很多人都在做超声检查,每天都会在超声波中有一些白点出现,他们做了成千上万的超声波检查,会有一两百人做进一步检查,里面只有二三十个只有唐氏综合症真正被诊断,这种数据为基础的,有一些数据只是从一个地方当时收集起来了,可能再过多少年以后再拿到另外地方用,相关性不是那么大。比如说你去ATM去取钱,在这里取了钱再到那里取钱是可以的。但是医学的检查结果就差一点,关于学习和预测系统当中溯源的信息。
我们还可以做一些搜索,比如说在搜索上海餐厅,如果给你结果错了,那也没有关系,但是对医学情况下就会致命了,或者用于金融或者交通有很大的麻烦,必须要有很好溯源的信息。还要能够解释自身决定的能力,现在还做不了,大家目前也见到过这个问题,如果你来贷款买房子,我说不行,不给你贷。你可能会说为什么不贷给我呢,你的信用值不行,信用比较低,不给你贷款。我们至少有一些这样的解释的能力,但是AI在这方面现在还做的不行,未来我们要设计更强的解释自身决定的系统。另外还要查明原因和执行因果的推理,搞清楚因果的关系。比如说变量造成了结果,你要能够在这两者之间建立起因果的推理。这些可能还需要花几年,如果不是十年至少要花几年的努力才能够解决这些问题,实现这些能力。
我们再看看具体的问题,比如说多重决策,多重决策有两方面。我们研究者在这方面做了哪些工作呢?也是我的一部分研究。一个是统计学的问题,这里面有经济方面的影响,统计学方面大家也听说过一些,比如说我们做决策如果是有错误的信息,那你做出决策也是错的。经典统计学对这个比较重视,还有一种是假设,有人提出一个假设说你吃珍珠豆,珍珠豆造成你脸上长粉刺,这是一种可能性,如果吃很多的珍珠豆,可能脸上会长分词,还有一些假设可能会有经济价值。要经过下一步的测试,比如说流动性泛滥会造成利率下降,这些都有假设。在基础假设之后做一些测试,随机挑选50人,50人让他每天都吃珍珠豆吃50天,另外一组是对照组,让一个豆子不吃,6个月一颗不碰。半年之后对比一下吃珍珠豆是不是脸上的粉刺越来越多还是有什么样的现象,好像没有直接的因果关系。有人做了这方面的统计然后做量化分析,做了这个测试以后并没有证明这个假设是对的。我们经常用这样一些问题做统计,比如要买哪支股票或者其他的问题,这些问题解决不了我们再问其他的一些问题,可能在吃珍珠豆颜色有关系,绿色的会造成脸上长粉刺,重新回过头做统计,科学家会告诉你实验不同的珍珠豆都做一轮,红的做100个人,你可以做不同人群的50个给他红的珍珠豆,再过6个月以后看具体情况怎么样,每次做这样的实验,本身的随机性会造成一定的结果。比如说50个人正好脸上有粉刺放到这组中,也有可能对照组的50人本身粉刺分子好一个粉刺没有长过,造成结果的错误,造成吃绿色的珍珠豆长粉刺,实际上是人群的选择也有问题。你如果做上百次的实验得不出什么有意的结论。大家明白这个有随机性,对于科学家来说一旦发现吃了绿色豆的人长豆了,直接发出结果说我发现吃绿色的豆就会长豆,科学家把这个结果公布出去了是重大新发现。媒体在科学杂志上看到了媒体一宣传一炒作又向全世界推广了,这是大家耳熟能详的,大家想一想身边很多案例都是这样发生的,尤其讲到减肥这个问题,大家想想日常生活当中的减肥到底是碳水化合物和不吃碳水化合物,各种各样导致增重的原因太多了,在这个行业中做实验的人太多了,不断会发生各种各样的关联性都信以为真,都把它发布出来。
在这些领域研究结果,对大家日常生活不会造成太大影响。但是在其他领域中多重决策会对人类的生活造成实实在在的影响,一旦发生错误之后,会出现严重的后果。作为我们研究者来说我们如何降低这种情况发生的概率呢?这是我手头在做的工作,很多时候是和做概率、做统计的人打交道,并不是说大家都是研究机器学习,大家越投入我们的领域就会发现更多的时间是在做概率在做统计。
讲一讲我们是怎么来做的,我们有真灵假设和非灵假设,把结果分成这两类。我们需要的是真灵假设,这些假设如果得到结果,我们没有实实在在发现任何科学发现,这些是我们发现了东西,有一些新的结论出来。我们在虚线中是好的实验结果,在这样的组合中,大家看到有四种组合。机器学习往往是看一个总和,对于计算机视觉来说,这样的假设方法是可以的,我们有另外一种定量控制方法叫做错误发现占比,大家看到在这里结果是2,用V除上R,这是比较合理的错误控制。假设说我做了大量的数据,我发现了100个结果,类似于绿豆可以长痘痘,其中5%有一个错误率,所谓的5%是我们发现的错误发现占比FDP,我们再把它做一个平均数,这是叫做错误发现率FDR,这个很有意思,这是30年前就出现了,我们想确保FDR在5%比例以下,我希望我在有生之年最后会说我做了很多决策,但是只有5%的决策是错误的,这感觉是对我人生比较诚实的总结。传统的统计学没有办法做到这一点,因为你没有办法控制错误率。你如何控制到这一生发生的错误决策不到5%呢?要么把V给缩小,要么把R给增大。作为科学家,我们每次做测试,如果我们没有做出任何结论,没有得到任何发现,你就把R给提升上去了。但是大家知道目前的模式,科学研究的模式是如果你拿不出研究发现结果来你的钱就没了,资金赞助就没了。但是如果你有重大新发现才会拿到钱来。但是如果在某些领域你始终没有进展,科研预算就没有了,你会怎么做?你就马上想进入新领域,能够拿出科研成果的新领域来,作为科学家这是非常现实的问题,这个领域我做不出成果来,我要到做出成果的领域来。一旦拿出成果来,我又拿到科研资金了。所以通过这样的模式,可以激励科学家更好的找到他能够拿出科学成果的领域,我们从系统设计上来讲,应用的概念也是一样的。
我们总结一下FDR的控制,我们可以说统计学重要的早期研究都显示在强假定,被检验的各种假说之间都是相互独立,在强假定的情况下如何控制FDR。但是我们现在最近的研究已经去除了这个假设,使得假设之间有逻辑相关,也可以是概率相关的。这是我们在2018年刚刚发布的论文,大家可以在论文库中可以检索到,也可以去下载。这就通过这样的算法,我们可以去降低FDR,可以在人的一生当中降低错误的发生率。这个结论可以应用到各种各样的软件中去,而且这已经是我们发布的论文的结果了,任何人都可以应用这个算法。这是我演讲当中技术性最强的一部分,接下去是比较容易理解的。
我们来讲一讲附载均衡的问题,前面我们讲到现实当中的资源是稀缺的,假如现在要做多重决策了,给在座各位推荐参观。假设我们的推荐都是好的,但是把同一个推荐都介绍给大家,餐馆里没有那么多桌子和椅子,这个问题怎么解决呢?我可以有一个更好的平台,微信等等其他的平台,既了解个人的偏好,又了解各个餐厅的优势,让每个人都能够找到他想去的餐厅。但是事实上从扩展上来说做不到,我们换种思路,怎么办呢?我们要利用数据创造一个市场,什么意思?我们还是以现实生活来举例子,在九十年代末、二十世纪初的时候,亚马逊做对了三件事情,亚马逊之所以是亚马逊,首先是用到了机器学习,用到了欺诈检测。大家知道亚马逊在起步的时候,信用卡欺诈3%的比率,亚马逊觉得这个太高了,他们用机器学习的技术大大降低信用卡的欺诈率。第二个他们做了供应链的建模,他们所供应的产品达到数十亿级的SKU,大家知道每一个产品背后多多少少的零部件来自世界各地,而且还要运往世界各地。要实现这样的事情,必须要去做整个供应链的建模,什么样的产品从哪来,他们是坐船来还是坐飞机来,半途发生风暴怎么办,这也是利用机器学习做到了,亚马逊在这方面做出了非常重要的决定。第三个亚马逊的推荐系统,它们从人类那边收集的数据,你在亚马逊或者在阿里巴巴上面买了几本书,另外一个人也买了和你类似的书,亚马逊会觉得这两个人的兴趣爱好是一样的,把A买的书推荐给B,这是他们的推荐系统。但是今天早上你来拿到推荐是看哪几个电影,晚点的时候另外一个人进来了,又为你推荐了一些电影。但是也有可能给两个人推荐的电影是一样的,从电影转到书可以吗?因为没有资源稀缺的问题,你同一本书推荐给一万人可能书短期会脱销,问题不是很大。餐厅大家感觉一下立马出现问题了,从电影到书到餐厅,再到给司机推荐同一条路线,如果推荐大家都买同一支股票,如果系统是做金融投资决定,如果同时服务5亿人,我知道现在中国的很多互联网金融公司在做这个事情,但是很有可能你推荐所有人购买同一支股票,股价会很快被抬升上去,使得整个股市都引发系统性的风险。
我们怎么去解决这样的问题呢?这当中还涉及到经济学的道理,我们假设就以餐厅为例好了,大家要去餐厅吃饭,我要去创造一个市场,而不单单只是一个平台。餐厅主手机上的APP和消费者端是不一样的,餐厅主这边的APP上面写的今天晚上我有50张椅子可以卖出去,我希望是年轻人或者是住在附近的人来我饭店里吃饭,你可以制定各种各样的规则。从7点钟开始就推荐了,大家7点钟看完电影了,大家觉得饥肠辘辘。消费者这一端的APP上显示首先推送给餐厅主,现在有很多人出来了,他们要来吃饭了。当然你要知道这些消费者每个人的偏好,有些人喜欢吃川菜的,所有附近的川菜厅都来竞争同一个客户,可以通过竞标的方式,比如说10分钟之内你点我们的按纽来我们餐厅吃饭我们就可以打九折,不单单是做广告,是有实实在在的推荐,配合实实在在的折扣优惠的。如果说你点了这个按纽,从餐厅主那边就可以看到已经有人明确要定了桌子了,我少一个椅子。一旦50张椅子都卖完了,不再给予今天晚上的优惠了。消费者那端立马看到这家餐厅不行了,另外一家餐厅可以看到某一家餐厅可以买了,我们可以竞争客户到我们餐厅来。这背后包含大量的数据,但是是动态选择的过程,当然也可以用这个打造忠诚客户计划,我们在平台上可以看到一个人经常去一个餐厅,你可以买十送一,去十次可以免费吃一顿,如果说建立了这样的忠诚系统,他们不会就轻易转到另外一家餐厅中去。所以这不单单只是你观察人们的行为收集数据,然后投广告,从广告当中收钱。大家可以看到背后创造了真正的市场,我们前面举例子说10分钟之内点击可以打九折,消费者也可以选择我不喜欢这个餐厅,你就选我不接受,你在不接受之后还跟进一步问我给你打8折来不来,或者餐厅主也可以选择不要锁定客户了到下一个客户动脑筋也可以,当中的变化是无穷无尽的,这个就是所谓的多重决策。我希望这个能够给大家带来灵感,这不单单只是收集数据,真正产生交易的数据,数据真正可以转化成实在的交易。但是创造平台的人仍然可以赚钱,比如说5%的钱,不代表把所有的钱都赚走了,这就是创造市场的意义。
我再给大家举一个例子,刚才讲了餐厅的例子,我们看看其他的一些领域,人和机器的互动。包括数据时代的音乐,我们可以通过AI可以创造新的工作,我们经常说AI能够能让人失业代替人的工作,但是AI也可以产生新的工作。比如说现在制作音乐的人比以前都多得多可能是以前10倍的,现在有一个电脑,有一些软件,你自己就可以编曲来编写音乐。比如说你是开出租车,到了周末在家里你就做音乐也是可以的,你也可以用一些软件来做音乐,而且把它放到网上进行交易。听音乐的人也比以前多了,有一个网站让人们从网上听音乐,有了服务听音乐的人一下比以前多了很多。做音乐的人放到网上免费听,也没有赚到钱,想了一个办法能够把广告放到网上,通过广告来赚钱。这也产生了市场,比如说我有一家公司,我获取很多数据流,我有合作伙伴买了YouTube或者别的网站,哪些是听音乐的,每次有人听音乐把数据记录下来,把它作为数据库,比如说你周末会写音乐,周末把音乐写好放到网站给别人听,但是不知道是谁听音乐,也许音乐比较流行人家不去听我们就弄一个控制面板,你可以到网上看哪些人听音乐,通过这样的数据可以分析,这些数据可以帮助你产生经济效应。深圳很多人听你这个音乐,音乐周末有很多听众在深圳,不管什么原因听众找到了,发现你在深圳挺受欢迎了,你去那开一个音乐会,开一个演唱会,开一场赚两万块钱,一年赚三五次,跟你开一年出租车的钱差不多了,你可以不要开出租车了,可以变成专业的音乐人了。
现在的情况,我们的明星就那么几个人,他们赚的钱太多了,其他做音乐的人根本赚不到钱,这种情况不均衡。这家公司想出这样的办法,他们在美国做了这家公司,公司是几个音乐人创建的,不是说瞄准大的明星,找普通的音乐人,他们用数据分析,看看哪些人听哪一个音乐人的歌,找到听众的地理分布情况,让他们去那些地方开演唱会。发现这些人特别喜欢听某一个人的音乐,跟这个人说你去那边开演唱会可以赚到钱,平台只收5%的佣金,主要交易的钱还是听众和音乐人之间进行。另外也可以向粉丝提供优惠,也可以针对粉丝来举办一些音乐会。未来中国也会出现这样的商机,一方面创造很多新的就业机会,比如说以前做音乐的人也赚不到钱,有了这样的工具也可以成为做音乐的,把音乐变成一个职业。另外也可以提供其他的服务,除了音乐之外,也可以做新闻,然后也为消费者提供他们所需要的新闻,通过机器学习,通过人工智能的一些数据,能够创造这样的一些数据流和创造市场,我觉得我们不用天天想着怎么做超级的人工智能,能够做到这一点,已经是很大的成绩。这也是不小的挑战。
我们简单讲一讲这个,也是很简单的经济话题。现在我们有更便捷的方式分享一些数据,我们要做医疗诊断,要把全世界医院的癌症细胞、癌症的组织,所有的数据库放在一个大的数据库中,然后可以了解癌症的技能,或者癌症的发病情况。比如说你在整个基因当中,其中有一个基因不发挥作用,可能会造成癌症的发生。基因的显性会造成癌症细胞的发展,你如果能够发现这样的情况,你可以做大规模的实验,然后通过克隆技术,把隐性的基因进行克隆,看看是不是能够让全世界各种的药测试哪一种药把癌细胞杀死,通过这样的测验,我们能够找出最好的药来治疗癌症。下次有了新的病人来分析他的肿瘤,测试一下他的基因,告诉哪一个药对他的肿瘤是最有效的,或者也可以让他服用一系列的一揽子药解决他的问题,能够延长他的寿命。现在没有可能做到这一点,因为医院不愿意把数据分享过来,不管是法律问题还是其他的原因,医院的数据还是相互独立,没有整合到一块。我们看到公司面临很多网络欺诈或者其他的欺诈情况,你如果把所有的欺诈和诈骗电话的号码全部放到一个机器数据库中,所有的公司可以从中获益,目前各家公司不愿意把数据共享,不管是隐私问题还是监管的问题没有拿出来共享,这些问题还没有得到解决,我们可以做这些事情把这些问题解决。比如说百度给我一些数据,把百度的诈骗,或者是网上欺诈的情况汇报过来,再拿到腾讯和阿里巴巴,我作为第四方,作为独立的公司,把数据拿过来以后进行分类整合,建立一个大的分类数据库,把它打造成全球最大的诈骗信息数据库。你不用把所有的信息都给我,我们也不可能手机你所有的信息,你就把你想要给我的一些信息给我就行了,有的不一定正确,有一些噪音的数据也可以,有的这些数据不怎么好也没有问题,你决定你把什么数据给我就把什么数据给我,我把你的数据拿过来以后进行评估,我们可以对数据进行处理设置95%的置信区间。阿里巴巴的数据假的太多,或者没有达到置信的标准,我就把它全部拿掉,我们只留了腾讯和百度的数据。如果说我知道阿里巴巴给我们的数据是好的,就把百度的数据排除在外,只关注阿里巴巴的数据,执行率会超过6%。可以通过对数据进行评估和评级,保证把好的数据留下来,把坏的数据剔除出去,保证我们数据的质量。刚才把数据都拿过来以后,有一些要对数据进行请求,比如受到网络攻击之后把数据交给我,不管是不是黑客,百度给我的数据质量不行,你给我的数据什么质量,我给你的答案也是同样质量的,也给你一些有噪音的数据,阿里巴巴给我的数据质量比较好,在我的数据库当中进行查询和请求的时候我给它返回的反馈也是相对质量比较好的。大家可以看到你给我的质量差,我给你的请求结果也是质量比较差,最后大家的质量都会提升,慢慢的数据都会提升。百度看到这次我请求给的反馈很差,下次给你的质量就高一点,通过这样的市场机制,我们整个数据的质量就会提升。当然可以在数据当中增加噪音,或者是为了隐私的问题不会把更高质量的数据给我们。但是我们可以看到通过这样可以实现数据质量普遍提升,这是可以让我们提升数据共享的质量。
最后想讲的是增强学习或者强化学习,AlphaGo也是强化学习的结果,强化学习现在还没有成熟,我觉得AlphaGo本身也不是巨大的成功,我们等会儿有时间还可以再讲。另外我们还要看如何做出一些决策对我们世界产生深远的影响,有很多数学的研究,研究了强化学习。强化学习涉及到几个,包括优化,四十年代五十年代就有了,包括其他的领域都得到了英语,这是强化学习。我们有数学的方法,我们希望能够把它真正扩大规模,这样才能够提升成功的概率。如果是用模拟器的时候,我们已经进行了数百万次的实验,这是强化学习的分布式执行框架,这里面有网站,网站上有一些代码和信息大家可以上网去了解,我不详细讲,我就简单说一下Ray到底是什么样的算法。它是和两个解决方案做对比,一个是Spark,还有一个是MPI,这几个都是目前比较常用的平台。把所有的数据拿来以后分成几个小块,每一个小块进行并行处理,保证每一个信息在运行一段时间,完成之后进行下一步。这是按顺序进行的顺序处理。而强化学习就像做搜索的结构,比如说先测试这个运动,如果对的话进行下一个,就像树杆一样往下做,另外一种是沿着树枝做完一个再往下一个树枝,这是AlphaGo做的。问题是在一些树干上有一些是行不通的,必须等到其他的处理完成之后再做另外一个。比如说你可以发现如果在这个树杆上测试很快结束之后就不成功马上做下面一个树杆的测试,通过这个图大家可以看一下Ray的体系结构,有对象的储存,还有本地的调度。让所有的工作机能够来同时进行数据的处理。如果节点数达到60,每秒人物数达到百万级,我们在金融领域也看到一些应用,我跟一些人也了解了金融领域的应用。大家可以想象在很短的时间内做大量的测试,用Spark做测试速度太慢,Ray的速度比Spark的速度快100倍。比如说有人喜欢腾讯,你看看的它做的是怎么样的,按照它的平台做。如果是其他人比腾讯做的更好,就用其他人的平台,大家竞争让速度慢慢提起来,Google的速度已经很快了,但是它也没有作为私有的,把它变成公开做测试共同提高速度。
最后给大家看一个案例,一个视频,这是机器人模拟,它有60个关节,对于肌肉和动力学去进行模拟,就好像你的肌肉上有60个线把它们牵住了,大家觉得没有办法去编程,而且我们希望这个机器人不仅仅是可以站起来,可以往前跑,你怎么让机器人学会跑呢?我们用了最傻的一种办法,就是尝试各种的行动,如果说往某一个方向开始前进了那就是对的,如果没有往那个方向前进就是错误了,错误了再尝试,尝试直到往那个方向前进。计算机可以进行无数次的尝试,这听上去很愚蠢的办法,但是是有用的。从视频当中看一下是怎么学习的。大家看一下,这是在刚讲的Ray的平台上做的。如果能够往某一个方向前进的就是好的,如果不是往那个方向前进就是错误的。大家看十次迭代,二十次迭代还是在往下跌,根本走不起来,100多次迭代之后开始往前走了,上面是迭代的次数不断增加,开始走的越来越稳了,而且走的越来越远了。大家看640次迭代之后,它知道可以用膝盖的关节了,在2000次迭代的时候,大家看有点比较傻的在跑,但是确实是跑起来了,这是一年之前的测试。2000次迭代左右之后就像人可以跑起来了,不仅可以做人,各种各样的生物都可以去试,包括没有见过的生物,让它学会去行动。发现原来后腿可以用来稳定,前腿是用来前进,这就是机器学习。它是自己去发现,没用我们教给它,完全是自己发现的。这是我们让它站起来,站起来不容易,光靠这些关节。某一次迭代之后发现知道怎么坐起来了,然后发现要用腿,终于在迭代了1000多次可以站起来了,这并不是什么魔术,并不是奇迹,当然这不是我们人类学习方法,我们人类远比机器学习的快。大家可以感觉到机器可以通过什么方式去学,当然这是要执行非常成功的一种学习。
再给大家看一个视频,这其实对我们现实生活当中很多问题都是有所启示的。大家都想去火星上探索,我们探索其他的星球。但是真的要把机器人送到星球上是很难的,如果要送到月球上或者其他星球上重量很重,一旦重了之后很容易摔坏。这是通过我们的加强学习做到,这是非常轻的铝制品。原来是压缩在一起的,到活性上才展开,教他如何去移动。在地球上大家感受不到他的应用,在火星上就很有意思了,这个机器可以在火星上到处走走看看,包括跌倒也不是问题,可以再学习再走。
这是我今天晚上演讲的部分,我想我就讲到这里。