小学校长新学期寄语刷屏经历是最真实的成长

“经历是最真实的成长”——长春一小学校长新学期寄语刷爆朋友圈

新华社长春2月26日电(记者郎秋红 李双溪)“亲爱的孩子们,2020年的新学期,特别想对你们说三句话:对大自然,对生命心存敬畏;爱和勇气是我们前行的动力;请相信明天定会美好。”

例如,当 ProPublica 的记者试图为累犯预测专设的COMPA模型解释时(Angwin et al., 2016),他们似乎错误地认为,如果一个人可以建立一个近似于比较的线性模型,并依赖于种族、年龄和犯罪历史,那么COMPAS本身必须依靠种族。

在过去的几年中,计算机视觉领域深度学习的进步导致人们普遍认为:针对任何既定的数据科学问题,最准确的模型必须是复杂且无法解释的。

我们的团队决定,对于像信用评分这样重要的问题,我们不会为了解释就向评选团队提供黑盒。 取而代之的是,我们创建了一个即使没有任何数学基础的人也能够理解的可解释的模型,我们认为该模型可分解为不同的微型模型,每个微型模型都可以独立被理解。

从此次成立的新实验室来看,阿里深谙此道。

“校长的话不仅在孩子们的心里种下了宝贵的种子,也促使家长们思考自己在教育中的角色和责任。”学生家长马铭蔚说。

也许,如果司法系统仅使用可解释的模型(我们和其他人已证明同样准确),那么 ProPublica 的记者将能够撰写不同的故事。例如,也许他们可能会写出这些分数的印刷错误是如何频繁发生的,而没有明显的方法来解决它们,导致司法系统中改变生活的决策意见不一致(see, e.g., Rudin et al.,  2019) 。

与此同时,高清视频与5G的应用涉及诸多视频编解码问题。

雷锋网原创文章,。详情见转载须知。

场景的高要求与现实的低发展,意味着在视频编解码领域有较强竞争力和丰富底层技术储备的公司将在超高清赛道中具有卡位优势。

之前,、百度、京东都加足马力进入赛道。

于伟告诉记者,过去我们常常要创造一些情境,对孩子进行爱国主义教育、生命教育、信念教育等。这次突如其来的疫情,本身就是一个真实的情境。应该利用好这个特殊的时期,让孩子知道什么是责任感,什么是爱心,学会关注他人、关注社会。

此外,当科学家在构建模型时他们知道自己在做什么时,它们可以制造出更好的AI系统,来服务于依赖它们的人类。 在这些情况下,所谓的准确性与可解释性之间的权衡被证明是谬论:具有更多可解释性的模型通常变得更准确(而不是更少)。

前端像素的提高给视频传输和后端录像存储带来了巨大的压力,在相同的编码压缩比例下,用户需要投入更多的设备和资金,因此编解码技术的改进无疑成为了视频监控技术发展的焦点,也是当前众多视频厂商争相发展的技术课题。

而且,高清视频也大大提高了对视频编解码能力的要求。

我们需要坚持不将黑盒模型用于高风险决策,即除非根本无法构建能够达到相同准确性水平的可解释模型,否则我们不要将黑盒机器学习模型用于高风险决策。

杜克大学副教授 Cynthia Rudin 、耶鲁大学副教授 Joanna Radin 基于首个对黑盒模型提出可解释性需求的挑战赛——“可解释性机器学习挑战赛”,对这一问题进行了思考,并发表在了哈佛数据科学计划与麻省理工学院出版社联合推出的刊物《哈佛数据科学评论(HDSR)》上。

他们看到未来智慧城市是硬件为软件服务的时代,做物联网时代的大数据运营商成为互联网巨头争夺的目标。

XG实验室将成为阿里智慧城市攻关克难路上的强大技术后盾。雷锋网(公众号:雷锋网)雷锋网雷锋网

二、要实现可解释性就必须牺牲准确性吗?

如今,阿里通过千方顺利进入智慧城市赛道,城市大脑成为收集视频数据的平台,达摩院各实验室攻关技术,可谓一边凿山,一边修路。

他提出数字视网膜的概念,他表示,数字视网膜结合了视频编码+特征编码,既能精细编码视觉内容,又具备面向识别理解的功能。可以解决城市大脑系统中数据和算法利用率低的问题。

上面的简单模型也许和许多其他最新的机器学习方法一样准确(Angelino et al., 2018)。在应用于其他数据集的许多不同类型的预测问题的机器学习方法中,也发现了相似的结果:可解释模型(研究中的小型线性模型或逻辑模型)的表现与更复杂的模型(黑盒)有相同的效果(Zeng et al., 2016)。似乎没有证据表明黑盒模型对犯罪风险预测会有所帮助。实际上,这些黑盒的缺点可能更明显,因为它们更难排查故障,更难信任和更难使用。

这首先对视频源的分辨率和画质(例如色深、色域、HDR等)提出了更高的要求,同时也需要快速响应能力、更低的延时忍耐度以及更快的刷新频率。

在这一假设中,准确性必须以牺牲可以解释性(了解为什么外科医生要有做这些事情的能力)为代价。因此这项心理实验未能考虑到可解释性可能不会损坏准确性。而实际上,可解释性甚至可以提高准确性,因为它可以帮助你了解模型(机器人)何时可能是错误的。

有时,可解释模型由放在一起的更简单模型组成(可分解),或者对模型施加新的约束条件,但是,大多数机器学习模型的设计没有可解释的约束条件,它们只是为了在静态数据集上为准确的预测变量而设计,它们可能代表也可能不代表模型在实践中的使用方式。

现场没有将可能并不需要作为黑盒模型的机器人作为一种选择,在座的的观众只能在准确的黑盒和不准确的透明盒子中进行选择。观众没有被告知手术结果的准确性是如何得出的(2%和15%分别测量的什么人群?),他们也没有被告知用于训练机器人的数据集的潜在缺陷。

5G+超高清应用需拉通网络传输、芯片、显示面板、拍摄设备、内容、存储、编解码等环节,可商用的8K编码器、解码器较少,HDR、全景声等视频音频编解码领域也难以绕开国外企业。我国超高清视频支持8K解码能力的芯片尚处于研发阶段。

在某些情况下,我们可以很清楚地看到变量是如何联系起来形成最终的预测结果,最终的预测结果可能只是简短逻辑语句中的几个变量组合在一起,或者是使用线性模型将变量加权并相加在一起。

很少有人质疑这些模型,因为他们的设计师声称模型必须复杂才能准确。2018年的这场“可解释机器学习挑战赛”是一个案例研究,主旨在于考虑将黑盒模型与可解释模型进行权衡。

在开学第一课中,于伟也寄语全校教师和学生家长:“坚守为国育人的教育情怀;相信孩子,让孩子真正成为学习的主人;让我们成为孩子学习的榜样。”

准确的黑盒和不太准确的透明模型之间的错误对立已经过火了。当成千上百的领先科学家和金融公司高管都被这种二分法所误导,请想象一下其他人是如何被愚弄。其影响是深远的:它影响到我们的刑事司法、金融、医疗系统以及许多其他领域的运作。

在宣布挑战赛获胜者之前,主持人要求听众(包括金融,机器人技术和机器学习领域的能者)进行思想实验,在该实验场景中,他们患有癌症,需要手术切除肿瘤。屏幕上显示了两张图像,一张图描述了一位人类外科医生,他可以解释有关手术的任何事情,但在手术过程中有15%的概率导致死亡。

雷锋网AI掘金志发现,实验室的核心成员包括IEEE高级会员、阿里达摩院研究员叶琰,她曾参与3代视频编解码标准开发及浸入式视频和流媒体的标准开发。她的团队开发高性能的视频编码和解码解决方案,为阿里的产品业务提供支持。

视频编解码成为智慧城市生态链中必须越过去的一道坎,而且要快。

“这是你们一次难得的成长经历。在这场抗击疫情的战斗中,有的人充满力量,表现出坚强、勇敢和无畏,有的人面对疫情表现出恐惧、沮丧、退缩……那么,我们应该成为怎样的人呢?”

然后,主持人要求观众举手投票选择他们愿意进行哪种拯救生命的手术。除了一票以外,其他所有人都投票选择机器人。

这是首个反映了这样一种需求的数据科学挑战赛:那些主导了基于机器学习的决策策略的黑盒模型所计算出来的成果,需要被梳理与消化。

那时,我们也不知如何是好了。我们是否应该遵守规则,给法官们一个黑盒,我们是否应该遵守规则使用黑盒模型并向裁判解释它?还是我们应该提供透明、可解释的模型?换句话说,当你发现自己被迫陷入机器人与外科医生的两难抉择时,你该怎么办?

2018 年 12 月,在一年一度神经信息处理系统(NeurIPS)会议上,数百位顶级计算机科学家,金融工程师和高管在蒙特利尔会议中心的一个房间里,见证了一场由谷歌、Fair Isaac((FICO)与伯克利、牛津、帝国理工、加州大学欧文分校和麻省理工学院的学者合作举办的著名竞赛——“可解释性机器学习挑战赛”。

例如,Angelino 等人在 2018 年曾在一项仅考虑人的年龄和犯罪历史的一些规则的研究中,创建了用于预测再次逮捕的机器学习模型。其完整的机器学习模型如下:如果此人有过三次以上的犯罪前科,或者18-20岁的男性,或者有两到三次犯罪记录的21-23岁男性,那么模型预计他们将在评估发生的两年时间内再次被逮捕,否则不会。

相反,黑盒模型可以掩盖无数潜在的严重错误(e.g., see Rudin, 2019)。即使在以深度神经中枢(最难解释的黑盒模型)为最先进技术的计算机视觉中,我们和其他科学家(e.g., Chen et al., 2019; Y. Li et al., 2017; L. Li, Liu, Chen, & Rudin, 2018; Ming, Xu, Qu, & Ren, 2019)已经找到了将可解释性条件添加到深度学习模型中的方法,从而使计算更加透明。即使对用于计算机视觉的深度神经网络,这些可解释性约束也不会以牺牲准确性为代价。

在东北师范大学附属小学开学第一课的教学设计中,老师们用文字、图片、视频等方式,展示了在抗击新冠肺炎疫情过程中涌现的动人事迹,让孩子们把这次疫情中的想法与家长、老师、同学交流……

在一些医疗领域以及可以改变生命决策的许多其他高风险机器学习应用中,似乎也没有体现黑盒模型准确性的优势(例如在 Caruana et al., 2015; Razavian et al., 2015; Rudin & Ustun, 2018 等论文中,作者都展示了具有可解释性条件的模型,这些模型的表现和不受约束的模型一样好)。

“家长的焦虑主要集中在教学层面,学校教了多少知识,孩子的功课会不会落下……”于伟说,他也了解了一些学校设计的网课,内容更多侧重于课堂知识传授。于伟认为,学校、课堂、书本固然重要,但人格人性、心理发展和家国情怀也是伴随孩子一生的宝贵财富。

无论是对线性模型使用深层神经网络还是经典统计技术,我们都发现这两种方法之间的准确性误差不到1%,1%的误差是在数据随机抽样误差范围之内。即使在使用提供了可解释的模型的机器学习技术时,其准确性也与最佳黑盒模型准确性相差不多。

在技术上可解释的模型与黑盒模型是等效的,但是可解释模型比黑盒模型更符合道德,两者间的不同:可解释模型被约束以更好地理解如何进行预测。

“让这场抗疫阻击战,成为生动的人生教材和鲜活的人生课堂,让孩子们明白,个人与国家的命运紧紧联系在一起,每个人都不是局外人!”于伟说。

为了解决人们对黑盒模型不透明的普遍担忧,一些科学家试图对黑盒模型做出解释,提出假设,解释它们为什么会做出这样的决定。这种解释通常试图使用一个完全不同的模型来模拟黑盒的预测(可能使用不同的重要变量,掩盖了黑盒可能正在做的事情),或者提供另一种统计,该统计信息提供了关于黑盒计算的不完整信息。这种解释是肤浅的,甚至是空洞的,因为它们夸大了黑盒的权威,而是认为黑盒是必要的。有时,这些解释是错误的。

雷锋网原创文章,。详情见转载须知。

5G下的高清视频监控视频意味着更高清的画面,更丰富的视频细节,更高的数据分析价值。

另一幅图像则显示了只有在 2%的失败几率下才能执行手术的机器人,它其实是在模拟 AI 的黑盒方法。在这种情况下,他们需要完全信任机器人,不会对机器人提出任何问题,也不需要了解它是如何做出手术决定的。

于伟说,早在2月1日,学校就开始进行网络教学的准备。但随着网络开学日期的临近,他发现微信群里不少家长和学生都表现得有些焦虑。

显然,数据是决胜的重要筹码。智慧城市的每一个细分领域无不都是以视频为基本载体。未来超高清场景应用也将逐步由超高清4K向8K迈进。

但是在 2018 年 NeurIPS 大会上,在挤满了刚刚选择机器人代替外科医师的专家的会议室里,播音员继续对比赛进行实况描述。 FICO 提供了房屋净值信贷额度(HELOC)数据集,其中包含来自数千名匿名人的数据,包括其信用记录的各个方面以及该人是否拖欠贷款。 竞赛的目的是创建一个用于预测贷款违约的黑盒模型,然后解释黑盒。

四、AI 模型可兼得可解释性和准确性,只是尚未尝试而已

一、首个对黑盒模型提出可解释性需求的挑战赛

可能有人认为,在许多应用程序中,可解释的模型可能不如黑盒模型那么准确。 毕竟,如果你可以建立一个准确的可解释模型,那么为什么还要使用黑盒呢?

并非一定要在准确的机器和具有理解能力的人之间做出选择,如此理解它有助于我们诊断由黑盒模型在整个社会中进行高风险决策所导致的问题。这些问题不仅存在于金融领域,而且还存在于医疗保健,刑事司法等领域。

我们所看到的每一个复杂度适中的数据集都存在缺陷。这些范围可以从大量的丢失数据(不是随机丢失)或者无法测量的数据混淆到数据集中的系统错误(例如药物治疗的错误编码),数据收集出现的问题,导致数据分布与最初的设想不一致。

这种想法源于机器学习在社会中的历史用途:它的现代技术是为例如在线广告、网络搜索之类的低风险决策而诞生,这些决策不会对人类的生活造成深远的影响。

24日是长春市中小学网上开学的日子。几天来,东北师范大学附属小学校长于伟写给学生、家长和老师的新学期寄语刷爆了朋友圈。

我们完全有可能构建一个可解释性与高准确性并存的 AI 模型——只是尚未尝试过而已。也许,如果我们这样做了,我们根本就不需要进行高风险决策。

阿里已经慢慢织起一张大网,但他构筑智慧生态网边边角角的脚步未曾停歇。

信任黑盒模型意味着你不仅要信任模型的方程式,而且也要信任它所基于的整个数据库。例如,在机器人和外科医生的场景中,在不知道2%和15%是如何计算出来的情况下,我们应该针对特定亚群患者的数据之间的相关性持怀疑态度。

终端发展快,地位领先,5G的发展成熟使网络传输能力初步具备,但是前端高清内容供给不足。

数据大战中,谁掌握了更多的视频监控路数,谁就能构建更加精准的用户画像,从而更好知悉、满足用户诉求,获得大数据时代更大的话语权。

认为必须牺牲准确性来换取可解释性的观点是不正确的。当非常简单的可解释模型用于相同的任务时,它允许公司为高风险决策推销和出售私有或者复杂的黑盒模型。因此,模型创造者可以通过它来获利并且无需考虑对个人的有害影响。

尽管我们不一定提倡在刑事司法案件中使用这个该模型,但这套规则和黑盒模型(针对替代性模型的更正罪犯管理分析)一样准确,黑盒模型已经广泛合理使用于弗罗里达的布劳沃德县(Angelino et al., 2018)。

但是,当有人使用类似 COMPAS 非线性模型时,该模型不再依赖种族(Rudin, Wang, & Coker, 2019),仅对历史犯罪和年龄有依赖性。这是一个关于黑盒的错误解释如何导致失控的例子。

在机器学习中,这些黑盒模型通过算法直接从数据中创建,这意味着人们,即使创造它们的人,也无法理解如何将变量组合在一起进行预测。即使一个人有一个可输入的变量列表,黑盒预测模型可以将其转为复杂的函数变量,以至于没有人可以理解变量之间是如何关联来达成最终的预测。

虽然 2% 的死亡率比 15%的死亡率要好很多,但是以这种方式来架构 AI 系统的风险,会掩盖一个更基本、更有趣的考虑:为什么机器人必须是黑盒?如果机器人具有自我解释能力,它将会失去执行准确手术的能力吗?机器人与患者之间的有效沟通是减少病人的护理而不仅仅只是改善吗?病人难道不需要在手术前向机器人说明他们有凝血障碍吗?

达摩方表示,XG实验室将依托阿里的应用生态圈,为超高清视频、在线办公、AR/VR、工业互联网、智能物流、自动驾驶等场景研究符合5G时代的视频编解码技术、网络传输协议等,并制定相关标准。

三、黑盒模型可能会掩盖无数潜在的严重错误

雷锋网(公众号:雷锋网) AI 科技评论编译。雷锋网雷锋网

中国工程院院士、鹏城实验室主任高文在分析智慧城市技术层面时谈到视频编码技术的重要性。

但是,正如“可解释机器学习挑战”所揭示的那样,实际上,在许多应用程序中,人们并不试图构造一个可解释的模型,因为他们可能认为对于复杂的数据集,可解释的模型不可能像黑盒那么精确。 或者,他们想将模型保留为专有模型。 然后,人们可能会考虑是否可以为计算机视觉和时间序列分析构建可解释的深度学习模型(e.g., Chen et al., 2019; Y. Li et al., 2017; O. Li et al., 2018; Ming et al., 2019),那么标准假设应是可解释模型不存在,改为它们存在的假设,然后直到证明它们不存在为止。

超高清视频等应用将成为5G商用重要领域毋庸置疑,与多个场景均相关联的视频编解码技术似乎份量也不轻。

 我们还为贷方和个人创建了一个额外的交互式在线可视化工具。在我们的网站上研究信用历史因素可以让人们了解哪些因素影响贷款申请决策,这种方式完全不需要黑盒。我们知道可能不会以这种方式赢得比赛,但我们需要提出更重要的事实。

黑盒模型在医疗领域中的一个常见问题是数据泄露,关于标签变量 y 的某些信息以通过查看变量的标题和描述变量这种你可能不会觉察的方式,潜入变量 x 中:有时你认为自己正在预测将来的事物,但你只是在探测过去发生的事情。在预测医疗结果时,机器可能会利用医生笔记中的信息,将这些信息在正式记录患者病情之前透露出来,因此错误地将其声明为成功的预测。

有人认为,对于要求参赛者创建黑盒并进行解释的竞赛,问题实际上是必须有一个黑盒。但事实并非如此。早在 2018 年 7 月,当 Duke 团队收到数据时,并分析数据一周左右后,意识到可以在没有黑盒的情况下有效地分析 FICO 数据。

一般规律中,模型的复杂度和准确性往往是正相关关系,而越高的复杂度也意味着模型越无法实现可解释性。那 AI 模型的准确性和可解释性就无法并存了吗?