LOL投注平台




快速导航
KTC business

英特尔预览AI在软件测试 序列模型和可解释性方

LOL投注平台 Date:2019-12-12 15:55

本周标志着神经信息处理系统(NeurIPS)的启动,这是全球最大的AI和机器学习会议之一。NeurIPS 2017和NeuIPS 2018分别收到3240和4,854份研究论文,今年的活动(将于12月8日至12月14日在温哥华举行)有望轻松打破这些记录。(今年的提交使NeurIPS的网站不堪重负,该网站在正式截止日期前几分钟崩溃了。)

英特尔的研究人员以及谷歌,Facebook,苹果,Uber,阿里巴巴,百度等众多科技巨头的研究人员都将出席。加州圣塔克拉拉(Santa Clara)的芯片制造商表示,计划举办三场会议,研讨会和聚光灯会议,涵盖深度均衡模型,模仿学习,机器编程等主题。

英特尔实验室高级研究员兼董事总经理Rich Uhlig博士表示:“英特尔在推进和扩展神经网络技术以应对日益复杂和动态的工作负载方面取得了重大进展,从应对内存挑战到研究新的自适应学习技术,”博客文章。“我们在NeurIPS上展示的开发成果将有助于减少内存占用,更好地衡量神经网络如何处理信息,并重塑机器实时学习的方式,为新的深度学习应用程序打开潜力,该应用程序可以改变从制造业到医疗保健的所有领域。”

英特尔计划重点研究的领域之一是通过机器学习实现自动化的软件开发。英特尔实验室,麻省理工学院和德州农工大学的一个团队在最近发表的题为“零正学习方法诊断软件性能回归”的论文中提出了AutoPerf,这是一种自动化回归测试的方法(新代码签入引入的错误)在高性能计算代码中。仅利用名义培训数据和硬件性能计数器(HWPC),或内置于处理器中的一组专用寄存器来存储来自与硬件相关的各种活动的指标,该论文的作者证明了AutoPerf可以检测某些最复杂的性能在并行编程中发现的错误。

AutoPerf的秘密秘诀是零阳性学习(ZPL),这是一种最初用于异常检测的半监督机器学习技术。性能缺陷被视为偏离给定软件预期行为的不正常行为,系统用来训练自动编码器(即,从数据集中学习表示形式的机器学习模型的类型)。至于HWPC,它们跟踪诸如处理器周期经过,缓存命中和未命中,分支预测以及已执行的指令之类的事情,它们充当一种收集有关软件活动信息的机制,而无需修改源代码或引入影响性能的开销。

研究人员报告说,在涉及七个基准和程序中10个错误的三种类型的回归的实验中,AutoPerf并未标记出假阴性。平均而言,与以前的最新技术方法相比,它具有4%的性能分析开销并能准确诊断出更多的性能问题,其中包括专家程序员遗漏的问题。

机器人算法是否可以从人类演示中快速轻松地学习?英特尔的研究人员与加利福尼亚大学伯克利分校和初创公司Covariant.ai的贡献者断言,他们可以在名为“基于目标的模仿学习”的论文中进行研究。该团队提出了一种新颖的模型-GoalGAIL,该模型能够学习得比专家演示者,甚至可以在非专家动作下执行。他们认为,这可能会扩展机器人在工业环境中的应用,在工业环境中算法可能需要快速适应新零件,而在个性化机器人中,模型必须通过演示适应个人喜好。

正如该论文的合著者所解释的那样,一种通用的机器人自我监督形式涉及学习如何按需达到任何先前观察到的状态。可以训练AI模型以寻求使其观察值与预定目标完全匹配。但是,这种奖励在实践中并不经常观察到,因为很少遇到两次确切的感觉输入。一种称为Hindsight Experience Replay(Hindsight体验重播)(HER)的技术通过重新标记收集的轨迹来解决此问题,用该轨迹期间实际访问的状态替换其目标。但这并不是完美的-在需要发现特定状态才能发现整个空间的新区域的情况下,学习需要花费大量时间。(请考虑在房间之间狭窄的走廊上导航,或用机械臂拾取和放置物体。

研究人员报告说,goalGAIL的收敛速度比HER快,并且最终性能更好。

英特尔研究人员团队将讨论一种新的方法,用于对序列数据或顺序重要的数据进行机器学习。在典型模型中,神经元(数学函数)被安排在相互连接的层中,这些层传输来自输入数据的“信号”并缓慢调整每个连接的突触强度(权重)。这就是他们提取特征并学习进行预测的方式。来自卡内基梅隆和英特尔的“深度均衡模型”的作者说,他们设法用单层体系结构取代了流行的多层体系结构,该体系结构可以在语言基准测试中达到最新的性能。减少了88%的内存占用。

这个被团队称为深度均衡模型(DEQ)的新颖结构,可以通过寻根直接找到多层网络收敛的点,寻根是一种寻找连续函数零的算法。在包含超过1亿个单词的开源WikiText语料库上,其性能与基于GoogleTransformer的体系结构相当,后者是一种多层模型,可以选择性地调整其元素之间的权重。这是一项令人印象深刻的壮举-变压器模型具有大量的内存需求(在这种情况下,内存需求高达9GB,而DEQ的最大值为3.7GB),并且只能在专用硬件上进行快速培训。

卷积网络是最常用于分析视觉图像的一种AI模型,它需要大量的计算资源,内存带宽和存储容量来摄取和处理数据。加快分析速度的一种方法是量化,或者用该模型的“压缩”版本对模型进行近似的过程。但是要恢复由此造成的精度损失,通常需要完整的数据集和费时的微调。

因此,英特尔团队与以色列Technion的研究人员合作开发了一种量化方法,该方法既不涉及微调,也不涉及使用大型语料库。取而代之的是,它们的4位训练后量化目标是模型的权重及其激活函数(在给定一个输入或一组输入的情况下定义其输出的函数的位)。并且提出了三种互补的方法-用于整数量化的分析削波,每通道位分配和偏差校正-可以最大程度地减少量化误差。该团队在合着论文《快速训练后的卷积网络的训练后4位量化》中报告说,这使它在一系列卷积模型中所达到的精度仅比最新基准低几个百分点。部署。”

研究人员写道:“ [我们的工作]引入了第一种实用的4位后期训练量化方法。”“神经网络量化在减少中间结果的数量方面具有显着的优势我们在本文中的主要发现表明,由于精度降低了百分之几,对于4位量化,可能不需要重新训练卷积模型。”

人工智能和机器学习的可解释性是英特尔研究的重点领域,那里的研究人员认为,他们(与麻省理工学院的科学家合作)已开发出措施,以更好地理解至少一种模型:语音模型。在NeurIPS 2019上接受的一篇论文(“不变语音识别中的纠缠”)中,他们解释了如何采用最近开发的统计力学理论,该理论将AI模型表示的属性与类的可分离性联系起来,以探究模型中数据如何理清。

根据该团队的说法,这种统计方法使他们能够观察到说话者特定的烦扰变化被模型的层次结构所丢弃,而与任务相关的属性(如单词和音素)(将特定语言中的一个单词与另一个单词区分开的声音单位)在以后的层次中会更加复杂。较高的概念(如词性和上下文相关性)也出现在网络的较后层,而深层表示通过在计算的每个时间步高效提取与任务相关的特征来进行重要的时间分解。

“ [卷积]架构和[端到端[自动语音识别]模型都融合在非常相似的行为上,尽管它们接受了不同的任务训练并使用不同的计算块构建。他们都学会了消除令人讨厌的声音变化,并展现出与任务相关的信息。”研究人员写道。“总的来说,这些发现揭示了深度听觉模型如何处理时间相关的输入信号以实现不变的语音识别,并展示了不同的概念如何在[模型]层中出现。”



相关阅读:LOL投注平台

 l