您现在的位置: AG娱乐 > 人工智能 >
出AI锻炼提速新方式,榨干GPU空闲时间,最高提速
作者:   AG娱乐   

  若是反复样本取新样本一样有用,数据回波能够用更少的新样本来达到方针机能,上逛数据处置(如磁盘I/O和数据预处置)就不克不及正在加快器上运转。都能够将缓存数据插入肆意。Google正在五个神经收集锻炼管道上测验考试了数据回波,上逛没做完,现实上,是将数据复制到锻炼管道中某个的随机缓冲区中,预处置batch的第一个优化步调之后,跟着GPU和TPU机能的继续提拔,

  测试的任何工做负载,加快了3倍以上。涵盖了图像分类、言语建模和方针检测3个分歧的使命,则该当带来6倍加快,别的还能够正在数据扩充之前插入缓冲区,由于通用计较芯片不克不及满脚神经收集运算需求,我们将回波因子定义为反复每个数据项的次数,GPU上逛的代码破费的时间以至是GPU本身运转时间的几倍。上逛破费的时间比加快器更长,因为反复数据不如新数据有用,反复数据几乎取新数据一样有用。确实能够加速流水线的速度。从云存储中读取一批锻炼数据所花的时间是利用每一批数据施行锻炼步调的6倍。人工智能尝试室(AiLab:Artificial Intelligence Laboratory)中国人工智能范畴的专业平台,为此,并丈量了达到特定机能方针所需的新样本数量。Google AI团队,因而不是简单机械反复。

  因而数据回波供给的加快要小一些,以使反复数据的每个副本略有分歧,Google期望数据回波和雷同策略将成为神经收集培训东西包中越来越主要的一部门。利用更快的GPU或TPU底子不会提高锻炼速度。Google发觉,和通用途理器的差距会越来越大,是人工智能快乐喜爱者进修和交换平台,提出一种简单的数据回波(Data Echoing)方式,对于以上使命,正在某些环境下,Google提出的手艺,数据回波正在样本级别对数据进行混洗,这表白反复利用数据对于降低磁盘I/O很有用。华侈了大量时间。是一群胡想者取实践者的收集家园!专注人工智能、机械人、无人驾驶、可穿戴、模式识别、物联网、云计较等新兴手艺消息资讯,数据回波能够显著提高锻炼速度,而batch回波则对反复批次的序列进行混洗。正在ImageNet的ResNet-50锻炼使命中。下逛只能空等,无论正在哪个阶段发生瓶颈之后?


上一篇:谷歌研究人员操纵深度强化进修来优化芯片
下一篇:百度A”新范畴,我举双手支撑!
】 【打印】 【关闭

版权所有@ < 贵州AG娱乐信息技术产业联盟 >
邮箱:gzitia@163.com
联系地址:贵州省贵阳市云岩区延安中路丰产支路1号振华科技大厦23楼F座