当前位置:时中长蠡网>民生>正文

人工智能算法教机器人学走路:从零开始,耗时两小时

2019-10-09 08:48:38 来源:时中长蠡网

在研究人员公布的视频资料中,四足机器人Minitaur试图走过一个平整的缓坡。在视频开头,时间显示为0,这是四足机器人学习走路的开始。此时的四足机器人Minitaur如一个蹒跚学步的婴儿,时而摇晃、时而原地踏步,它尝试着迈开“腿”前进,但身体却“诚实”地留在原地,整个行走过程进展缓慢。转变发生在Minitaur学习走路的第18分钟,这时它已经可以持续性地前进了,但平衡性稍显不足。后续的练习中,Minitaur的步伐逐渐变得稳定且迅速。54分钟、72分钟、108分钟,不到2小时的时间,Minitaur基本学会了快速且平稳地走过缓坡。

实行“街巷长”服务模式和管理制度,不是制作几张公示牌就完事,而是要将管理的责任明确到人头。“有事找街长”不只是一句口号,而是要在民意诉求压力下拿出具体的行动,否则既无法向公众作出交代,也无法完成上级的考核。

5G端到端商用系统、5G远程驾驶、5G无人机、5G载人驾驶、5G切片视频、5G未来课堂……在26日北京召开的2018年中国国际信息通信展览会上,来自国内外的约400家企业纷纷“盛装亮相”,集中展示信息通信业的前沿技术及其与经济社会各领域的深度融合。其中,酝酿多年、呼之欲出的5G成为热点中的热点。无论是中国移动、中国电信、中国联通等运营商,还是华为、中兴、爱立信、诺基亚贝尔等大型设备商,都把5G端到端解决方案和5G行业应用作为展示亮点。

61岁的李豫龙是本次展览中,贡献展品最跨界的借展人。衣、食、住、行每个单元都有他的作品。他是一名摄龄30余年的老摄影师。他说,没有这个时代,就没有他的摄影梦。

2018年12月,来自加利福尼亚大学伯克利分校和谷歌大脑的科学家们开发出了一套人工智能系统,它可以让机器人自己学会走路。这一成果发表于预印本网站arXiv.org上,论文题为《通过深度强化学习来学习走路》(LearningtoWalkviaDeepReinforcementLearning)。

虽然后来以少女模特的身份出道,可实际上阿曼达·塞弗里德的身高只有1.6米左右,然而凭借其修长的双腿和身材的完美比例,给人感觉更像是一位九头身的高挑美女。

周先生当即通过调取监控录像得知当时乘坐的出租车车号为鄂AX7C33,联系上出租车所在的四星公司,说明情况后,工作人员当即在电话中表示:“请您放心,驾驶员凃建新师傅已经将手机交还到公司,如果不方便来公司领取,可以帮您寄还回去。”

但强化学习也有其局限性。它需要大量数据,在某些情况下需要数万个样本才能获得良好的结果。这就需要四足机器人Minitaur像阿尔法狗那样进行多次训练,但过多的训练可能会对四足机器人造成损坏。

这就是四足机器人Minitaur学习走路的全过程。加利福尼亚大学伯克利分校和谷歌大脑的科学家们研发出的人工智能算法“教”会了这个四足机器人穿越熟悉或陌生的地形。

杜特尔特与女友阿旺塞纳(右)和女儿凯蒂(左)。(视觉中国)

资料图:武汉木兰山曾多次举办赛事。邱舒 摄

用研究人员的话说,为了“使一个系统在没有模拟训练的情况下学习运动技能成为可能”,他们采用了一种名为“最大熵RL”强化学习框架。最大熵RL可以优化学习策略,以最大化预期收益。在这个框架中,人工智能代理通过从策略中抽取某些行动并接收奖励的方式不断地寻找最佳的行动路径。

在人工智能领域中经常提到“强化学习”的概念,这是一种使用奖励或惩罚的驱动来实现特定目标的人工智能方法,目的是获得一个策略以指导行动。比如围棋博弈中,这个策略可以根据盘面形势指导每一步应该在哪里落子。而在四足机器人Minitaur学习走路的过程中,这个策略可以根据地形等要素告诉机器人下一步应该怎么走。

在整个训练过程中,研究人员需要“手动”把走到缓坡尽头的机器人“请”回缓坡的起点以重新开始新一轮的练习,这一手动复位的过程稍显繁琐。不过,从结果来看,这一耗时2小时的学步过程实属高效,不少网友就此评价称“AI真是个好老师”。

研究人员表示,“据我们所知,本实验是在现实世界中不经过模仿和预训练而直接学习欠驱动四足运动的第一个深度强化学习算法案例。

强化学习是一种非常强大的学习方式。持续不断的强化学习甚至能够获得比人类更优的决策机制。最好的例子就是阿尔法狗。2016年,谷歌通过深度学习训练的阿尔法狗(AlphaGo)程序以4比1的比分战胜了曾经的围棋世界冠军李世石。它的改进版更在2017年战胜了当时世界排名第一的中国棋手柯洁,其令世人震惊的博弈能力就是通过强化学习训练出来的。

另外,考虑到药品监管的特殊性,单独组建国家药品监督管理局,由国家市场监督管理总局管理。市场监管实行分级管理,药品监管机构只设到省一级,药品经营销售等行为的监管,由市县市场监管部门统一承担。

因此,这项“学习走路”的研究选择了强化学习的“升级版”——深度强化学习的方法,将深度学习的感知能力和强化学习的决策能力相结合。这种方法可以直接根据输入的图像进行控制,是一种更接近人类思维方式的人工智能方法。

从世卫组织角度来说,向来支持传统医学,尤其是中医,把它作为实现全民医疗保健长期目标的一部分。世卫组织称,在部分国家,传统医疗比西医更便宜,也更容易获得。而70%的全球医疗保健支出基于ICD信息进行报销和分配。

强化学习会从一个初始的策略开始。通常,初始策略不一定很理想,正如四足机器人Minitaur在刚开始学走路的时候所表现的那样。不过。在学习的过程中,作为决策主体的四足机器人Minitaur会通过行动和环境进行交互,不断获得反馈,即回报或者惩罚,并根据反馈调整优化策略。

公信宝(杭州存信数据科技有限公司),成立于2016年,是一家基于区块链技术的去中心化数据交易所,适用于各行各业的数据交换。公信宝数据交易所具有不缓存数据、保护个人隐私、数据版权保护、数据新鲜度高、打击造假以及可以设置匿名交易等特点。数据面向的典型客户为互联网金融领域的网络贷款、汽车金融、消费金融、银行等企业和有数据交换的政府部门、医疗、保险等机构企业。

李玟

2018年5月,同个课题组的研究人员曾在arXiv.org上发表了另一篇关于四足机器人Minitaur的研究论文。当时,研究人员使用深度强化学习的方法使Minitaur从零开始学习四足运动,并最终实现了小跑和疾驰。

上一篇: 利用微信群开设赌场牟累计赌资170余万 6人获刑
下一篇: 2020年东京奥运会吉祥物公布 满满二次元风