Alphabet的Loon团队负责从平流层氦气球将互联网传播到地球，现已取得了一个新的里程碑：其导航系统不再由人工设计的软件来运行。
取而代之的是，公司的互联网气球是由人工智能操纵的，特别是由深度强化学习为基础的飞行控制系统编写和执行的一组算法，该算法比旧的人工制造的更高效，更熟练一。该系统现在正在管理Loon在肯尼亚的气球机队，在过去十年的大部分时间里，Loon在一系列救灾举措和其他测试环境中对其机队进行了测试之后，于7月在Loon推出了首个商业互联网服务。
类似于研究人员在教学计算机以玩复杂的视频游戏并帮助软件学习如何栩栩如生的方式方面取得突破性的AI进步，强化学习是一种允许软件通过反复试验来自学技能的技术。显然，在现实世界中，当处理高成本的气球时，这种重复是不可能的，这些气球的操作成本很高，如果发生碰撞，则维修成本更高。
因此，与其他许多转向强化学习以开发复杂的AI程序的AI实验室一样，Loon在Google蒙特利尔的AI团队的帮助下，向其飞行控制系统教授了如何使用计算机模拟来驾驶气球的方法。这样，该系统在部署到现实世界的气球车队之前可以随着时间的推移而改进。
“尽管对Loon来说RL(强化学习)的前景总是很大，但当我们首次开始探索这项技术时，并不总是很清楚深度RL对于长时间自主地穿越平流层的高空平台是可行的还是可行的，”卢恩(Loon)的首席技术官，本周在科学杂志《自然》(Nature)上发表的有关新飞行控制系统的论文的合著者之一Sal Candido在博客中发表了文章。“事实证明，RL对于平流层气球机群很实用。如今，Loon的导航系统最复杂的任务是通过一种算法解决的，该算法是通过计算机在模拟中进行气球导航的实验而学习的。”
卢恩(Loon)表示，其系统有资格在商业航空系统中成为世界上首例部署这种AI的公司。不仅如此，它实际上还优于人类设计的系统。“坦率地说，我们想确认通过使用RL，一台机器可以构建与我们自己制造的相同的导航系统，” Candido写道。“指定了飞行控制的学习型深度神经网络包裹有适当的安全保证层，以确保代理商始终安全行驶。在我们的模拟基准测试中，我们不仅能够利用RL复制而且可以极大地改善我们的导航系统。”
在2019年7月首次在秘鲁进行的真实世界测试中，由AI控制的飞行系统与传统的飞行系统并驾齐驱，这是由Loon工程师自己设计的，由人工构建的算法称为StationSeeker。“从某种意义上讲，这是机器-花了几周的时间来构建控制器-对我不利-与许多其他人一起，花了很多年的时间，基于十年来使用Loon气球的经验，我们对传统控制器进行了微调。我们很紧张……希望输掉比赛。”坎迪多说。
由AI控制的系统始终保持靠近团队在现场用于测量LTE信号的设备，从而轻松胜过了人类，这一测试为在正式取代该系统之前证明系统功效的更多实验铺平了道路团队花了多年的时间手工建造。现在，Loon认为其系统可以“证明RL可用于控制复杂的，真实世界的系统，从根本上进行连续而动态的活动。”
在结束语中，Candido谈到了这种AI是否值得的概念，因为它的专业性和与传统的但不是自学式的自动化系统(如操作重型机械的系统)非常相似或大众运输的控制要素。
他说：“尽管不可能通过平流层有效漂移的超压气球变得有感觉，但我们已经从自己设计导航系统过渡到让计算机以数据驱动的方式构造它，”他说。“即使这不是一本阿西莫夫小说的开篇，它也是一个好故事，也许值得称之为人工智能。”