在创立 Koidra 之前， 肯尼思·陈 曾在微软研究院广泛从事现实世界强化学习研究及其在数据中心能源优化和受控环境农业中的应用。

黄瓜植株的叶子宽阔、绿色、有纹理，高高地排成整齐的行，沐浴在透过温室玻璃窗照进来的荷兰阳光下。人们对这些植物寄予厚望——在短短四个月内，使用尽可能少的资源就获得了丰收。通过适当数量和类型的护理，他们可以生产出供消费者享用的蔬菜。然而，对于不经意的观察者来说，这些植物似乎已经被留给了自己的设备。温室工作人员经过这里收割或调整内部的摄像头和其他电气设备，但负责确定植物接收到多少水、营养和光照的人员不存在人际接触。这就是重点。

今年春天，瓦赫宁根大学研究中心和企业赞助商腾讯向来自各个领域的研究人员、科学家和专家提出了挑战：建造未来的温室。由于世界人口不断增长，传统粮食生产方法可能面临压力，并且在没有现场人类专业知识的情况下在温室中找到了解决方案，组织者要求竞赛参与者使用人工智能来最大限度地提高黄瓜产量，同时最大限度地减少资源——并远程执行此操作。

九个月后，微软研究院的索诺玛团队，由 首席研究工程师 Kenneth Tran，击败其他四支跨学科团队赢得冠军 自主温室挑战，创建了每平方米生产超过 55 公斤黄瓜的代理商，净利润为 25 欧元/平方米².

“这是全球首次通过人工智能在温室中远程种植黄瓜，”挑战协调员 Silke Hemming 说道。 “瓦赫宁根大学研究中心很高兴能与不同的团队合作应对这一激动人心的国际挑战。索诺玛团队能够击败由优秀的荷兰种植者操作的手工种植参考。他们不仅获得了最高的净利润，而且评审团还在总体可持续性方面将其评为最高。”

索诺玛的净利润高出 17%，是唯一一支击败参考专家种植者的人工智能团队，其净利润比腾讯人工智能实验室研究人员领导的第二名团队高出 25%。净利润对比赛的整体表现影响最大，而算法的新颖性和容量占 30%，而可持续性则基于能源、水、二氧化碳的效率₂和杀虫剂的使用——占20%。

更伟大的旅程

对于 Tran 和 Microsoft 来说，竞赛中展示的工作是部署云、物联网和人工智能技术以保护和维持地球及其自然资源的更大承诺的一部分。 2017 年 XNUMX 月，微软推出 地球人工智能 通过赠款、教育和进一步合作，支持在水、农业、生物多样性和气候变化领域开展工作的个人和组织。该倡议的 此后扩大了战略方针和资金，所取得的成果，特别是在数据驱动农业领域，令人印象深刻。 FarmBeats 是因其影响而受到认可的项目之一，Tran 和另一位索诺玛团队成员， 高级研究软件工程师 Chetan Bansal，也是这项工作的贡献者。

FarmBeats 正在利用传感器、无人机和其他设备改进户外数据收集，以实现更可持续的农业，而索诺玛团队的工作重点是受控环境农业 (CEA)，这是一种封闭的农业系统，允许种植者针对此类环境因素确定并执行最佳设置如光、温度、湿度和 CO₂ 浓度。

Tran 对 CEA 作为研究领域的兴趣是在 2017 年激起的，大约一年前，他听说了“自主温室挑战”。作为微软研究院强化学习小组的成员，他和他的同事探索机器学习技术在实际应用中的潜力。 CEA 不仅能够产生有意义的影响力（一种满足地球人口营养需求的更有效、更容易的方式），而且还是强化学习模型的绝佳训练场。 CEA 提供了封闭的工作场景和丰富的数据，得益于传感技术和物联网，数据的收集相对快速且容易。

“众所周知，强化学习的最新技术非常需要数据，因此我们关注新的样本高效算法至关重要，”Tran 说。 “不过，为了更快地缩小差距，我们还需要能够轻松且经济地收集大量数据的环境。”

应用重点 索诺玛—Tran 和他的同事在该领域的整体工作的项目名称，以及温室挑战小组的名称 — 一直是温室和 垂直农业，两者都有潜力实现更安全、更快的粮食生产，同时减少对传统农业基础资源（土地和水）的使用。 A据温室竞赛网站报道温室和垂直农业等室内种植可减少高达 90% 的用水量，与传统农业相比，只需要十分之一的空间即可生产相同数量的农作物，并且可以使用更少的农药和化学品来茁壮成长。这个有前景的解决方案需要一批室内农业专家，但室内农业的需求可能会超出他们的能力，但 Tran 已将帮助创建空间自主权作为索诺玛的目标。

“人工智能不仅可以帮助将荷兰等发达国家的专业知识扩展到发展中国家，还可以提高专业种植者的水平，”Tran 说。

为了实现索诺玛的目标，Tran 采用了他所说的自下而上、自上而下的方法。

“自下而上，我们的意思是在强化学习方面进行新颖的研究，非常基础的强化学习研究，同时也进行以应用为中心的研究，”他解释道。 “适用的强化学习研究仍处于非常非常早期的阶段，因此还有很多新研究有待完成。对于自上而下的方面，我们的方法是寻求与世界各地的领域专家的合作。”

索诺玛项目成员反映了这一理念：Tran 和 Bansal 都来自微软研究院，代表了人工智能方面。在植物科学方面和来自合作机构的有 研究科学家郝秀明 加拿大农业和农业食品部 (AAFC) 和 久保田千惠里俄亥俄州立大学受控环境农业教授以及其他合作者。

一路上的竞争

正是 Tran 对协作力量的坚定信念，促成了索诺玛团队参加国际自主温室挑战赛。 2018 年 XNUMX 月，他访问了食品生产领域领先的合作伙伴瓦赫宁根大学与研究中心，探索合作机会。在会议期间，瓦赫宁根的同行提到了这一挑战，他将其带回给微软研究院的团队。他们都很感兴趣。

“我们开始阅读有关比赛的信息并感到兴奋，”特兰回忆道。 “这是一个让我们快速上手的好机会。该领域的多个主要参与者（瓦赫宁根大学与研究中心、腾讯、英特尔、Delphy 和 AgroEnergy 等）已经做出了坚定的承诺，致力于实现共同的目标和共同的愿景。此外，瓦赫宁根工作人员在比赛过程中提供了有保障的支持。”

索诺玛团队成立了：来自微软雷蒙德研究院实验室的 Tran； Bansal 来自微软印度研究院实验室； 托马斯·福伦德·格罗斯菲尔德 和 文森特·范·温格登 of 微软荷兰公司; David Katzin，瓦赫宁根博士生；和哥本哈根大学博士生 Hong Phan。 索诺玛是入选的五支球队之一 在赛前“黑客马拉松”之后，从 15 名选手中脱颖而出，参加主赛事，其中包括虚拟成长挑战和展示他们的方法。

每个团队在荷兰布莱斯韦克的瓦赫宁根大学研究园区获得了 96 平方米的温室空间。每个温室都配备了相同的执行器系统，包括通风、加热和人工照明，以及用于测量温度、湿度和能源消耗等的传感器。团队还被允许安装额外的传感器和监控设备。

索诺玛安装了额外的摄像头，但只安装了一个额外的传感器——叶子湿度传感器，该传感器不属于预装的竞争传感器。该团队选择该传感器来加强对湿度和水分的监测，这两个因素会导致农作物遭受害虫和疾病。团队只被允许进入温室一次，以安装额外的摄像头和传感器。在整个比赛期间，从 1 月 XNUMX 日到 XNUMX 月中旬，他们远程运行他们的人工智能框架。

但对于班萨尔来说，与数据收集地点的距离并不像数据收集手段本身那么具有挑战性。该团队需要设计一个能够解释墨菲定律的系统——任何可能出错的地方都会出错。

“数据来自多个来源——包括传感器盒、摄像头、温室使用的 API，”Bansal 说。 “所有这些都可能失败，而且都失败了，所以问题是你如何能够检测到它以及你能够多快做出反应。”

“我们必须处理所有这些问题，并设计一个能够适应所有这些问题的系统，但我认为这是设计任何现实世界控制系统的一部分，”班萨尔补充道。

索诺玛人工智能方法

索诺玛选择围绕基于近似贝叶斯模型的强化学习构建其框架。

“我们押注于基于模型的强化学习，因为我们认为它具有样本效率和可推广性，”Tran 说。 “样品效率对于实际应用至关重要。标准强化学习算法需要大量试验（数百万次）才能训练出优秀的智能体，即使是在简单的环境中也是如此。这在游戏中并不是什么大问题，强化学习已经在游戏中取得了成功，因为智能体可以根据需要玩任意数量的游戏。在现实世界的应用中，我们无法承受数百万次失败的试验。所以我们需要以不同的方式思考强化学习。”

为了使强化学习成为应对当今社会挑战的可行解决方案，该团队确定代理必须初始化为与任何现有系统一样强大，并且具有随着时间的推移学习和改进的能力，而不会限制其达到最优的能力，并构想了一个框架（上面）结合了这些功能。

该框架首先训练概率动力学模型。这种模型学习类似于构建模拟器，帮助智能体通过想象进行计划。此外，通过模仿学习，代理被初始化为像现有的专家策略一样执行。从那里开始，代理将在基于模型的策略优化过程中持续运行，通过每次环境交互来提高其整体性能。

左起：安大略省加拿大农业和农业食品部哈罗研究与发展中心的研究科学家郝秀明、温室蔬菜专家 Shalin Khosla 和 Tran

对于温室挑战，来自温室周围的数据（例如天气状况）以及来自温室内部的传感器和图像的数据被输入到代理中，然后由代理确定人工照明的强度和分布；给予植物的水、二氧化碳和养分的量；和温室温度。该框架根据其了解到的信息选择设置，从而产生最大的生物量。

与索诺玛项目合作的加拿大农业和农业食品部研究科学家郝秀明表示：“该团队已成功地将当前作物种植和管理以及温室环境控制方面的最佳知识和最佳实践融入其温室人工智能控制系统中。” 。 “该团队从之前的模型数据中确定的高植物密度系统开始，并根据作物生长期间的作物表现和天气条件调整人工智能气候控制，以使这种高密度/高产量系统发挥最佳性能。”

Tran 将团队的策略描述为保守。比赛设置只允许进行一次试验，并且挑战之前没有太多数据；正因为如此，它的策略仅依赖于手工制定的专家策略，而没有诉诸强化学习来持续学习和改进。

“通过与领域专家合作并利用他们的知识以及我们的人工智能代理的功能，我们能够在短时间内产生更好的结果，”Tran 说。 “而这仅仅是个开始;从字面上看，有很大的增长空间 和 比喻地。”