コイドラを設立する前、 ケネス・トラン Microsoft Research で、データセンターのエネルギー最適化や制御された環境農業に応用する現実世界の強化学習研究に幅広く取り組んできました。

キュウリの葉は幅が広く、緑色で葉脈があり、きちんと列をなして高く立ち、温室のガラス越しに輝くオランダの日差しを浴びていました。 可能な限り少ない資源を使用して、わずか XNUMX か月で豊かな収穫が得られるという植物への期待は高かった。 適切な量​​と種類のケアを行えば、消費者が楽しめる野菜が生産されるでしょう。 しかし、何気なく観察した人にとっては、植物が放っておかれているように見えたかもしれません。 温室スタッフは収穫や内部のカメラやその他の電気機器の調整のために通り抜けたが、植物が受ける水、栄養、光の量を決定する責任者との人的接触は存在しなかった。 それがポイントでした。

この春、ワーゲニンゲン大学と研究機関と企業スポンサーであるテンセントは、さまざまな分野の研究者、科学者、専門家に「未来の温室を構築する」という課題を提起しました。 世界人口の増加に伴う従来の食料生産方法への潜在的な負担と、現場で人間の専門知識を必要とせずに運用できる温室での解決策を模索した主催者は、人工知能を活用して資源を最小限に抑えながらキュウリの生産を最大化するよう競技参加者に要請した。そしてそれをリモートで行うこと。

XNUMX か月後、Microsoft Research の Team Sonoma が率いる 主任研究エンジニア Kenneth Tran、他のXNUMXつの学際的なチームを破って優勝しました。 自律型温室チャレンジ、平方メートルあたり 55 キログラム以上のキュウリを生産し、純利益 25 平方メートルあたり XNUMX ユーロのエージェントを作成しました。².

「世界中のキュウリが温室で AI を使って遠隔栽培されたのはこれが初めてでした」とチャレンジ コーディネーターのシルケ ヘミング氏は言います。 「私たちヴァーヘニンゲン大学および研究チームは、このエキサイティングな国際的な挑戦にさまざまなチームと協力できることに興奮しています。 チーム ソノマは、オランダの優秀な栽培者が運営する手作業で栽培された基準を破ることに成功しました。 彼らは最高の純利益を達成しただけでなく、審査員は総合的な持続可能性の点でも最高の評価を下しました。」

ソノマは、純利益が 17% 高く、リファレンス専門栽培者に勝った唯一の AI チームであり、その純利益は、Tencent AI Lab の研究者が率いる 25 位のチームの純利益より 30% も高かった。 競争全体のパフォーマンスにおいて純利益が最も重視され、アルゴリズムの新規性と処理能力が XNUMX% を占め、エネルギー、水、CO の効率に基づく持続可能性が占めました。₂、農薬の使用が 20 パーセントを占めています。

より大きな旅へ

トランとマイクロソフトにとって、コンテストで実証された取り組みは、地球とその天然資源を保護し維持するためにクラウド、モノのインターネット、AI テクノロジーを導入するというより大きな取り組みの一部です。 2017 年 XNUMX 月、マイクロソフトは 地球のためのAI 助成金、教育、さらなる協力を通じて、水、農業、生物多様性、気候変動に取り組む個人や組織を支援します。 イニシアチブの それ以来、戦略的アプローチと資金が拡大されました特にデータ駆動型農業の分野で得られた成果は目覚ましいものがあります。 FarmBeats はその影響力が認められたプロジェクトの XNUMX つであり、トラン氏ともう XNUMX 人のチーム ソノマ メンバーは、 上級研究ソフトウェア エンジニア Chetan Bansal、もその作品に貢献しています。

FarmBeats は、より持続可能な農業を実現するために、センサー、ドローン、その他のデバイスを使用して屋外でのデータ収集を改善していますが、チーム ソノマの取り組みは、生産者がそのような環境要因に対して最適な設定を決定して実行できる閉鎖型農業システムである環境制御農業 (CEA) に取り組んでいます。光、温度、湿度、COなど₂ 濃度。

トラン氏が研究分野としての CEA に興味を持ったのは、自律温室チャレンジについて聞く約 2017 年前の XNUMX 年でした。 Microsoft Research の強化学習グループのメンバーとして、彼と彼の同僚は、機械学習テクノロジの実世界への応用の可能性を探求しています。 意味のある影響を与える CEA の能力は魅力的であり、地球人口の栄養需要を満たすためのより効率的で利用しやすい手段であるだけでなく、強化学習モデルの優れた訓練の場でもあります。 CEA は、作業に必要なシナリオと豊富なデータを提供します。その収集は、センシング テクノロジーと IOT のおかげで比較的迅速かつ簡単です。

「最先端の強化学習はデータを大量に消費することで知られています。そのため、サンプル効率の高い新しいアルゴリズムに焦点を当てることが重要です」と Tran 氏は言います。 「しかし、この差をより早く埋めるためには、大量のデータを簡単かつ手頃な価格で収集できる環境も必要です。」

アプリケーションの焦点 ソノマ—トランと彼の同僚のこの地域での仕事全体のプロジェクト名、および温室チャレンジチームの名前—は、温室と 垂直農法どちらも、文字通り伝統的農業の基盤である土地と水という資源の使用量を減らし、より安全で迅速な食料生産を可能にする可能性を秘めています。 あ温室コンテストのウェブサイトによると、温室や垂直農法などの屋内栽培は、水の必要量を最大 90% 削減でき、従来の農業と同じ量の作物を生産するのに必要なスペースは XNUMX 分の XNUMX で、より少ない農薬や化学薬品で栽培できます。 ただし、この有望なソリューションには、屋内農業の需要を上回る可能性がある屋内農業の専門家の労働力が必要であり、トラン氏は、この空間での自律性の確立を支援することをソノマの目標に据えています。

「AI は、オランダなどの先進国の専門知識を発展途上国に拡張するだけでなく、専門栽培者の能力を向上させることにも役立ちます」とトラン氏は言います。

ソノマの目標を達成するために、トランは彼が言うところのボトムアップ、トップダウンのアプローチで先導します。

「ボトムアップとは、強化学習における新しい研究、非常に基礎的な強化学習の研究を行うと同時に、アプリケーション中心の研究も行うことを意味します。」と彼は説明します。 「応用可能な強化学習の研究はまだ非常に初期の段階にあるため、新しい研究を行う余地はたくさんあります。 トップダウンの側面では、私たちのアプローチは世界中のドメイン専門家との協力を求めることです。」

Sonoma プロジェクトのメンバーはその哲学を反映しています。Microsoft Research の Tran 氏と Bansal 氏は AI 側の代表です。 植物科学側および提携研究機関からは、 研究者ハオ・シウミン カナダ農業・農業食品 (AAFC) および 久保田ちえり、オハイオ州立大学の制御環境農業教授、その他の協力者。

途中で競争

コラボレーションの力に対するトランの強い信念が、国際自律温室チャレンジのチーム ソノマにつながりました。 彼は 2018 年 XNUMX 月に、協力の機会を探るため、食品生産における主要なパートナーシップであるワーゲニンゲン大学 & リサーチを訪問していました。 ミーティング中、ワーヘニンゲンの同僚がこの課題について言及し、彼はそれを Microsoft Research のチームに持ち帰った。 彼らは皆興味をそそられました。

「私たちはコンテストについて読み始めて興奮しました」とトランは思い出します。 「これは私たちの足を素早く動かす素晴らしい機会でした。 すでに、この分野の複数の主要企業（ヴァーヘニンゲン大学＆リサーチ、テンセント、インテル、デルフィ・アンド・アグロエナジーなど）からの強力なコミットメントがあり、共通の目標と共通のビジョンに向けて取り組んでいます。 さらに、大会期間中はワーヘニンゲンのスタッフからのサポートが保証されていました。」

そして、Microsoft Research レドモンド研究所の Tran 氏によって Team Sonoma が結成されました。 Microsoft Research India 研究所の Bansal 氏。 トーマス・フォレンダー・グロスフェルド & ヴィンセント・ヴァン・ウィンガーデン of マイクロソフト オランダ; David Katzin、ワーヘニンゲン博士課程の学生。 コペンハーゲン大学の博士課程の学生であるホン・ファン氏。 ソノマは選ばれたXNUMXチームのうちのXNUMXつでした バーチャル成長チャレンジとアプローチのプレゼンテーションを含む、競技前の「ハッカソン」の後、メインイベントに向けて 15 人のプールから選ばれました。

各チームは、オランダのブライスワイクにあるワーヘニンゲン大学＆研究キャンパスにある 96 平方メートルの温室スペースを受け取りました。 各温室には、換気、暖房、人工照明を含む同じアクチュエーター システムと、とりわけ温度、湿度、エネルギー消費量を測定するセンサーが装備されていました。 チームには追加のセンサーや監視機器を設置することも許可された。

ソノマは追加のカメラを設置しましたが、追加のセンサーは 1 つだけでした。葉濡れセンサーは、事前に設置されていた競合他社のセンサーには含まれていませんでした。 研究チームは、作物に被害を与える害虫や病気を引き起こすXNUMXつの要因である湿度と水分のモニタリングを強化するためにこのセンサーを選択しました。 チームは、追加のカメラとセンサーをセットアップするために温室内に一度だけ入ることが許可されました。 XNUMX 月 XNUMX 日から XNUMX 月中旬までのコンテスト期間中、彼らは AI フレームワークをリモートで実行しました。

しかし、バンサルにとって、データ収集の現場からの距離は、データ収集の手段そのものほど困難ではありませんでした。 チームは、マーフィーの法則を説明できるシステムを設計する必要がありました。問題が発生する可能性のあるものは、必ず問題が発生します。

「データは複数のソースから取得されます。センサー ボックス、カメラ、温室で使用される API などがあります」とバンサル氏は言います。 「それらはすべて失敗する可能性があり、実際に失敗しているため、問題はそれをどのように検出できるか、そしてどれだけ早く反応できるかです。」

「私たちはこれらすべての問題に対処し、それらすべてに対して回復力のあるシステムを設計する必要がありましたが、それは実際の制御システムの設計の一部だと思います」とバンサル氏は付け加えました。

Sonoma AI のアプローチ

Sonoma は、近似ベイジアン モデルベースの強化学習を中心にフレームワークを構築することを選択しました。

「モデルベースの RL がサンプル効率的で一般化可能であると考えているため、私たちはモデルベースの RL に賭けています」と Tran 氏は言います。 「実世界のアプリケーションではサンプルの効率が非常に重要です。 標準的な RL アルゴリズムでは、たとえ単純な環境であっても、優れたエージェントをトレーニングするには、数百万回もの膨大な数の試行が必要です。 RL が成功を収めているゲームでは、エージェントは必要なだけゲームをプレイできるため、これは大した問題ではありません。 実際のアプリケーションでは、何百万もの失敗したトライアルを実行する余裕はありません。 したがって、RL については異なる考え方をする必要があります。」

強化学習が今日の社会的課題に対する実行可能な解決策となるためには、チームはエージェントが既存のシステムと同じくらい強力に初期化され、最適化に達する能力に制限なく学習し、時間の経過とともに改善できる能力を備えている必要があると判断し、フレームワークを考案しました。上記）これらの機能を組み込んでいます。

このフレームワークは、確率的ダイナミクス モデルをトレーニングすることから始まります。 このモデル学習は、エージェントが想像して計画を立てるのに役立つシミュレーターの構築に似ています。 さらに、模倣学習によって、エージェントは既存のエキスパート ポリシーと同様に動作するように初期化されます。 そこから、エージェントは継続的なモデルベースのポリシー最適化プロセスに基づいて動作し、あらゆる環境相互作用で全体的なパフォーマンスを向上させます。

左から：研究科学者のハオ・シウミン氏、温室野菜専門家のシャリン・コスラ氏、オンタリオ州農業・農業食品カナダのハロー研究開発センターのトラン氏

温室チャレンジでは、気象状況などの温室周囲のデータと、温室内のセンサーや画像からのデータがエージェントに入力され、人工照明の強度と分布が決定されました。 植物に与える水、二酸化炭素、栄養素の量。 そして温室の温度。 フレームワークは、バイオマスが最大になることを学習した内容に基づいて設定を選択しました。

「チームは、作物の栽培と管理、および温室の環境制御に関する最新の最良の知識とベストプラクティスを温室 AI 制御システムに組み込むことに成功しました」と、ソノマプロジェクトに協力するカナダ農業・農業食品研究員のシウミン・ハオ氏は述べています。 。 「チームは、以前のモデル データから特定された高植物密度システムから開始し、この高密度/高生産システムの最高のパフォーマンスを可能にするために、作物の成長期間にわたる作物のパフォーマンスと気象条件に基づいて AI 気候制御を調整しました。」

トランはチームの戦略を保守的だと説明する。 競争の設定では XNUMX 回の試行のみが許可されており、挑戦の前に存在するデータはあまりありませんでした。 そのため、その戦略は、継続的な学習と改善のための強化学習にはまだ頼らず、手作りの専門家ポリシーのみに依存していました。

「各分野の専門家と協力し、彼らの知識と AI エージェントの機能を活用することで、短期間でより良い結果を生み出すことができました」と Tran 氏は言います。 「そして、これはほんの始まりにすぎません。 文字通り、成長の余地はたくさんある & 比喩的に。」