Avant de fonder Koidra, Kenneth Tran avait beaucoup travaillé chez Microsoft Research sur la recherche sur l'apprentissage par renforcement dans le monde réel avec des applications dans l'optimisation énergétique des centres de données et l'agriculture en environnement contrôlé.
Les plants de concombre, aux feuilles larges, vertes et veinées, se dressaient en rangées bien rangées, se prélassant sous le soleil des Pays-Bas qui brillait à travers les vitres de leurs serres. Les espoirs étaient grands pour les plantes : une récolte abondante en seulement quatre mois en utilisant le moins de ressources possible. Avec la bonne quantité et le bon type de soins, ils produiraient des légumes dont les consommateurs pourraient profiter. Pour l’observateur occasionnel, cependant, il aurait pu sembler que les plantes avaient été laissées à elles-mêmes. Le personnel de la serre est passé pour récolter ou régler les caméras et autres appareils électriques à l'intérieur, mais le contact humain de la part des personnes chargées de déterminer la quantité d'eau, de nutrition et de lumière que les plantes recevaient était inexistant. C'était le but.
Ce printemps, l'Université et la Recherche de Wageningen et le sponsor Tencent ont lancé un défi aux chercheurs, scientifiques et experts de tous les secteurs : Construisez la serre du futur. Motivés par la pression potentielle sur les méthodes traditionnelles de production alimentaire en raison d'une population mondiale croissante et voyant une solution dans les serres opérationnelles sans expertise humaine sur place, les organisateurs ont demandé aux participants du concours d'utiliser l'intelligence artificielle pour maximiser la production de concombres tout en minimisant les ressources. et ce, à distance.
Neuf mois plus tard, l'équipe Sonoma de Microsoft Research, dirigée par Kenneth Tran, ingénieur de recherche principal, a battu quatre autres équipes interdisciplinaires pour remporter le Défi des serres autonomes, créant un agent qui produisait plus de 55 kilogrammes de concombre par mètre carré avec un bénéfice net de 25 €/m2.
«C'était la première fois dans le monde que des concombres étaient cultivés à distance dans des serres grâce à l'IA», explique Silke Hemming, coordinatrice du défi. « Chez Wageningen University & Research, nous étions ravis de collaborer avec différentes équipes sur ce défi international passionnant. Team Sonoma a réussi à battre la référence cultivée manuellement et exploitée par de bons producteurs néerlandais. Non seulement ils ont obtenu le bénéfice net le plus élevé, mais le jury les a également classés en tête en termes de durabilité totale.»
Avec un bénéfice net supérieur de 17 pour cent, Sonoma était la seule équipe d'IA à battre les producteurs experts de référence, et son bénéfice net était 25 pour cent supérieur à celui de l'équipe en deuxième place, dirigée par les chercheurs du Tencent AI Lab. Le bénéfice net a compté le plus dans la performance globale de la concurrence, tandis que la nouveauté et la capacité des algorithmes représentaient 30 % et la durabilité, basée sur l'efficacité de l'énergie, de l'eau et du CO.2et l'utilisation de pesticides représentaient 20 pour cent.
Un plus grand voyage
Pour Tran et Microsoft, le travail démontré lors du concours fait partie d'un engagement plus large visant à déployer des technologies cloud, Internet des objets et IA pour protéger et soutenir la planète et ses ressources naturelles. En juillet 2017, Microsoft a lancé AI pour la Terre pour soutenir les individus et les organisations travaillant dans les domaines de l'eau, de l'agriculture, de la biodiversité et du changement climatique avec des subventions, de l'éducation et une collaboration plus poussée. L'initiative l’approche stratégique et le financement ont depuis été élargis, et les progrès réalisés, notamment dans le domaine de l’agriculture basée sur les données, ont été impressionnants. FarmBeats fait partie des projets reconnus pour son impact, et Tran et un autre membre de l'équipe Sonoma, Ingénieur logiciel de recherche principal Chetan Bansal, contribuent également à ce travail.
Alors que FarmBeats améliore la collecte de données en extérieur avec des capteurs, des drones et d'autres appareils pour une agriculture plus durable, le travail de l'équipe Sonoma porte sur l'agriculture en environnement contrôlé (CEA), un système agricole fermé qui permet aux producteurs de déterminer et d'exécuter des paramètres optimaux pour ces facteurs environnementaux. comme la lumière, la température, l'humidité et le CO2 concentration.
L'intérêt de Tran pour le CEA en tant que domaine de recherche a été éveillé en 2017, environ un an avant qu'il n'entende parler du Autonomous Greenhouse Challenge. En tant que membre du groupe Reinforcement Learning de Microsoft Research, lui et ses collègues explorent le potentiel de la technologie d'apprentissage automatique pour des applications concrètes. Non seulement la capacité du CEA à avoir un impact significatif est attrayante – un moyen plus efficace et plus accessible pour répondre aux demandes nutritionnelles de la population mondiale – mais c'est également un excellent terrain de formation pour les modèles d'apprentissage par renforcement. Le CEA propose des scénarios confinés dans lesquels travailler et une abondance de données dont la collecte est relativement simple et rapide grâce aux technologies de détection et à l'IOT.
"L'état actuel de l'apprentissage par renforcement est notoirement gourmand en données, il est donc essentiel que nous nous concentrions sur de nouveaux algorithmes efficaces en matière d'échantillons", explique Tran. « Toutefois, pour combler plus rapidement l’écart, nous avons également besoin d’environnements dans lesquels nous pouvons collecter un grand nombre de données facilement et à moindre coût. »
L'objectif d'application de Sonoma—le nom du projet pour le travail global de Tran et de ses collègues dans la région, ainsi que le nom de l'équipe du défi des serres—a été serre et agriculture verticale, qui ont tous deux le potentiel d’une production alimentaire plus sûre et plus rapide avec une utilisation moindre des ressources qui ont été littéralement le fondement de l’agriculture traditionnelle : la terre et l’eau. UNSelon le site du concours de serres, la culture en intérieur telle que l'agriculture en serre et l'agriculture verticale peut réduire les besoins en eau jusqu'à 90 pour cent, nécessite un dixième de l'espace pour produire la même quantité de récolte que l'agriculture plus traditionnelle et peut prospérer avec moins de pesticides et de produits chimiques. Cette solution prometteuse nécessite cependant une main-d'œuvre d'experts en agriculture d'intérieur qui pourrait être dépassée par la demande d'agriculture en intérieur, et Tran s'est donné pour objectif de Sonoma d'aider à créer de l'autonomie dans l'espace.
"L'IA peut aider à la fois à étendre les connaissances des experts des pays développés tels que les Pays-Bas aux pays en développement, mais également à améliorer les connaissances des producteurs experts", explique Tran.
Pour atteindre l’objectif de Sonoma, Tran adopte ce qu’il décrit comme une approche ascendante et descendante.
« Par ascendant, nous entendons mener de nouvelles recherches sur l’apprentissage par renforcement, la recherche très fondamentale sur l’apprentissage par renforcement, et également mener simultanément des recherches centrées sur les applications », explique-t-il. « La recherche applicable sur l'apprentissage par renforcement en est encore à un stade très, très précoce, il reste donc beaucoup de chemin à parcourir pour de nouvelles recherches. Pour l’aspect descendant, notre approche consiste à rechercher une collaboration avec des experts du domaine du monde entier.
Les membres du projet Sonoma reflètent cette philosophie : Tran et Bansal, tous deux de Microsoft Research, représentent le côté IA. Du côté de la phytologie et des instituts partenaires, on trouve chercheur scientifique Xiuming Hao d'Agriculture et Agroalimentaire Canada (AAC) et Chieri Kubota, professeur d'agriculture en environnement contrôlé à l'Ohio State University, entre autres collaborateurs.
Une compétition en cours de route
C'est la ferme conviction de Tran dans le pouvoir de la collaboration qui a conduit à la création de l'équipe Sonoma pour l'International Autonomous Greenhouse Challenge. Il était en visite à l'Université et à la recherche de Wageningen, un partenariat de premier plan dans le domaine de la production alimentaire, en mars 2018 pour explorer les opportunités de collaboration. Au cours de la réunion, ses homologues de Wageningen ont évoqué le défi et il en a fait part à son équipe de Microsoft Research. Ils étaient tous intrigués.
« Nous avons commencé à lire des articles sur la compétition et nous étions enthousiasmés », se souvient Tran. « C’était une belle opportunité de se mettre les pieds dans l’eau et rapidement. Il y avait déjà un engagement fort de la part de plusieurs acteurs clés du domaine – Wageningen University & Research, Tencent, Intel et Delphy et AgroEnergy, parmi eux – travaillant vers un objectif et une vision communs. De plus, le soutien du personnel de Wageningen était garanti tout au long du concours.»
Et l'équipe Sonoma a été formée : Tran du laboratoire Microsoft Research Redmond ; Bansal du laboratoire Microsoft Research India ; Thomas Follender Grossfeld ainsi que Vincent van Wingerden of Microsoft Pays-Bas; David Katzin, doctorant à Wageningen ; et Hong Phan, doctorant de l'Université de Copenhague. Sonoma était l'une des cinq équipes sélectionnées parmi un groupe de 15 pour l'événement principal après un « hackathon » pré-compétition qui comprenait un défi de croissance virtuel et une présentation de leur approche.
Chaque équipe a reçu 96 mètres carrés de serre sur le campus de l'Université et de la recherche de Wageningen à Bleiswijk aux Pays-Bas. Chaque serre était équipée du même système d'actionneurs, comprenant la ventilation, le chauffage et l'éclairage artificiel, ainsi que de capteurs permettant de mesurer, entre autres, la température, l'humidité et la consommation d'énergie. Les équipes ont également été autorisées à installer des capteurs et des équipements de surveillance supplémentaires.
Sonoma a installé des caméras supplémentaires, mais un seul capteur supplémentaire : un capteur d'humidité des feuilles, qui ne faisait pas partie des capteurs préinstallés de la concurrence. L'équipe a choisi le capteur pour une surveillance accrue de l'humidité, deux facteurs qui conduisent à des ravageurs et des maladies nuisibles aux cultures. Les équipes n'étaient autorisées à entrer dans leur serre qu'une seule fois, pour installer leurs caméras et capteurs supplémentaires. Tout au long du concours, du 1er septembre à la mi-décembre, ils ont exécuté leurs frameworks d'IA à distance.
Mais pour Bansal, la distance par rapport au site de collecte de données n'était pas aussi difficile que les moyens de collecte de données eux-mêmes. L'équipe devait concevoir un système capable de tenir compte de la loi de Murphy : tout ce qui peut mal tourner tournera mal.
"Les données proviennent de plusieurs sources : il y a des boîtiers de capteurs, des caméras, l'API utilisée par la serre", explique Bansal. "Tous peuvent échouer et ont échoué, la question est donc de savoir comment vous pouvez le détecter et à quelle vitesse vous êtes capable de réagir."
"Nous avons dû faire face à tous ces problèmes et concevoir un système résilient à tous, mais je pense que cela fait partie de la conception de tout système de contrôle du monde réel", a ajouté Bansal.
L’approche Sonoma AI
Sonoma a choisi de construire son cadre autour d'un apprentissage par renforcement approximatif basé sur un modèle bayésien.
"Nous parions sur la RL basée sur un modèle parce que nous pensons qu'elle est efficace sur les échantillons et généralisable", explique Tran. « L'efficacité des échantillons est essentielle pour les applications du monde réel. Les algorithmes RL standard nécessitent un grand nombre d'essais (des millions) pour former un bon agent, même dans des environnements simples. Ce n'est pas un gros problème dans les jeux, où RL a fait ses preuves, car un agent peut jouer à autant de jeux qu'il en a besoin. Dans les applications du monde réel, nous ne pouvons pas nous permettre d’exécuter des millions d’essais infructueux. Nous devons donc penser différemment à RL.
Pour que l'apprentissage par renforcement soit une solution viable aux défis sociétaux d'aujourd'hui, l'équipe a déterminé que l'agent doit être initialisé aussi fort que n'importe quel système existant et avoir la capacité d'apprendre et de s'améliorer au fil du temps sans limites à sa capacité à atteindre l'optimalité et a conçu un cadre ( ci-dessus) intégrant ces fonctionnalités.
Le cadre commence par former un modèle de dynamique probabiliste. Cet apprentissage de modèle est analogue à la construction d’un simulateur, qui aide l’agent à planifier en imaginant. De plus, grâce à l’apprentissage par imitation, l’agent est initialisé pour fonctionner comme une politique experte existante. À partir de là, l’agent fonctionnera selon un processus continu d’optimisation des politiques basé sur un modèle, améliorant ainsi ses performances globales à chaque interaction environnementale.
De gauche à droite : le chercheur Xiuming Hao, le spécialiste des légumes de serre Shalin Khosla et Tran au Centre de recherche et de développement de Harrow d'Agriculture et Agroalimentaire Canada, en Ontario.
Pour le défi de la serre, des données provenant de l'environnement de la serre, telles que les conditions météorologiques, ainsi que des capteurs et des images de l'intérieur de la serre, ont été saisies dans l'agent, qui a ensuite déterminé l'intensité et la répartition de l'éclairage artificiel ; la quantité d'eau, de CO2 et de nutriments à donner aux plantes ; et la température de la serre. Le cadre a choisi les paramètres en fonction de ce qu'il a appris qui entraîneraient le plus de biomasse.
« L'équipe a réussi à intégrer les meilleures connaissances et pratiques actuelles en matière de culture et de gestion des cultures et de contrôle environnemental des serres dans son système de contrôle de l'IA en serre », déclare Xiuming Hao, chercheur scientifique d'Agriculture et Agroalimentaire Canada qui collabore au projet Sonoma. . "L'équipe a commencé avec un système à haute densité de plantes identifié à partir des données du modèle précédent, et a ajusté le contrôle climatique de l'IA en fonction des performances des cultures et des conditions météorologiques au cours de la période de croissance des cultures pour permettre les meilleures performances de ce système à haute densité/haute production."
Tran décrit la stratégie de l'équipe comme conservatrice. La configuration de la compétition ne permettait qu'un seul essai, et il n'existait pas beaucoup de données avant le défi ; pour cette raison, sa stratégie reposait uniquement sur une politique d’experts élaborée à la main, sans recourir à l’apprentissage par renforcement pour un apprentissage et une amélioration continus – pour l’instant.
« En travaillant avec des experts du domaine et en tirant parti de leurs connaissances, ainsi que des capacités de notre agent IA, nous avons pu produire ensemble de meilleurs résultats dans un court laps de temps », explique Tran. "Et ce n'est que le début; il y a beaucoup de place pour la croissance, littéralement ainsi que métaphoriquement."
