Voordat Koidra werd opgericht, Kenneth Tran had bij Microsoft Research uitgebreid gewerkt aan real-world onderzoek naar versterkingsleer met toepassingen in de energieoptimalisatie van datacenters en gecontroleerde omgevingslandbouw.
De komkommerplanten, hun bladeren breed en groen en geaderd, stonden hoog in nette rijen en koesterden zich in het Nederlandse zonlicht dat door de ruiten van hun kassen scheen. De verwachtingen voor de planten waren hooggespannen: een overvloedige oogst in slechts vier maanden met zo weinig mogelijk hulpbronnen. Met de juiste hoeveelheid en het juiste type zorg zouden ze groenten kunnen produceren waar de consument van kan genieten. Maar voor de toevallige toeschouwer leek het misschien alsof de planten aan hun lot waren overgelaten. Kaspersoneel kwam langs om camera's en andere elektrische apparaten binnen te oogsten of af te stellen, maar menselijk contact van degenen die verantwoordelijk waren voor het bepalen van hoeveel water, voeding en licht de planten kregen, bestond niet. Dat was het punt.
Dit voorjaar daagden Wageningen University & Research en bedrijfssponsor Tencent onderzoekers, wetenschappers en experts uit verschillende sectoren uit: Bouw de kas van de toekomst. Gemotiveerd door de potentiële druk op traditionele methoden van voedselproductie als gevolg van een groeiende wereldbevolking en het zien van een oplossing in kassen die operationeel zijn zonder menselijke expertise ter plaatse, vroegen de organisatoren aan de deelnemers aan de wedstrijd om kunstmatige intelligentie te gebruiken om de komkommerproductie te maximaliseren en tegelijkertijd de hulpbronnen te minimaliseren. en dat op afstand te doen.
Negen maanden later kwam Team Sonoma van Microsoft Research, onder leiding van Hoofdonderzoeksingenieur Kenneth Tran, versloeg vier andere interdisciplinaire teams om de overwinning te behalen Autonome kasuitdaging, waardoor een agent ontstond die meer dan 55 kilo komkommer per vierkante meter produceerde met een nettowinst van € 25/m2.
“Dit was de eerste keer dat er wereldwijd komkommers op afstand in kassen werden geteeld op basis van AI”, zegt challenge-coördinator Silke Hemming. “Wij van Wageningen University & Research waren enthousiast om met verschillende teams samen te werken aan deze spannende internationale uitdaging. Team Sonoma wist de handmatig geteelde referentie van goede Nederlandse telers te verslaan. Ze behaalden niet alleen de hoogste nettowinst, maar de jury rangschikte hen ook het hoogst op totale duurzaamheid.”
Met een nettowinst die 17 procent hoger was, was Sonoma het enige AI-team dat de referentie-experttelers versloeg, en de nettowinst was 25 procent hoger dan die van het team op de tweede plaats, geleid door onderzoekers van Tencent AI Lab. De nettowinst telde het meest mee voor de algehele prestaties van de concurrentie, terwijl de nieuwigheid en de capaciteit van het algoritme 30 procent voor hun rekening namen, en de duurzaamheid – gebaseerd op de efficiëntie op het gebied van energie, water en COXNUMX.2en het gebruik van pesticiden – goed voor 20 procent.
Een grotere reis
Voor Tran en Microsoft maakt het werk dat tijdens de wedstrijd wordt gedemonstreerd deel uit van een groter engagement voor de inzet van cloud-, Internet of Things- en AI-technologieën om de planeet en haar natuurlijke hulpbronnen te beschermen en in stand te houden. In juli 2017 lanceerde Microsoft AI voor de aarde om individuen en organisaties die werk doen op het gebied van water, landbouw, biodiversiteit en klimaatverandering te ondersteunen met subsidies, onderwijs en verdere samenwerking. Het initiatief strategische aanpak en financiering is inmiddels uitgebreiden de geboekte winst, vooral op het gebied van datagestuurde landbouw, is indrukwekkend. FarmBeats is een van de projecten die erkenning krijgt vanwege de impact ervan, en Tran en een ander Team Sonoma-lid, Senior onderzoeksoftware-ingenieur Chetan Bansal, dragen ook bij aan dat werk.
Terwijl FarmBeats de gegevensverzameling buitenshuis verbetert met sensoren, drones en andere apparaten voor een duurzamere landbouw, richt Team Sonoma zich op de gecontroleerde omgevingslandbouw (CEA), een gesloten landbouwsysteem waarmee telers optimale instellingen voor dergelijke omgevingsfactoren kunnen bepalen en uitvoeren. zoals licht, temperatuur, vochtigheid en CO2 concentratie.
Trans's interesse in CEA als onderzoeksgebied werd gewekt in 2017, ongeveer een jaar voordat hij hoorde over de Autonomous Greenhouse Challenge. Als lid van de Reinforcement Learning-groep bij Microsoft Research verkennen hij en zijn collega's het potentieel van machine learning-technologie voor toepassing in de echte wereld. Niet alleen is het vermogen van CEA om een betekenisvolle impact te hebben aantrekkelijk – een efficiënter, toegankelijker middel om aan de voedingsbehoeften van de wereldbevolking te voldoen – maar het is ook een geweldig oefenterrein voor leermodellen voor versterking. CEA biedt overzichtelijke scenario's om in te werken en een overvloed aan gegevens, waarvan het verzamelen relatief snel en eenvoudig is dankzij sensortechnologie en IoT.
"De stand van de techniek op het gebied van versterkend leren is notoir datahongerig, dus het is van cruciaal belang dat we ons concentreren op nieuwe, voorbeeldefficiënte algoritmen", zegt Tran. “Om de kloof sneller te dichten, hebben we echter ook omgevingen nodig waarin we gemakkelijk en betaalbaar veel gegevens kunnen verzamelen.”
De toepassingsfocus van Sonoma– de projectnaam voor het algemene werk van Tran en zijn collega in het gebied, evenals de naam voor het Greenhouse Challenge-team – was kas en verticale landbouw, die beide het potentieel hebben voor een veiligere, snellere voedselproductie met minder gebruik van de hulpbronnen die letterlijk de basis vormen van de traditionele landbouw: land en water. Avolgens de website van de kaswedstrijdBinnenteelt, zoals glastuinbouw en verticale landbouw, kan de waterbehoefte met wel 90 procent verminderen, heeft een tiende van de ruimte nodig om dezelfde hoeveelheid gewas te produceren als de meer traditionele landbouw, en kan gedijen met minder pesticiden en chemicaliën. Deze veelbelovende oplossing vereist echter een personeelsbestand van deskundigen op het gebied van binnenlandbouw, dat wellicht wordt overtroffen door de vraag naar binnenlandbouw. Tran heeft het tot Sonoma's doel gemaakt om autonomie in de ruimte te helpen creëren.
“AI kan helpen om de kennis van experts in ontwikkelde landen zoals Nederland op te schalen naar ontwikkelingslanden, maar ook om de deskundige telers te verbeteren”, zegt Tran.
Om het doel van Sonoma te bereiken, leidt Tran met wat hij omschrijft als een bottom-up, top-down benadering.
“Met bottom-up bedoelen we het doen van nieuw onderzoek op het gebied van versterkend leren, het zeer fundamentele onderzoek naar versterkend leren, en tegelijkertijd ook het toepassingsgerichte onderzoek doen”, legt hij uit. “Toepasselijk onderzoek naar versterkend leren bevindt zich nog in een heel, heel vroeg stadium, dus er is veel ruimte voor nieuw onderzoek. Voor het top-down aspect is onze aanpak het zoeken naar samenwerking met domeinexperts van over de hele wereld.”
De Sonoma-projectleden weerspiegelen die filosofie: Tran en Bansal, beiden van Microsoft Research, vertegenwoordigen de AI-kant. Aan de plantwetenschappelijke kant en vanuit partnerschapsinstituten onderzoekswetenschapper Xiuming Hao van Landbouw en Agri-Food Canada (AAFC) en Chieri Kubota, onder meer hoogleraar gecontroleerde milieulandbouw aan de Ohio State University.
Onderweg een wedstrijd
Het was Trans sterke geloof in de kracht van samenwerking dat leidde tot een Team Sonoma voor de internationale Autonomous Greenhouse Challenge. In maart 2018 was hij op bezoek bij Wageningen University & Research, een toonaangevend samenwerkingsverband op het gebied van voedselproductie, om mogelijkheden voor samenwerking te verkennen. Tijdens de bijeenkomst noemden zijn Wageningse collega's de uitdaging en bracht hij deze terug naar zijn team bij Microsoft Research. Ze waren allemaal geïntrigeerd.
“We begonnen over de wedstrijd te lezen en raakten enthousiast”, herinnert Tran zich. “Het was een geweldige kans om snel en nat te worden. Er was al een sterke betrokkenheid van meerdere belangrijke spelers in het gebied – waaronder Wageningen University & Research, Tencent, Intel en Delphy en AgroEnergy – die werkten aan een gedeeld doel en een gedeelde visie. Bovendien was er gegarandeerde steun van Wageningse medewerkers tijdens het verloop van de competitie.”
En Team Sonoma werd gevormd: Tran van het Microsoft Research Redmond-lab; Bansal van het Microsoft Research India-lab; Thomas Follender Grossfeld en Vincent van Wingerden of Microsoft Nederland; David Katzin, een Wageningse promovendus; en Hong Phan, een PhD-student van de Universiteit van Kopenhagen. Sonoma was een van de vijf geselecteerde teams uit een groep van 15 voor het hoofdevenement na een pre-competitieve “hackathon” met een virtuele groeiende uitdaging en een presentatie van hun aanpak.
Elk team kreeg 96 vierkante meter kasruimte op de campus van Wageningen University & Research in Bleiswijk, Nederland. Elke kas was uitgerust met hetzelfde systeem van actuatoren, waaronder ventilatie, verwarming en kunstverlichting, en sensoren om onder meer temperatuur, vocht en energieverbruik te meten. Teams mochten ook extra sensoren en monitoringapparatuur installeren.
Sonoma installeerde extra camera's, maar slechts één extra sensor: een bladnatsensor, die niet tot de vooraf geïnstalleerde concurrentiesensoren behoorde. Het team koos de sensor voor een betere monitoring van vochtigheid en vocht, twee factoren die leiden tot gewasbeschadigende plagen en ziekten. Teams mochten slechts één keer hun kas in om hun extra camera's en sensoren op te stellen. Gedurende de hele wedstrijd, van 1 september tot half december, lieten ze hun AI-frameworks op afstand draaien.
Maar voor Bansal was de afstand tot de plaats waar de gegevens werden verzameld niet zo uitdagend als de manier waarop de gegevens werden verzameld zelf. Het team moest een systeem ontwerpen dat rekening kon houden met de wet van Murphy: alles wat fout kan gaan, zal ook fout gaan.
"De gegevens komen uit meerdere bronnen: er zijn sensorboxen, camera's en de API die door de kas wordt gebruikt", zegt Bansal. "Ze kunnen allemaal falen en hebben gefaald, dus de vraag is hoe je het kunt detecteren en hoe snel je kunt reageren."
“We moesten met al deze problemen omgaan en een systeem ontwerpen dat bestand was tegen al deze problemen, maar ik denk dat dat deel uitmaakt van het ontwerpen van elk controlesysteem in de echte wereld,” voegde Bansal eraan toe.
De Sonoma AI-aanpak
Sonoma koos ervoor om zijn raamwerk te bouwen rond benaderend Bayesiaans modelgebaseerd versterkend leren.
"We gokken op modelgebaseerde RL omdat we denken dat dit steekproefefficiënt en generaliseerbaar is", zegt Tran. “Monsterefficiëntie is van cruciaal belang voor toepassingen in de echte wereld. Standaard RL-algoritmen vereisen een groot aantal pogingen (in de miljoenen) om een goede agent te trainen, zelfs in eenvoudige omgevingen. Dit is geen probleem in games waarin RL succes heeft getoond, omdat een agent zoveel games kan spelen als hij nodig heeft. Bij toepassingen in de echte wereld kunnen we het ons niet veroorloven miljoenen mislukte tests uit te voeren. We moeten dus anders over RL denken.”
Om versterkend leren een haalbare oplossing te laten zijn voor de huidige maatschappelijke uitdagingen, heeft het team vastgesteld dat de agent net zo sterk moet worden geïnitialiseerd als elk bestaand systeem en het vermogen moet hebben om in de loop van de tijd te leren en te verbeteren zonder grenzen aan zijn vermogen om optimaliteit te bereiken, en bedacht een raamwerk. hierboven) waarin deze kenmerken zijn verwerkt.
Het raamwerk begint met het trainen van een probabilistisch dynamisch model. Dit modelleren is analoog aan het bouwen van een simulator, die de agent helpt te plannen door zich voor te stellen. Bovendien wordt de agent, door middel van imitatieleren, geïnitialiseerd om te presteren als een bestaand expertbeleid. Van daaruit zal de agent werken aan een continu, op modellen gebaseerd proces voor beleidsoptimalisatie, waardoor de algehele prestaties bij elke omgevingsinteractie worden verbeterd.
Van links: Onderzoekswetenschapper Xiuming Hao, kasgroentenspecialist Shalin Khosla en Tran bij Agriculture and Agri-Food Canada's Harrow Research and Development Centre in Ontario
Voor de kasuitdaging werden gegevens uit de hele kas, zoals de weersomstandigheden, en van sensoren en beelden van binnen de kas, ingevoerd in de agent, die vervolgens de intensiteit en distributie van kunstlicht bepaalde; de hoeveelheid water, CO2 en voedingsstoffen die de planten moeten krijgen; en kastemperatuur. Het raamwerk koos instellingen op basis van wat het leerde dat zou resulteren in de meeste biomassa.
“Het team heeft met succes de huidige beste kennis en beste praktijken op het gebied van de teelt en het beheer van gewassen en op het gebied van de controle van het klimaat in de kas opgenomen in zijn AI-controlesysteem”, zegt Xiuming Hao, de onderzoekswetenschapper van Agriculture and Agri-Food Canada die samenwerkt met het Sonoma-project. . “Het team begon met een systeem met hoge plantdichtheid, geïdentificeerd op basis van eerdere modelgegevens, en paste de AI-klimaatregeling aan op basis van de gewasprestaties en weersomstandigheden gedurende de groeiperiode van het gewas om de beste prestaties van dit systeem met hoge dichtheid en hoge productie mogelijk te maken.”
Tran beschrijft de strategie van het team als conservatief. De opzet van de wedstrijd maakte slechts één proef mogelijk, en er waren niet veel gegevens beschikbaar vóór de uitdaging; Daarom was de strategie uitsluitend gebaseerd op een handgemaakt beleid van experts, zonder toevlucht te nemen tot versterkend leren voor continu leren en verbeteren – tot nu toe.
“Door samen te werken met domeinexperts en gebruik te maken van hun kennis en de mogelijkheden van onze AI-agent, konden we samen binnen een kort tijdsbestek betere resultaten boeken”, zegt Tran. “En dit is nog maar het begin; er is letterlijk veel ruimte voor groei en figuurlijk."
