Antes de fundar Koidra, Kenneth Tran Había trabajado extensamente en Microsoft Research en investigaciones de aprendizaje por refuerzo del mundo real con aplicaciones en optimización de energía de centros de datos y agricultura en entornos controlados.
Las plantas de pepino, con sus hojas anchas, verdes y venosas, se alzaban en hileras ordenadas, disfrutando de la luz del sol de Holanda que brillaba a través de los cristales de sus invernaderos. Había muchas esperanzas para las plantas: una cosecha abundante en sólo cuatro meses utilizando la menor cantidad de recursos posible. Con la cantidad y el tipo de cuidado adecuados, producirían verduras para el disfrute de los consumidores. Sin embargo, para el observador casual, podría haber parecido que las plantas habían sido abandonadas a su suerte. El personal del invernadero pasó para cosechar o ajustar las cámaras y otros dispositivos eléctricos del interior, pero el contacto humano de los responsables de determinar cuánta agua, nutrición y luz recibían las plantas fue inexistente. Ese era el punto.
Esta primavera, la Universidad e Investigación de Wageningen y el patrocinador corporativo Tencent desafiaron a investigadores, científicos y expertos de todos los sectores: construir el invernadero del futuro. Motivados por la posible tensión en los métodos tradicionales de producción de alimentos como resultado del crecimiento de la población mundial y viendo una solución en invernaderos que funcionan sin experiencia humana in situ, los organizadores pidieron a los participantes de la competencia que usaran inteligencia artificial para maximizar la producción de pepinos y minimizar los recursos. y hacerlo de forma remota.
Nueve meses después, el equipo Sonoma de Microsoft Research, dirigido por Ingeniero principal de investigación Kenneth Tran, venció a otros cuatro equipos interdisciplinarios para ganar el Desafío de invernadero autónomo, creando un agente que producía más de 55 kilos de pepino por metro cuadrado con un beneficio neto de 25€/m2.
"Esta fue la primera vez en todo el mundo que se cultivaron pepinos en invernaderos de forma remota con IA", dice la coordinadora del desafío, Silke Hemming. “En Wageningen University & Research estábamos entusiasmados de colaborar con diferentes equipos en este apasionante desafío internacional. El equipo Sonoma pudo superar a la referencia de cultivo manual operada por buenos productores holandeses. No sólo alcanzaron el beneficio neto más alto, sino que el jurado también los calificó como los más altos en sostenibilidad total”.
Con una ganancia neta un 17 por ciento mayor, Sonoma fue el único equipo de IA que superó a los productores expertos de referencia, y su ganancia neta fue un 25 por ciento mayor que la del equipo en segundo lugar, liderado por investigadores de Tencent AI Lab. La ganancia neta contó más para el desempeño general en la competencia, mientras que la novedad y la capacidad del algoritmo representaron el 30 por ciento y la sostenibilidad, basada en la eficiencia en energía, agua y CO.2y el uso de pesticidas, representaron el 20 por ciento.
Un viaje más grande
Para Tran y Microsoft, el trabajo demostrado en la competencia es parte de un compromiso más amplio para implementar tecnologías de nube, Internet de las cosas y IA para proteger y sostener el planeta y sus recursos naturales. En julio de 2017, Microsoft lanzó AI para la Tierra para apoyar a personas y organizaciones que trabajan en agua, agricultura, biodiversidad y cambio climático con subvenciones, educación y mayor colaboración. la iniciativa Desde entonces se ha ampliado el enfoque estratégico y la financiación., y los avances que se están logrando, especialmente en el área de la agricultura basada en datos, han sido impresionantes. FarmBeats se encuentra entre los proyectos que reciben reconocimiento por su impacto, y Tran y otro miembro del Equipo Sonoma, Chetan Bansal, ingeniero sénior de software de investigación, también contribuyen a ese trabajo.
Si bien FarmBeats está mejorando la recopilación de datos al aire libre con sensores, drones y otros dispositivos para una agricultura más sostenible, el trabajo del Equipo Sonoma se centra en la agricultura de ambiente controlado (CEA), un sistema cerrado de agricultura que permite a los productores determinar y ejecutar configuraciones óptimas para dichos factores ambientales. como luz, temperatura, humedad y CO2 concentración.
El interés de Tran en CEA como área de investigación se despertó en 2017, aproximadamente un año antes de escuchar sobre el Desafío Autónomo de Invernadero. Como miembro del grupo de aprendizaje por refuerzo de Microsoft Research, él y sus colegas exploran el potencial de la tecnología de aprendizaje automático para aplicaciones en el mundo real. No sólo es atractiva la capacidad de la CEA para tener un impacto significativo (un medio más eficiente y accesible para satisfacer las demandas nutricionales de la población mundial), sino que también es un gran campo de entrenamiento para modelos de aprendizaje reforzado. CEA ofrece escenarios contenidos en los que trabajar y una gran cantidad de datos, cuya recopilación es relativamente rápida y sencilla gracias a la tecnología de detección y al IOT.
"El estado del arte del aprendizaje por refuerzo es notoriamente ávido de datos, por lo que es fundamental que nos centremos en nuevos algoritmos eficientes en el uso de muestras", afirma Tran. “Sin embargo, para cerrar la brecha más rápidamente, también necesitamos entornos donde podamos recopilar una gran cantidad de datos de manera fácil y asequible”.
El enfoque de aplicación de Sonoma—el nombre del proyecto para el trabajo general de Tran y su colega en el área, así como el nombre del equipo de desafío de invernadero—ha sido invernadero y Agricultura vertical, los cuales tienen el potencial de una producción de alimentos más segura y rápida con un menor uso de los recursos que han sido literalmente la base de la agricultura tradicional: la tierra y el agua. ASegún el sitio web del concurso de invernaderos., el cultivo de interior, como el invernadero y la agricultura vertical, puede reducir las necesidades de agua hasta en un 90 por ciento, necesita una décima parte del espacio para producir la misma cantidad de cultivo que la agricultura más tradicional y puede prosperar con menos pesticidas y productos químicos. Sin embargo, esta solución prometedora requiere una fuerza laboral de expertos en agricultura de interior que podría verse superada por la demanda de agricultura de interior, y Tran se ha fijado como objetivo de Sonoma ayudar a crear autonomía en el espacio.
"La IA puede ayudar no solo a ampliar el conocimiento experto en países desarrollados, como los Países Bajos, a los países en desarrollo, sino también a mejorar a los productores expertos", dice Tran.
Para alcanzar la meta de Sonoma, Tran lidera con lo que él describe como un enfoque de abajo hacia arriba y de arriba hacia abajo.
“Por abajo hacia arriba nos referimos a realizar investigaciones novedosas sobre el aprendizaje por refuerzo, la investigación fundamental sobre el aprendizaje por refuerzo, y también realizar simultáneamente investigaciones centradas en las aplicaciones”, explica. “La investigación aplicable sobre el aprendizaje por refuerzo aún se encuentra en una etapa muy, muy temprana, por lo que hay mucho terreno para realizar nuevas investigaciones. Para el aspecto de arriba hacia abajo, nuestro enfoque es buscar la colaboración con expertos en el campo de todo el mundo”.
Los miembros del proyecto Sonoma reflejan esa filosofía: Tran y Bansal, ambos de Microsoft Research, representan el lado de la IA. Del lado de las ciencias vegetales y de los institutos asociados están científico investigador Xiuming Hao de Agricultura y Agroalimentación de Canadá (AAFC) y Chieri Kubota, profesor de agricultura en ambiente controlado en The Ohio State University, entre otros colaboradores.
Una competición en el camino
Fue la firme creencia de Tran en el poder de la colaboración lo que llevó a un Equipo Sonoma para el Desafío Internacional Autónomo de Invernadero. En marzo de 2018 visitó Wageningen University & Research, una asociación líder en producción de alimentos, para explorar oportunidades de colaboración. Durante la reunión, sus homólogos de Wageningen mencionaron el desafío y él se lo planteó a su equipo de Microsoft Research. Todos estaban intrigados.
"Empezamos a leer sobre la competencia y nos entusiasmamos", recuerda Tran. “Fue una gran oportunidad para mojarnos los pies y rápidamente. Ya existía un fuerte compromiso de múltiples actores clave en el área (Wageningen University & Research, Tencent, Intel y Delphy and AgroEnergy, entre ellos) trabajando hacia un objetivo y una visión compartidos. Además, durante la competición tuvimos el apoyo garantizado del personal de Wageningen”.
Y se formó el Equipo Sonoma: Tran del laboratorio de Microsoft Research Redmond; Bansal del laboratorio Microsoft Research India; Thomas Follender Grossfeld y Vincent van Wingerden of Microsoft Países Bajos; David Katzin, estudiante de doctorado de Wageningen; y Hong Phan, estudiante de doctorado de la Universidad de Copenhague. Sonoma fue uno de los cinco equipos seleccionados de un grupo de 15 para el evento principal después de un “hackathon” previo a la competencia que incluyó un desafío virtual de crecimiento y una presentación de su enfoque.
Cada equipo recibió 96 metros cuadrados de espacio de invernadero en el campus de investigación y universidad de Wageningen en Bleiswijk, Países Bajos. Cada invernadero estaba equipado con el mismo sistema de actuadores, que incluían ventilación, calefacción e iluminación artificial, y sensores para medir, entre otras cosas, la temperatura, la humedad y el consumo de energía. También se permitió a los equipos instalar sensores y equipos de monitoreo adicionales.
Sonoma instaló cámaras adicionales, pero solo un sensor adicional: un sensor de humedad de las hojas, que no se encontraba entre los sensores preinstalados de la competencia. El equipo eligió el sensor para un mayor control de la humedad, dos factores que provocan plagas y enfermedades que dañan los cultivos. A los equipos se les permitió entrar a su invernadero solo una vez para instalar sus cámaras y sensores adicionales. Durante la competencia, desde el 1 de septiembre hasta mediados de diciembre, ejecutaron sus sistemas de inteligencia artificial de forma remota.
Pero para Bansal, la distancia desde el lugar de recopilación de datos no fue tan desafiante como los medios de recopilación de datos en sí. El equipo necesitaba diseñar un sistema que pudiera dar cuenta de la ley de Murphy: cualquier cosa que pueda salir mal, saldrá mal.
"Los datos provienen de múltiples fuentes: hay cajas de sensores, cámaras y el API que utiliza el invernadero", dice Bansal. "Todos ellos pueden y han fallado, por lo que la pregunta es cómo puedes detectarlo y qué tan rápido puedes reaccionar".
"Tuvimos que abordar todos esos problemas y diseñar un sistema que fuera resistente a todos ellos, pero creo que eso es parte del diseño de cualquier sistema de control del mundo real", añadió Bansal.
El enfoque de IA de Sonoma
Sonoma decidió construir su marco en torno al aprendizaje por refuerzo basado en modelos bayesianos aproximados.
"Apostamos por la RL basada en modelos porque creemos que es generalizable y eficiente en el muestreo", dice Tran. “La eficiencia de las muestras es fundamental para las aplicaciones del mundo real. Los algoritmos RL estándar requieren una gran cantidad de pruebas (millones) para capacitar a un buen agente, incluso en entornos simples. Esto no es gran cosa en los juegos, donde RL ha tenido éxito, porque un agente puede jugar tantos juegos como necesite. En aplicaciones del mundo real, no podemos darnos el lujo de realizar millones de pruebas fallidas. Por eso debemos pensar de manera diferente sobre la vida real”.
Para que el aprendizaje por refuerzo sea una solución viable para los desafíos sociales actuales, el equipo determinó que el agente debe inicializarse tan fuerte como cualquier sistema existente y tener la capacidad de aprender y mejorar con el tiempo sin límites en su capacidad para alcanzar la optimización y concibió un marco ( arriba) incorporando estas características.
El marco comienza entrenando un modelo de dinámica probabilística. Este aprendizaje de modelos es análogo a la construcción de un simulador, que ayuda al agente a planificar mediante la imaginación. Además, mediante el aprendizaje por imitación, el agente se inicializa para que funcione como una política experta existente. A partir de ahí, el agente operará en un proceso continuo de optimización de políticas basado en modelos, mejorando su desempeño general con cada interacción ambiental.
De izquierda a derecha: el científico investigador Xiuming Hao, el especialista en hortalizas de invernadero Shalin Khosla y Tran del Centro de Investigación y Desarrollo Harrow de Agricultura y Agroalimentación de Canadá en Ontario.
Para el desafío del invernadero, se ingresaron al agente datos de alrededor del invernadero, como las condiciones climáticas, y de sensores e imágenes del interior del invernadero, que luego determinó la intensidad y distribución de la iluminación artificial; la cantidad de agua, CO2 y nutrientes a dar a las plantas; y temperatura del invernadero. El marco eligió entornos basándose en lo que aprendió que daría como resultado la mayor biomasa.
"El equipo ha incorporado con éxito los mejores conocimientos y mejores prácticas actuales sobre cultivo y gestión de cultivos y sobre control ambiental de invernaderos en su sistema de control de IA en invernaderos", dice Xiuming Hao, científico investigador de Agricultura y Agroalimentación de Canadá que colabora con el proyecto Sonoma. . "El equipo comenzó con un sistema de alta densidad de plantas identificado a partir de datos de modelos anteriores y ajustó el control climático de la IA en función del rendimiento del cultivo y las condiciones climáticas durante el período de crecimiento del cultivo para permitir el mejor rendimiento de este sistema de alta densidad y alta producción".
Tran describe la estrategia del equipo como conservadora. La configuración de la competencia permitió solo una prueba y no había muchos datos antes del desafío; Debido a eso, su estrategia se basó únicamente en una política experta hecha a mano sin recurrir al aprendizaje reforzado para el aprendizaje y la mejora continua, todavía.
"Al trabajar con expertos en el campo y aprovechar sus conocimientos, así como las capacidades de nuestro agente de IA, juntos pudimos producir mejores resultados en un corto período de tiempo", dice Tran. "Y esto es sólo el principio; hay mucho espacio para crecer, literalmente y figuradamente."
