Trước khi thành lập Koidra, Kenneth Trần đã làm việc nhiều tại Microsoft Research về nghiên cứu học tập tăng cường trong thế giới thực với các ứng dụng trong tối ưu hóa năng lượng của trung tâm dữ liệu và nông nghiệp môi trường được kiểm soát.
Những cây dưa chuột, lá rộng, xanh và có gân, đứng cao thành hàng ngay ngắn, phơi mình dưới ánh nắng Hà Lan chiếu qua những ô kính trong nhà kính. Cây trồng có nhiều hy vọng—một vụ mùa bội thu chỉ trong bốn tháng với càng ít tài nguyên càng tốt. Với số lượng và cách chăm sóc phù hợp, họ sẽ sản xuất rau cho người tiêu dùng thưởng thức. Tuy nhiên, đối với người quan sát bình thường, có vẻ như cây cối đã được để yên cho các thiết bị riêng của chúng. Nhân viên nhà kính đi qua để thu hoạch hoặc điều chỉnh camera và các thiết bị điện khác bên trong, nhưng không có sự tiếp xúc của con người với những người chịu trách nhiệm xác định lượng nước, dinh dưỡng và ánh sáng mà cây nhận được. Đó là điểm.
Mùa xuân này, Đại học & Nghiên cứu Wageningen và nhà tài trợ doanh nghiệp Tencent đã thách thức các nhà nghiên cứu, nhà khoa học và chuyên gia từ nhiều lĩnh vực: Xây dựng nhà kính của tương lai. Được thúc đẩy bởi sự căng thẳng tiềm ẩn đối với các phương pháp sản xuất thực phẩm truyền thống do dân số thế giới ngày càng tăng và nhận thấy giải pháp trong nhà kính vận hành mà không có chuyên môn của con người tại chỗ, các nhà tổ chức đã yêu cầu những người tham gia cuộc thi sử dụng trí tuệ nhân tạo để tối đa hóa sản xuất dưa chuột đồng thời giảm thiểu tài nguyên— và thực hiện điều đó từ xa.
Chín tháng sau, Nhóm nghiên cứu của Microsoft Sonoma, dẫn đầu bởi Kỹ sư nghiên cứu chính Kenneth Trần, đánh bại XNUMX đội liên ngành khác để giành giải nhất Thử thách nhà kính tự trị, tạo ra một đại lý sản xuất hơn 55 kg dưa chuột trên một mét vuông với lợi nhuận ròng là €25/m2.
Điều phối viên thử thách Silke Hemming cho biết: “Đây là lần đầu tiên dưa chuột trên toàn thế giới được trồng từ xa trong nhà kính bằng AI”. “Chúng tôi tại Đại học & Nghiên cứu Wageningen rất vui mừng được cộng tác với các nhóm khác nhau trong thử thách quốc tế thú vị này. Đội Sonoma đã có thể đánh bại đối tượng trồng trọt thủ công được điều hành bởi những người trồng trọt giỏi ở Hà Lan. Họ không chỉ đạt được lợi nhuận ròng cao nhất mà ban giám khảo còn xếp hạng họ cao nhất về tính bền vững tổng thể.”
Với lợi nhuận ròng cao hơn 17%, Sonoma là nhóm AI duy nhất vượt qua các chuyên gia trồng trọt tham khảo và lợi nhuận ròng của họ cao hơn 25% so với nhóm đứng thứ hai, do các nhà nghiên cứu tại Tencent AI Lab dẫn đầu. Lợi nhuận ròng được tính nhiều nhất vào hiệu suất tổng thể trong cuộc thi trong khi tính mới và công suất của thuật toán chiếm 30% và tính bền vững— dựa trên hiệu quả về năng lượng, nước, CO2và việc sử dụng thuốc trừ sâu—chiếm 20%.
Một cuộc hành trình lớn hơn
Đối với Trần và Microsoft, công việc được thể hiện trong cuộc thi là một phần trong cam kết lớn hơn trong việc triển khai các công nghệ đám mây, Internet of Things và AI để bảo vệ và duy trì hành tinh cũng như các tài nguyên thiên nhiên của nó. Vào tháng 2017 năm XNUMX, Microsoft đã ra mắt AI cho trái đất để hỗ trợ các cá nhân và tổ chức làm việc trong lĩnh vực nước, nông nghiệp, đa dạng sinh học và biến đổi khí hậu bằng các khoản tài trợ, giáo dục và hợp tác sâu hơn. Sáng kiến của Cách tiếp cận chiến lược và tài trợ đã được mở rộngvà những lợi ích đạt được, đặc biệt là trong lĩnh vực canh tác dựa trên dữ liệu, rất ấn tượng. FarmBeats là một trong những dự án được công nhận về tác động của nó, và Tran cùng một thành viên khác của Nhóm Sonoma, Kỹ sư phần mềm nghiên cứu cấp cao Chetan Bansal, cũng là những người đóng góp cho công việc đó.
Trong khi FarmBeats đang cải thiện việc thu thập dữ liệu ngoài trời bằng cảm biến, máy bay không người lái và các thiết bị khác để canh tác bền vững hơn thì công việc của Team Sonoma là về nông nghiệp môi trường được kiểm soát (CEA), một hệ thống canh tác khép kín cho phép người trồng xác định và thực hiện các cài đặt tối ưu cho các yếu tố môi trường đó. như ánh sáng, nhiệt độ, độ ẩm và CO2 sự tập trung.
Sự quan tâm của Trần đối với CEA như một lĩnh vực nghiên cứu đã được khơi dậy vào năm 2017, khoảng một năm trước khi anh biết đến Thử thách nhà kính tự trị. Là thành viên của nhóm Học tăng cường của Microsoft Research, anh và các đồng nghiệp của mình khám phá tiềm năng của công nghệ máy học đối với ứng dụng trong thế giới thực. Khả năng tạo ra tác động có ý nghĩa của CEA không chỉ hấp dẫn—một phương tiện hiệu quả hơn, dễ tiếp cận hơn để đáp ứng nhu cầu dinh dưỡng của dân số trên trái đất—mà nó còn là nơi đào tạo tuyệt vời cho các mô hình học tập tăng cường. CEA đưa ra các kịch bản có sẵn để hoạt động và lượng dữ liệu phong phú, việc thu thập dữ liệu tương đối nhanh chóng và dễ dàng nhờ công nghệ cảm biến và IOT.
Tran cho biết: “Công nghệ học tăng cường nổi tiếng là thiếu dữ liệu, vì vậy điều quan trọng là chúng tôi phải tập trung vào các thuật toán mới, hiệu quả trên mẫu”. “Tuy nhiên, để thu hẹp khoảng cách nhanh hơn, chúng tôi cũng cần những môi trường nơi chúng tôi có thể thu thập nhiều dữ liệu một cách dễ dàng và giá cả phải chăng.”
Trọng tâm ứng dụng của Sonoma—tên dự án dành cho công việc tổng thể của Trần và đồng nghiệp trong khu vực, cũng như tên của nhóm thử thách nhà kính—là nhà kính và canh tác dọc, cả hai đều có tiềm năng sản xuất lương thực nhanh hơn, an toàn hơn với việc sử dụng ít tài nguyên vốn thực sự là nền tảng của canh tác truyền thống—đất và nước. MỘTtheo trang web cuộc thi nhà kính, canh tác trong nhà như canh tác trong nhà kính và canh tác thẳng đứng có thể giảm nhu cầu nước tới 90%, cần XNUMX/XNUMX không gian để sản xuất cùng một lượng cây trồng như canh tác truyền thống hơn và có thể phát triển với ít thuốc trừ sâu và hóa chất hơn. Tuy nhiên, giải pháp đầy hứa hẹn này đòi hỏi lực lượng lao động gồm các chuyên gia canh tác trong nhà có thể vượt xa nhu cầu canh tác trong nhà và Trần đã đặt mục tiêu của Sonoma là giúp tạo ra quyền tự chủ trong không gian.
Trần cho biết: “AI có thể giúp mở rộng kiến thức chuyên môn ở các nước phát triển như Hà Lan sang các nước đang phát triển, đồng thời cải thiện những người trồng trọt có chuyên môn”.
Để đạt được mục tiêu Sonoma, Trần dẫn đầu bằng cách mà anh mô tả là cách tiếp cận từ dưới lên, từ trên xuống.
Ông giải thích: “Nói từ dưới lên, chúng tôi muốn nói đến việc thực hiện nghiên cứu mới về học tăng cường, nghiên cứu học tăng cường rất cơ bản và đồng thời thực hiện nghiên cứu lấy ứng dụng làm trung tâm”. “Nghiên cứu học tăng cường có thể áp dụng vẫn đang ở giai đoạn rất sớm, vì vậy còn rất nhiều cơ sở để nghiên cứu mới được thực hiện. Đối với khía cạnh từ trên xuống, cách tiếp cận của chúng tôi là tìm kiếm sự cộng tác với các chuyên gia tên miền từ khắp nơi trên thế giới.”
Các thành viên dự án Sonoma phản ánh triết lý đó: Tran và Bansal, cả hai đều thuộc Microsoft Research, đại diện cho phía AI. Về phía khoa học thực vật và từ các viện hợp tác là nhà khoa học nghiên cứu Xiuming Hao Bộ Nông nghiệp và Thực phẩm Nông nghiệp Canada (AAFC) và Chieri Kubota, giáo sư về nông nghiệp môi trường được kiểm soát tại Đại học bang Ohio, cùng với các cộng tác viên khác.
Một cuộc cạnh tranh trên đường đi
Chính niềm tin mãnh liệt của Trần vào sức mạnh của sự hợp tác đã dẫn đến việc thành lập Đội Sonoma cho Thử thách Nhà kính Tự trị quốc tế. Anh ấy đã đến thăm Đại học & Nghiên cứu Wageningen—một đối tác hàng đầu trong lĩnh vực sản xuất thực phẩm—vào tháng 2018 năm XNUMX để khám phá các cơ hội hợp tác. Trong cuộc họp, những người đồng cấp ở Wageningen đã đề cập đến thách thức này và anh ấy đã đưa nó trở lại nhóm của mình tại Microsoft Research. Tất cả họ đều tò mò.
“Chúng tôi bắt đầu đọc về cuộc thi và rất hào hứng,” Trần nhớ lại. “Đó là một cơ hội tuyệt vời để chúng tôi có thể làm ướt chân mình một cách nhanh chóng. Đã có cam kết mạnh mẽ từ nhiều bên tham gia chủ chốt trong khu vực—Đại học & Nghiên cứu Wageningen, Tencent, Intel, Delphy và AgroEnergy, trong số đó—làm việc hướng tới mục tiêu chung và tầm nhìn chung. Ngoài ra, còn có sự hỗ trợ đảm bảo từ nhân viên Wageningen trong suốt cuộc thi.”
Và Đội Sonoma được thành lập: Trần từ phòng thí nghiệm Microsoft Research Redmond; Bansal từ phòng thí nghiệm Microsoft Research Ấn Độ; Thomas Follender Grossfeld và Vincent van Wingerden of Microsoft Hà Lan; David Katzin, nghiên cứu sinh tiến sĩ ở Wageningen; và Hồng Phan, nghiên cứu sinh tiến sĩ của Đại học Copenhagen. Sonoma là một trong năm đội được chọn từ nhóm 15 người cho sự kiện chính sau “hackathon” trước cuộc thi bao gồm thử thách phát triển ảo và phần trình bày về cách tiếp cận của họ.
Mỗi đội nhận được 96 mét vuông không gian nhà kính tại khuôn viên Nghiên cứu & Đại học Wageningen ở Bleiswijk, Hà Lan. Mỗi nhà kính đều được trang bị cùng một hệ thống thiết bị truyền động, bao gồm thông gió, sưởi ấm và chiếu sáng nhân tạo cũng như các cảm biến để đo nhiệt độ, độ ẩm và mức tiêu thụ năng lượng, cùng với những thứ khác. Các đội cũng được phép lắp đặt thêm các cảm biến và thiết bị giám sát.
Sonoma đã lắp đặt thêm camera nhưng chỉ có một cảm biến bổ sung—cảm biến độ ẩm của lá, không nằm trong số các cảm biến cạnh tranh được cài đặt sẵn. Nhóm nghiên cứu đã chọn cảm biến để tăng cường giám sát độ ẩm và độ ẩm, hai yếu tố dẫn đến sâu bệnh hại cây trồng. Các đội chỉ được phép vào nhà kính một lần để lắp đặt thêm camera và cảm biến. Trong suốt cuộc thi, từ ngày 1 tháng XNUMX đến giữa tháng XNUMX, họ đã chạy hệ thống AI của mình từ xa.
Nhưng đối với Bansal, khoảng cách từ địa điểm thu thập dữ liệu không khó bằng chính phương tiện thu thập dữ liệu. Nhóm cần thiết kế một hệ thống có thể giải thích định luật Murphy—bất cứ điều gì có thể sai thì sẽ sai.
Bansal cho biết: “Dữ liệu đến từ nhiều nguồn—có hộp cảm biến, máy ảnh, API đang được nhà kính sử dụng”. “Tất cả chúng đều có thể và đã thất bại, vì vậy câu hỏi đặt ra là làm thế nào bạn có thể phát hiện ra nó và bạn có thể phản ứng nhanh đến mức nào.”
Bansal nói thêm: “Chúng tôi phải giải quyết tất cả những vấn đề đó và thiết kế một hệ thống có khả năng phục hồi tốt với tất cả chúng, nhưng tôi nghĩ đó là một phần của việc thiết kế bất kỳ hệ thống điều khiển nào trong thế giới thực”.
Phương pháp tiếp cận Sonoma AI
Sonoma đã chọn xây dựng khuôn khổ của mình xung quanh việc học tăng cường dựa trên mô hình Bayesian gần đúng.
Tran cho biết: “Chúng tôi đặt cược vào RL dựa trên mô hình vì chúng tôi cho rằng nó hiệu quả về mặt mẫu và có thể khái quát hóa”. “Hiệu suất mẫu rất quan trọng đối với các ứng dụng trong thế giới thực. Các thuật toán RL tiêu chuẩn yêu cầu số lượng thử nghiệm khổng lồ—lên tới hàng triệu—để đào tạo một tác nhân giỏi, ngay cả trong những môi trường đơn giản. Đây không phải là vấn đề lớn trong các trò chơi mà RL đã thể hiện thành công, bởi vì một đặc vụ có thể chơi bao nhiêu trò chơi tùy thích. Trong các ứng dụng thực tế, chúng ta không đủ khả năng để chạy hàng triệu thử nghiệm thất bại. Vì vậy, chúng ta cần nghĩ khác về RL.”
Để học tăng cường trở thành một giải pháp khả thi cho những thách thức xã hội ngày nay, nhóm đã xác định tác nhân phải được khởi tạo mạnh mẽ như bất kỳ hệ thống hiện có nào và có khả năng học hỏi cũng như cải thiện theo thời gian mà không có giới hạn về khả năng đạt được mức tối ưu và hình thành một khuôn khổ ( ở trên) kết hợp các tính năng này.
Khung này bắt đầu bằng việc huấn luyện một mô hình động lực học xác suất. Việc học mô hình này tương tự như việc xây dựng một trình mô phỏng, giúp tác nhân lập kế hoạch bằng cách tưởng tượng. Ngoài ra, bằng cách học bắt chước, tác nhân được khởi tạo để thực hiện giống như chính sách chuyên gia hiện có. Từ đó, tác nhân sẽ hoạt động theo quy trình tối ưu hóa chính sách dựa trên mô hình liên tục, cải thiện hiệu suất tổng thể của nó với mọi tương tác môi trường.
Từ trái sang: Nhà khoa học nghiên cứu Xiuming Hao, chuyên gia rau nhà kính Shalin Khosla và Tran tại Trung tâm Nghiên cứu và Phát triển Harrow của Nông nghiệp và Thực phẩm Canada ở Ontario
Đối với thử thách nhà kính, dữ liệu từ xung quanh nhà kính, chẳng hạn như điều kiện thời tiết, từ các cảm biến và hình ảnh từ bên trong nhà kính được đưa vào tác nhân, sau đó xác định cường độ và phân bổ ánh sáng nhân tạo; lượng nước, CO2, chất dinh dưỡng cung cấp cho cây trồng; và nhiệt độ nhà kính. Khung này đã chọn các cài đặt dựa trên những gì nó đã học được để tạo ra nhiều sinh khối nhất.
Xiuming Hao, nhà khoa học nghiên cứu Nông nghiệp và Thực phẩm Canada, người cộng tác với dự án Sonoma, cho biết: “Nhóm đã kết hợp thành công kiến thức tốt nhất hiện nay và các phương pháp thực hành tốt nhất về canh tác và quản lý cây trồng cũng như kiểm soát môi trường nhà kính vào hệ thống kiểm soát AI nhà kính của mình”. . “Nhóm nghiên cứu đã bắt đầu với một hệ thống mật độ cây trồng cao được xác định từ dữ liệu mô hình trước đó và điều chỉnh hệ thống kiểm soát khí hậu AI dựa trên hiệu suất cây trồng và điều kiện thời tiết trong giai đoạn trồng trọt để cho phép hệ thống sản xuất mật độ cao/sản lượng cao này đạt hiệu suất tốt nhất”.
Tran mô tả chiến lược của đội là thận trọng. Thiết lập cuộc thi chỉ cho phép thực hiện một lần thử nghiệm và không có nhiều dữ liệu trước thử thách; do đó, chiến lược của nó chỉ dựa vào chính sách chuyên gia được xây dựng thủ công mà không cần dùng đến học tập tăng cường để liên tục học tập và cải tiến.
Tran cho biết: “Bằng cách làm việc với các chuyên gia trong lĩnh vực và tận dụng kiến thức của họ cũng như khả năng của tác nhân AI, chúng tôi đã có thể cùng nhau tạo ra kết quả tốt hơn trong một khung thời gian ngắn”. "Và điều này chỉ là khởi đầu; có rất nhiều cơ hội để phát triển, theo nghĩa đen và theo nghĩa bóng.”
