Будущее сада: мониторинг, анализ и визуализация

Алексей Соловченко

Беседовал Константин Зорин, текст Александра Абанькова

Мичуринск — Лебедянь

Научно-технический прогресс открывает новые возможности для развития сельского хозяйства. Все чаще мы слышим о датчиках, считывающих показатели с растений, создаются специальные ИТ-платформы и базы данных для прогноза урожая, а для поля вовсю используется дистанционный мониторинг со спутников и дронов. Облачные системы и искусственный интеллект — вот чем будет оснащен сад ближайшего будущего. Об этом и многом другом «Журналу Агробизнес» рассказал Алексей Соловченко, профессор кафедры биоинженерии биологического факультета МГУ им. М.В. Ломоносова.

— Расскажите, что входит в круг ваших основных научных исследований и разработок?

— Наша кафедра работает в самых разных областях биологии, но конкретно у меня в поле зрения находится биология растений, причем агробиология. В течение более 20 лет мы разрабатывали разные подходы к мониторингу живых растений: в природе и в искусственных насаждениях, в закрытом и открытом грунтах, вблизи и на расстоянии, в самых разных ситуациях — от спутникового мониторинга до зондирования на близких расстояниях (proximal sensing). В последнем случае, не разрушая растение и не срывая ни листьев, ни плодов, удается получить подробную полезную информацию о том, что с растением происходит, в каком состоянии оно находится и что с ним будет в дальнейшем. На этой основе затем принимаются решения по управлению возделыванием, если мы говорим о культурных растениях.

— Как сегодня направлен вектор развития технологий точного земледелия и есть ли различия между отечественным и зарубежным подходом?

— Данная тема активно растет уже полтора десятка лет, но в последние годы переживает просто взрывное развитие — целый бум технологий точного земледелия.

Эти технологии — довольно сложная композитная вещь, в ее основе целый спектр классов и технологий: геоинформационные системы, системы адаптированного внесения веществ, системы автоматического вождения техники и системы дистанционного мониторинга растений. Я и мои коллеги занимаемся, в основном, последним аспектом, хотя, разумеется, мы в курсе, что происходит и в остальных областях.

Технологии, которые связаны с автоматизацией, цифровизацией возделывания полевых культур уже достаточно развиты. Весь машинно-тракторный парк — комбайны, тракторы, агрегаты — обильно оснащен сенсорами, датчиками, алгоритмами и бортовыми компьютерами, которые позволяют решать многие задачи.

С плодово-ягодным сектором все обстоит совсем не так. Ситуация заключается в том, что именно в плодово-ягодном секторе точное растениеводство внедряется медленнее и, в общем, отстает по темпам и степени проработки от полевых культур, в силу сложности и особенностей этого сектора.

Еще менее проработанный сектор — мониторинг состояния растений в саду. Хотя он должен быть освоен, потому что ключевые решения по управлению возделыванием, по управлению садом, планированием сбора урожая, трудовыми ресурсами нужно принимать с оглядкой на то, что происходит с растениями.

Нам постоянно приходится слышать о том, что за рубежом возникают стартапы в области мониторинга садов, более или менее успешные. Если говорить о плодовых деревьях, то выделяются прежде всего две компании: Fruit Vision и FruitSpec, занимающиеся оценкой размера, качества и обилия урожая в разных плодовых культурах. У них довольно впечатляющие успехи, хотя ставка идет на точные дорогие приборы, и все свои измерения они делают сами, поэтому объемы, которые они могут взять в работу, ограничены.

У нас немного другой подход: мы делаем ставку на датчики и камеры с минимальной стоимостью, доступные на рынке. Они просты в монтаже, запуске и обслуживании. Все работает через простое и недорогое оборудование, которое многие могут себе позволить, а вся интеллектуальная обработка собрана на облачных платформах. В идеале рядовое агропредприятие не должно покупать дорогостоящие комплекты оборудования и с сложной эксплуатацией. Данные поступают в централизованную систему анализа, а дальше — терминальный доступ с ноутбука, планшета или смартфона. Аграрий обращается к своей подписке и получает необходимую информацию с нужной периодичностью.

Рис. 1. Выделение плодов на изображении с помощью нейросети

— Какие компоненты входят в систему мониторинга?

— Перед системой стоит общая задача: понять, что происходит с растением, как оно развивается и адаптируется к условиям среды, и как реализует свой биологический потенциал. Задачу нужно решить на большой площади либо автоматически, либо с минимальным участием человека, и, прежде всего нужны датчики информации.

Сама информация бывает разных типов. Погодные данные получаем с помощью автоматических метеостанций. Данные о состоянии почвы (прежде всего, влажность и концентрация минерального питания в почвенном растворе) предоставят почвенные датчики в ключевых местах. Данные по фертигации идут от автоматизированных растворных узлов или агрохимических лабораторий. Информация из современных плодохранилищ тоже снимается автоматически.

Если мы говорим о мониторинге в начале-середине вегетационного сезона и в предуборочный период, необходимо получать много изображений. Здесь обычно работают съемочные камеры и подвижные платформы для перемещения камер. Сейчас популярны робототехнические платформы, которые могут управляться оператором, или идти автоматически по спутниковой навигации. Но для управления в саду нужна сантиметровая точность, которую дают только дорогостоящие дифференциальные GPS-системы. Сейчас чаще простые камеры ставятся на сельхозтехнику из обычного МТС, которая и так работает в саду.

Датчики изображения могут быть тоже разными. Изображение может быть обычной фотографией с тремя спектральными каналами: синий, зеленый и красный. По таким изображениям можно получить много данных, если использовать алгоритмы, автоматизирующие их анализ. И здесь находится еще одна прорывная область — анализ изображения с помощью алгоритмов машинного обучения.

Раньше разработанная и более технически сложная, но информационно богатая история — это мультиспектральные и гиперспектральные изображения. Когда мы получаем картинку сада в нескольких областях спектра, анализируем эти сигналы, то можем понять, что происходит с растением, как меняется его биохимический состав, нет ли у него повреждений, какими темпами идет созревание.

По моему мнению, самый правильный подход — комбинация обычных и мультиспектральных изображений, так как у каждого вида есть свои плюсы и минусы.

После любых источников данных должен быть канал для их передачи. Этих каналов сейчас великое множество: от Wi-Fi до сотовых сетей и специализированных промышленных сетей средних, дальних и ближних расстояний. Их подбор — инженерная задача, это не так сложно, главное — покрытие сети и электричество.

Наконец, мозговой центр — это отдельно стоящий компьютер или большая облачная система. Здесь три компонента: хранилище данных и движок по анализу данных — обработка погодных данных, изображений. Третий компонент — представление данных, результат обработки, когда система уже количественно показывает, что происходит на разных участках сада: сколько где фитомассы, сколько соцветий или завязей на деревьях, много ли поврежденных плодов и листьев.

В идеале система должна выдавать готовые решения для агронома: допустим, нужна ли обработка средствами защиты растений или довнесение азотных удобрений. Нужно понимать, что тут никакой магии нет. Никаких решений, которые не может принять профессиональный агроном, здесь не ожидается. Преимущество системы в том, что она дает детальный охват информации по большой площади почти в реальном времени.

— Позволяют ли системы точного садоводства выявлять заболевания раньше, чем агроном их увидит?

— В одном случае агроном не видит заболевание, просто потому что не может или не успевает доехать до каждого дерева. Если через систему увидели повреждения в определенной локации, куда агроном не доехал по объективным причинам, тогда однозначно система поможет.

Вторая ситуация в том, что многие болезни имеют инкубационный период. Возбудитель уже внедрился в организм растения, но внешнее присутствие никак не проявляется. Это, кстати, особенно для теплиц актуально. Есть некоторые биофизические параметры, которые достаточно легко измерить, и они дают четкую картину, что с растением что-то неладно. Сопоставив это с данными климатического контроля, можно установить, что есть серьезное подозрение на болезнь. Система мониторинга не определит конкретный вид возбудителя, но локализованные очаги покажет.

Фото 1. Ручная съёмка данных для калибровки автоматических методов учёта

— Чем теплицы отличаются от садов в плане мониторинга?

— В теплицах проще. В условиях контролируемого закрытого грунта разброс непредсказуемых факторов существенно меньше. Помех для съема данных и их интерпретации ожидаемо будет меньше. И все же есть сложности: из-за более плотной посадки перекрываются растения, листья и плоды, поэтому не всегда электронный глаз увидит все то, что видно при разреженной посадке, даже по сравнению с интенсивным садом.

Сходство заключается в том, что концепция и состав технических решений приблизительно один и тот же. Вся философия, по которой строятся системы, во многом совпадает и для сада, и для теплицы. В теплице, может быть, реализовать это все даже легче, так как теплица — это исходно высокотехнологичный автоматизированный объект. Осталось только вплести новые вещи в существующую канву.

— При сложностях маневров в плотной посадке нельзя ли прикрепить датчики на само растение?

— Прикрепить датчики можно, но в хозяйствах сотни гектар насаждений. Датчик на листе дает точное представление о точке, в которой находится, плюс несколько метров. Он ничего не знает о растениях в соседнем ряду, тем более в соседнем квартале или в соседнем гектаре. Такие датчики — отличная вещь, но больше подходят для лаборатории, а не для хозяйства.

Нет проблемы в том, чтобы сделать контактный датчик, который будет снимать данные и использоваться для контроля за ростом, например, толщины штамба или ветвей. Очень важный показатель, потому что многие продукционные характеристики связаны с толщиной сечения штамба. Но при мониторинге множества растений по большим площадям нужно использовать другие вещи: бесконтактный мониторинг и, прежде всего, анализ изображений. Как я уже говорил, есть изображения обычные, RGB, и есть изображения гипер- и мультиспектральные. Для того, чтобы получить обычное изображение, ничего не нужно, кроме смартфона или бытовой камеры. Чтобы получить гиперспектральное изображение, нужно более дорогое оборудование, но сейчас доступны решения от простых и дешевых до сложных приборов научного класса. Разумеется, эта история пока не для агрохозяйства. Но коллеги из Fruit Vision и FruitSpec берут высококлассные приборы, хотя они вынуждены ходить за ними и управлять приборами «вручную». Но зато мы можем морфологически анализировать RGB-картинки и просто брать с них виды и количество объектов. Можно распознать, какие объекты, посчитать их, и в ограниченном разрезе увидеть повреждения, их темпы и характер развития. Но мультиспектр и гиперспектр дают более подробную и глубокую информацию о биохимии, там меньше ошибок и меньше помех.

— При возделывании полевых культур уже широко внедрен спутниковый мониторинг. Такое актуально для многолетних насаждений?

— Спутниковые системы ограничены пространственным разрешением. Для самых передовых спутников гражданского класса пока доступна ячейка 3х3 метра. Для кукурузного или пшеничного поля — то, что надо, а для сада — слишком грубо. Вряд ли мониторинг садов возможен с помощью спутников. К тому же, сады часто закрыты противоградовой сеткой, которая отражает свет и мешает спутнику видеть то, что находится под ней. Спутниковые изображения также страдают от помех из-за облачности. Необходимо учитывать, сколько времени проходит между пролётом спутника, ведь не каждый момент времени спутник находится над нужной точкой. Спутниковый мониторинг ограничен, поэтому его я не вижу в перспективе для использования в садоводстве.

— Можно ли уже сегодня внедрить все компоненты, о которых мы говорили, в каком-то хозяйстве, чтобы это была рабочая система?

— Сегодня мы сотрудничаем с разными садовыми компаниями, таким ка как «Сады Ставрополья», «Зоринский сад», «Агроном-Сад». Компоненты в виде рабочего прототипа уже созданы и в ограниченном варианте развернуты. Технически показана осуществимость проекта. Если нужен автоматический мониторинг урожая, то в начале вегетационного сезона это определяем по интенсивности цветения. Потом устанавливается фактическая нагрузка урожая: автоматический сбор данных, анализ, представление.

Очень важно для хозяйств заранее спланировать количество трудовых ресурсов, оборотной тары, как правильно законтрактоваться с сетями, нужен количественный прогноз урожая. Мы ставим задачу, как по интенсивности цветения и ряду других факторов в начале сезона сделать этот прогноз. Естественно, он корректируется по мере сезона. В прошлом сезоне в компании «Агроном-сад» мы вышли на точность порядка 80–85% в сравнении того, что дает программный алгоритм, с тем, что вышло при ручном учете. Я считаю, что это неплохие цифры точности, и коллеги из «Агроном-сада» с нами согласны.

Рис. 2. Поиск повреждений плодов и листьев яблони по гиперспектральным изображениям

Точность оценки обилия урожая достигает 90–95%, если мы сравниваем то, что находится на дереве, с тем, что видит камера. Однако нужно четко понимать, что и это — не магия. Любой алгоритм, который дает информацию о растениях, об урожае, нуждается в калибровке — сопоставлении с объективными данными. Вы не сможете, ничего не зная о саде и не подсчитывая вручную, сделать фотографии и сказать: «А вот это так». Нужно все считать вручную хотя бы в ограниченном масштабе, чтобы понять, какие поправочные коэффициенты внести, какая точность у алгоритма и где источники ошибки.

Итак, мы уже создали основные компоненты и воплотили их на уровне прототипа, а эксплуатировать их пытаемся в течение второго сезона.

Сложность заключается в том, что для точной работы системы прогнозирования урожая нужна база данных с длительным временным охватом. Например, есть сервисы, которые сделаны для Южного Тироля, которые точно предсказывают урожай по самым разным факторам. Но у них для этого собраны базы данных глубиной на десятки лет на ограниченный набор сортов.

В России ситуация другая — много молодых сортов, другие климатические условия. Поэтому ограничения не в техническом устройстве, не в том, насколько передовое «железо» и ПО, а в том, что надо получить хорошие объективные данные хотя бы за последние 3–5 лет. Это базовые вещи, которые связаны и с прикладной наукой. Если вы пишете научную статью, то вы обязаны собрать данные хотя бы за два сезона, чтобы убедиться: это не случайные колебания, а именно тот эффект или явление, которое вы изучаете. Хотите предсказывать урожай — соберите данные для сорта, локации, сорто-подвойной комбинации, агротехники за несколько лет. А мы сделаем этакий «цифровой штангенциркуль», который позволит их систематизировать, автоматизировать и положить на карту.

Пока еще мало людей понимают, что современные технологии типа нейросетевых алгоритмов или машинного обучения — сами по себе замечательные вещи, но им надо иметь опору на фактические данные. Иначе они никогда работать не будут.

— Какие еще есть сложности для внедрения точного садоводства в России?

— Принципиальную разницу между мониторингом полевых и плодово-ягодных культур можно выразить такой аналогией: полевые — 2D-культуры, а садовые — 3D-культуры. Например, на пшеничном или кукурузном поле для мониторинга растение не имеет индивидуальности. Все характеристики вычисляются «размазано» в среднем на гектар или сотку. Не имеет значения, как себя чувствует каждое отдельное растение.

В саду все совсем не так. Идеальная партия плодов для хранения — это гомогенная партия. Чтобы создать идеальную гомогенную партию, к каждому яблоку подходят индивидуально. Конечно, такого не будет на современном уровне технологий, но приходится к этому стремиться. Необходимо собирать данные, если не по каждому дереву в разрезе, не по каждому плоду, то хотя бы по каждому ряду.

Сады — геометрически и оптически сложная система. Крайне сложно запустить дрон между рядами деревьев под сеткой. Такие дроны либо управляются человеком, либо дорого стоят. Нужен особый подход, который позволяет пройти по сложной навигации и получить информацию если не по каждому дереву, то по каждому ряду деревьев. И потом надо разобраться с каждым отдельным плодом.

Все эти особенности препятствуют внедрению в саду систем на уровне «купил, развернул и пользуйся», в отличие от полевых культур. Есть тенденция, что хозяйства предпочитают покупать испытанные решения, которые работают «с полки», которые не нужно доводить до ума и тратить на это много денег. Таких готовых продуктов для сада пока что нет. Может быть, кто-то и внедрил бы, но купить такую систему невозможно. На данный момент на рынке предлагаются решения для учета движения машинно-тракторного парка, расходов СЗР и удобрений — некая калька решений, разработанных исходно для полевых культур. Это верно и должно работать с корректировкой, но, что касается компонентов мониторинга растений, здесь есть отставание в силу объективных причин.

Рис. 3. Архитектура технического решения для автоматизированного мониторинга сада

— Сколько должно пройти лет, прежде чем появится коммерческий продукт подобной системы в России?

— За рубежом такие продукты уже коммерциализируются, но по уровню проработки все еще остаются прототипами. Отдельная группа наших коллег в ручном режиме собирает программный комплекс и уже его эксплуатирует. В России происходит то же самое, но только с временным опозданием. Если мы говорим о полевых культурах, то около 7–10 лет прошло от первых упоминаний до коммерчески доступных продуктов, которые подхватили крупные производители техники и предлагают пакетное решение. То есть вы покупаете IT-компоненты точного земледелия вместе с техникой, редко продают отдельный софт.

В садоводстве, видимо, будет такой же будет период отставания — 5–10 лет. Зависит от того, насколько будет движение подхвачено производителями техники и большими организациями, которые дают научно-техническое обеспечение. Крупные университеты типа Боннского университета, Юлихского исследовательского центра в Германии очень активно разрабатывают компоненты, основы платформы для систем точного садоводства. Поэтому стоит ожидать, что скоро уже появится коммерческий продукт.

У нас разработки ведутся по разным аспектам в московских технических университетах, в Пензе есть группа энтузиастов, «Иннополис» работает в Казани. Робототехнические группы есть в Санкт-Петербурге, в Федеральном научном агроинженерном центре ВИМ, в Сколково и Державинском университете в Тамбове, и этот список не исчерпывающий. Имеется много групп, которые разрабатывают разные аспекты.

Конечно, если бы возникла централизованная инициатива, которую поддержит государство, например, консорциум, вобравший все передовые движения с научными коллективами, то процесс бы ускорился экспоненциально. Это подходящий сектор для государственно-частного партнёрства институтов и министерств — Минцифры, Минсельхоз, Минобр. Но нужно делать так, чтобы все не увязло в бюрократии, что характерно для ведомственных программ. Мне нравится формат исследовательского центра «Центр компетенций Бодензее» — организации, созданной немецкими фермерами, Штутгартским университетом и институтом Юлиуса Кюна. Они решают абсолютно прикладные задачи, но эффективно делают это на высоком научно-методическом уровне. Сейчас мы наблюдаем зарождение подобных центров и в России.

— Наши садоводы заинтересованы в таких вещах?

— Здесь мы видим некий дуализм. С одной стороны — живейший интерес, с охотой идут на сотрудничество, выслушивают, помогают, пускают проводить эксперименты в свои сады. Отмечу исследовательский отдел «Агроном-сада», Центр компетенциq по садоводству в «Садах Ставрополья», в «Зоринских садах» у нас идет аспирантская работа. Но для того, чтобы делать это эффективно и быстро, нужны финансовые вливания. Они не заоблачные, но в противном случае на чистом энтузиазме все растянется на годы. И не всегда крупные хозяйства вступают в конкурсы на госфинансирование, потому что опасаются обязательств и отчетности, которая выходит за рамки их профильной деятельности. Если бы механизм был менее бюрократизирован и формализован, наверное, история бы закрутилась быстрее.

Еще сейчас есть хорошая тенденция: например, в Ставрополье крупные предприятия стимулируют образование и поддерживают работу многих небольших подсобных хозяйств. Мне кажется, нужно искать такого сотрудничества и партнерства там, где оно доступно, а где недоступно — надеюсь, оно возникнет. И нужно пытаться современные передовые вещи у себя внедрять, не теряя веры в это дело, не бояться новых вещей, с интересом смотреть: что нового опробовано в больших хозяйствах по соседству. Я призываю не к риску, а стараться подхватить такую инициативу, когда идет поток информации и поддержка от крупных хозяйств в небольшие. Это всегда интересно — работать не только для получения урожая на прибыль, но и для души.

Рис. 4. Визуализация оценки количества урожая

— Если представить садовое предприятие, на котором будет внедрена система мониторинга, анализа и представления данных, то насколько в экономическом плане может быть повышена его эффективность и рентабельность?

— Цифра может быть очень лукавой. Ситуация от года к году бывает разной, причины упущенной прибыли тоже могут всевозможными. В структуре прибыли различных хозяйств сорта и урожай занимают разное место, и по-своему все пересчитывается в рубли и копейки. Прогноз урожая может решить проблему несоответствия размера урожая и ресурсов, заказанных под его сбор. Отдельные хозяйства в прошлом году столкнулись с тем, что урожай у них был в полтора-два раза больше, чем они могли снять, обработать и заложить на хранение. Не хватало рук и места в хранилище. Особенно это касалось тех, у кого своих холодильников нет или они невелики. Если мы будем знать заранее ситуацию по урожаю с точностью не +/- 50%, а хотя бы около 15%, то потенциальная «дельта» достигает 20–30%. Разумеется, год на год не приходится, но я думаю, что это вполне представимо.

Если вы не нанимаете лишних рабочих или, наоборот, рабочие в нужном числе у вас под рукой, вы заказали и подготовили нужное число контейнеров, договорились с ОРЦ о том, что вам дадут столько-то камер с такими-то режимами, а потом законтрактовали с сетями так, что вы выполнили в полном объеме в срок поставки, опираясь на прогноз — это хорошая история. Когда урожая не хватило, и вы платите неустойку — это негативная история. То, что мы делаем, направлено на устранение потенциальных проблем. Насколько получится это сделать в реальности? Мы надеемся, что получится. Однако, нужно садиться за стол с экономистами-практиками, чтобы решить уравнение со многими неизвестными и рассчитать потенциальную экономическую эффективность внедрения таких систем.

— Тема кажется заманчивой — новая сфера, новые технологии. Есть ли повышенный интерес со стороны молодых ученых к данной тематике?

— Здесь история составная. Есть технологии искусственного интеллекта в широком смысле слова, технологии робототехники, плюс вещи, которые находятся на стыке технологий, инженерии и мехатроники. Есть биология растений, биохимия, биофизика, физиология растений. Первые два-три компонента на слуху, и к ним очень большой интерес. Во всех крупных университетах есть группы анализа изображений, группы искусственного интеллекта. Биология растений — одна из классических областей биологии, хотя она сейчас выходит на новый уровень. К ней тоже есть интерес, но, может быть, это чуть менее популярная.

Более перспективным кажется создание учебных курсов, где математика, инженерия и биология будут интегрированы. Междисциплинарная история будет даваться на современном уровне и объясняться понятным языком, который смогут понять студенты 1–2 курса. Это точно возможно, поскольку мне, биологу, пришлось заниматься самообразованием и в области искусственного интеллекта, и в области дистанционного зондирования. Можно преподносить материал студентам в таком ключе, и тогда интерес будет еще сильнее.

— Формируется ли новая учебная дисциплина, которая бы охватила все, о чем мы говорили, или пока только возможен набор разных лекций? Как современные тенденции представлены у нас сейчас в агрообразовании?

— Я, конечно, могу чего-то не знать, но пока есть только разные курсы, которые разбросаны по разным факультетам и специальностям. Хотя в МГУ есть отличные механизмы для того, чтобы собрать все воедино — так называемые межфакультетские курсы.

Мысль о том, что необходимо повышать уровень агрообразования и сельскохозяйственных специальностей, не нова. В последнее время стало ясно, что АПК испытывает дикий кадровый голод. Мало специалистов, которые даже классические вещи хорошо понимают и умеют применять на практике на уровне современных технологий. Того, что касается интенсивных садов, уж не говоря о хайтековских вещах типа дистанционного мониторинга, точного земледелия, пока в образовательных программах нет или почти нет. Но, я думаю, что скоро все это должно появиться. С другой стороны, в агроуниверситетах это точно уже появляется. Пока еще уровень не дотягивает, хотя ситуация меняется динамично.

Для классических университетов агробиология — не их «поле», поэтому у них нет в приоритете разработки курсов по садоводству, плодоводству, в том числе, точному земледелию. Хотя чаще и чаще на том же биологическом факультете звучат мнения о том, что необходимо охватить подходы к точному земледелию. Тут есть мостик, который называется фенотипированием растений. Это задачи прикладной фундаментальной науки, как раз по нашему профилю, но это ровно то, что необходимо для разработки технологий точного земледелия. Здесь можно готовить специалистов, которые, если не пойдут в поле и в сад, то будут заниматься созданием и поддержкой точных агротехнологий с полным пониманием того, как живет растение, как работает техника и как функционирует IT-система. Вот это, конечно, мечта!