Швидке виявлення шкідників рослин із використанням мобільної нейронної мережі

Моделі глибокого навчання показали багатообіцяючі результати у виявленні
хвороб та шкідників рослин, але їх обчислювальна складність часто обмежує
розгортання на пристроях з обмеженими ресурсами, що є важливим для моніторингу в
режимі реального часу в теплицях.
Дистиляція знань є одним із підходів, за допомогою якого можна пришвидшити
виконання нейронних мереж за малих втрат якості. Дистиляція знань полягає в
перенесенні знання від великої, точної моделі-вчителя до меншої, ефективнішої моделі-
студента. Традиційна дистиляція знань покладається на зіставлення вихідних логітів
вчителя або проміжних представлень ознак. Ключовим компонентом є шар
відображення ознак, який перетворює ознаки вчителя в простір, сумісний зі студентом.
Однак цей шар може швидко стати надмірно параметризованим, особливо при роботі з
високорозмірними картами ознак. Велика кількість параметрів може призвести до
перенавчання та перешкоджати процесу дистиляції.
В даній роботі запропоновано новий шар відображення ознак на основі групової
згортки. Групова згортка розкладає стандартну згортку на кілька менших згорток, що
працюють на різних вхідних каналах, різко зменшуючи кількість параметрів.