Сверточная нейронная сеть для сегментации цветков яблони на изображениях

В статье предложен метод оценки интенсивности цветения яблони для выполнения технологической операции прореживания, включающий подготовку набора данных (dataset) и обучение моделей сверточных нейронных сетей YOLOv8-seg (n, s, m, l, x) для сегментации изображений. В исследованиях применена техника трансферного обучения, использованы предварительно обученные модели на наборе данных датасета COCO (Common Objects in Context). Набор изображений цветков яблони собран с использованием камеры GoPro HERO 11. Аннотация (разметка) изображений была выполнена на платформе Roboflow с применением инструментов выделения прямоугольных рамок (Bounding-box) и аннотации полигонов (Polygon Annotation and Labeling). Для расширения набора данных и повышения обобщающей способности моделей при обучении проведена аугментация исходных изображений, включающая горизонтальное отражение, горизонтальный поворот на 90°, поворот от -15° до +15°, добавление шумов до 5 % пикселей, размытие до 2,5 пикселей, горизонтальные и вертикальные сдвиги от -10° до 10°, а также изменение оттенка цветов от -15° до +15°. Метрики бинарной классификации, такие как точность Precision (точность) и Recall (полнота) использованы для оценки качества работы обученных моделей по распознаванию цветков яблони на изображениях при использовании ограничивающих рамок и масочной сегментации. Функция потерь 𝑳𝒐𝒔𝒔𝑩𝒐𝒙/𝑴𝒂𝒔𝒌 использована для оценки ошибок модели в определении ограничивающих рамок и масок сегментации объектов на изображении в процессе обучения. В результате проведенных исследований определены гиперпараметры алгоритма машинного обучения модели YOLOv8-seg для распознавания, классификации и сегментации изображений цветков яблони. Установлено, что модели YOLOv8x-seg (метрика mAP50 = 0,591) и YOLOv8l-seg (метрика mAP50 = 0,584) показывают более высокую производительность при распознавании цветков яблони. Скорость обработки кадров (Frame Rate, FR) моделями сверочных нейронных сетей составила от 10,27 (модель YOLOv8x-seg) до 57,32 кадра/с (модель YOLOv8n-seg). Средняя абсолютная ошибка моделей при распознавании цветков яблони и подсчете их количества на тестовой выборке не превышает 9 %.