EUVIMEDEUVIMED entdecken
Crossref

Анализ битемпоральных изображений системой управления коллаборативным роботом-манипулятором для определения вновь появившихся объектов в поле подсистемы технического зрения

К.А. Калушев, И.А. Макаров

Информационные и математические технологии в науке и управлении · 05.06.2026 · (2(42)) · 42-54

DOI: 10.25729/esi.2026.42.2.004 ↗

Kurz gefasst

Fachartikel in der Zeitschrift Информационные и математические технологии в науке и управлении, erschienen am 05.06.2026. Verfasst von К.А. Калушев und 1 weiteren Autor:innen.

AbstractBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Одной из задач, относящихся к созданию интерактивного коллаборативного робота-манипулятора, является темпоральный анализ рабочей сцены, то есть определение порядка появления (выбытия) объектов в поле технического зрения. Традиционно, данный вопрос рассматривался применительно к спутниковым снимкам и недостаточно прорабатывался в литературе в отношении сцен, находящихся на расстоянии около 1 м от камеры. Вместе с тем, анализ рабочей сцены на основе битемпоральных изображений является актуальной областью исследований в контексте развития робототехники в целом и физического искусственного интеллекта в частности. Создание качественных темпоральных масок изменения рабочей сцены позволяет определить контуры и геометрические центры новых объектов для последующего захвата роботом-манипулятором. Качественная темпоральная маска не должна иметь ложно определенных областей изменений (объектов изменений, которых на самом деле не существует), но при этом позволять четко обрисовывать контуры истинных объектов изменений рабочей сцены. В статье осуществлена математическая постановка задачи темпорального анализа и на ее базе предложен метод создания темпоральных масок областей изменений на основе дифференцирования изображений «до» и «после», комбинирующий классические методы технического зрения и нейросетевую сегментационную модель SAM (Segment Anything Model). Новизна предлагаемого подхода заключается в применении к дифференцированному изображению не алгебраической обработки, а его сегментация на две области (область изменений и область без изменений) с использованием нейросетевой сегментационной модели. Предложенный подход сопоставлялся с алгебраическими методами создания темпоральных масок (Change Vector Analysis – CVA и Slow Feature Analysis – SFA) и использованием нейросетевой архитектуры многослойного перцептрона (внешний слой из 12 нейронов, внутренний слой из 512 нейронов, наружный слой из 1 нейрона). Продемонстрировано, что предложенный подход позволяет генерировать качественные маски изменений для разнообразных объектов на большом количестве фонов (включая пестрые), чего сложно добиться приведенными для сопоставления методами. Вместе с тем, предложенный подход может быть реализован «на лету», то есть в реальном времени работы оператора-робота, только при наличии графического ускорителя (Graphics Processing Unit – GPU). One of the tasks associated with developing an interactive collaborative robotic manipulator is temporal analysis of the work scene, i.e., determining the order in which objects appear (and disappear) within the field of view of the vision system. Traditionally, this issue has been considered in the context of satellite imagery and has not been sufficiently addressed in the literature with regard to scenes located approximately 1 m from the camera. At the same time, work scene analysis based on bi-temporal images is a relevant area of research in the context of the development of robotics in general and physical artificial intelligence in particular. Creating high-quality temporal change masks of the work scene makes it possible to determine the contours and geometric centers of new objects for subsequent grasping by the robotic manipulator. A high-quality temporal mask should not contain falsely detected change regions (change objects that do not actually exist), yet should clearly outline the contours of genuine change objects in the work scene. The paper presents a mathematical formulation of the temporal analysis problem and, on its basis, proposes a method for generating temporal change region masks by differentiating “before” and “after” images, combining classical computer vision techniques with the neural network segmentation model SAM (Segment Anything Model). The novelty of the proposed approach lies in applying to the difference image not algebraic processing, but rather its segmentation into two regions (a change region and a no-change region) using a neural network segmentation model. The proposed approach was compared with algebraic methods for creating temporal masks (Change Vector Analysis – CVA and Slow Feature Analysis – SFA) and with the use of a multilayer perceptron neural network architecture (input layer of 12 neurons, hidden layer of 512 neurons, output layer of 1 neuron). It is demonstrated that the proposed approach enables the generation of high-quality change masks for diverse objects against a large number of backgrounds (including cluttered ones), a result that is difficult to achieve with the methods brought for comparison. At the same time, the proposed approach can be implemented “on the fly,” i.e., in real time during robot operator work, only if a Graphics Processing Unit (GPU) is available.

Zitieren

APA

Калушев, К., & Макаров, И. (2026). Анализ битемпоральных изображений системой управления коллаборативным роботом-манипулятором для определения вновь появившихся объектов в поле подсистемы технического зрения. Информационные и математические технологии в науке и управлении, 42-54. https://doi.org/10.25729/esi.2026.42.2.004

Vancouver

Калушев К, Макаров И. Анализ битемпоральных изображений системой управления коллаборативным роботом-манипулятором для определения вновь появившихся объектов в поле подсистемы технического зрения. Информационные и математические технологии в науке и управлении. 2026:42-54. doi:10.25729/esi.2026.42.2.004

BibTeX
@article{2026,
  author = {Калушев, К.А. and Макаров, И.А.},
  title = {Анализ битемпоральных изображений системой управления коллаборативным роботом-манипулятором для определения вновь появившихся объектов в поле подсистемы технического зрения},
  journal = {Информационные и математические технологии в науке и управлении},
  year = {2026},
  number = {2(42)},
  pages = {42--54},
  doi = {10.25729/esi.2026.42.2.004}
}
Kostenlos starten →