Когда слышишь о дополненной реальности (англ. Augmented Reality, AR), то невольно вспоминаешь героев фантастических фильмов с их шлемами и очками, которые давали серьезное преимущество благодаря ценной дополнительной информации… А еще — Терминатора, который видел мир с «наложенным» на него изображением: дальность, скорость, плотность и т. д.
Сегодня дополненная реальность — часть нашей жизни. Ее называют трендом ближайшего и отдаленного будущего. AR не только развлекает нас и обучает наших детей, дополненная реальность применяется в проектировании, спорте, медицине, в сфере развлечения и, конечно, в военной сфере. О применении AR в современных системах наблюдения военного назначения читайте в статье, перевод которой подготовили наши коллеги.
Системы дополненной реальности больше не являются прерогативой пилотов истребителей, оснащённых проекционными дисплеями, и солдат, носящих очки дополненной реальности. Теперь дополненная реальность используется и в системах военного наблюдения. Накладывание контекстной графической информации на видеоданные с камер упрощает интерпретацию сложной ситуации наблюдения, позволяя быстрее реагировать на угрозы, обеспечивая более чёткое принятие решений и улучшенную ситуационную осведомлённость.
Технологическая сложность использования дополненной реальности в наблюдении заключается в эффективном объединении или слиянии информации, чтобы при наблюдении данных с одного датчика эффективно использовалась информация с другого датчика. Цель такой системы — обеспечить улучшенное восприятие реальности при уменьшении когнитивной нагрузки на оператора.
Информация с датчиков, например, с РЛС, может быть использована для построения модели классификации цели и её поведения, которая может быть добавлена поверх видеокартинки в реальном времени с дополнительной информацией, отфильтрованной таким образом, чтобы облегчить интерпретацию данных камеры. Системы наблюдения военного назначения объединяют в себе видеокамеры, инфракрасные камеры и специализированные датчики. Например, военная система, обеспечивающая наблюдение за прибрежной территорией, может включать морскую РЛС, чтобы обеспечить обнаружение приближающихся наземных и воздушных целей за пределами поля зрения камер. В такой ситуации предварительное обнаружение цели при помощи РЛС поможет правильно направить и расположить камеры дальнего действия для наблюдения за целью.
Кроме того, радиоданные, например, AIS (Automatic Identification System, автоматическая система идентификации) и ADS-B (Automatic Dependent Surveillance-Broadcast, автоматическое зависимое наблюдение-вещание), предоставляют полезную информацию о названиях и маршрутах союзных гражданских кораблей и самолётов. Простейшее взаимодействие датчиков происходит, когда один датчик дает команду другому. Например, РЛС может обнаружить объект, после чего управляющий процесс направляет камеру на зону, в которой находится цель. Необходимое положение (направление и наклон) камеры вычисляется при помощи наблюдаемой дальности и азимута цели, а также расположения камеры. После того, как камера установлена в необходимое положение, участие РЛС больше не требуется. Существует несколько методов последовательных изменений положения камеры:
В 3-ем методе («поправки, вносимые РЛС») используются данные РЛС для центрирования камеры в соответствии с данными обнаружения, полученными РЛС.
Для всех вышеперечисленных методов восприятие видеоданных может быть улучшено за счёт реализации графического наложения информации, полученной РЛС. Всё вместе это называется дополненным зрением.
Для сообщения полезной информации об окружающей среде или о самой камере статический текст можно наложить на полученное с камеры видеоизображение. Таким образом можно сообщать о времени и дате, состоянии камеры и элементах управления камерой. Наложение контекстной информации о целях открывает совершенно новое измерение возможностей, где дополнительная информация может поступать от других датчиков, например, от РЛС или от радиопередач AIS или ADS-B (рисунок 1).
Рисунок 1. Дополненное видео: данные РЛС обрабатываются для вычисления положений целей,
которые совмещаются с отчетами AIS, а затем накладываются на видеоданные с камер.
Полученная информация помогает интерпретировать видеоизображения.
За счёт вывода на экран графической информации, соответствующей наблюдаемым целям в видео, оператору обеспечивается улучшенная интерпретация ситуации – дополненная реальность, облегчая принятие решений без увеличения когнитивной нагрузки. Обновления целей, обнаруженных РЛС в реальном времени, используются для наложения данных в реальном времени. По мере движения камеры, положение накладываемой графики корректируется таким образом, чтобы оно совпадало с положением цели в поле зрения камеры.
Примером может служить цель, которая наблюдается с помощью РЛС, а обработка радиолокационных данных позволяет характеризовать ее движение. Цель может быть охарактеризована своим размером, положением, скоростью и направлением движения. Кроме того, на основе этих параметров может быть произведена первичная классификация цели. Размер (эффективная поверхность рассеивания), поведение и скорость цели могут быть использованы для определения типа цели (например, пловец, буй, БЛА, надувная лодка, более крупная лодка, вертолет, легкомоторный самолет и т.д.).
Информация о цели может быть использована для формирования оверлея1) дополненной реальности на дисплее камеры. Зная положение камеры, ее поле зрения, представленное в виде окна, и абсолютный угол цели, можно вычислить точную позицию иконки цели на экране. При правильном отображении графических символов в нужных местах, видео с камеры может быть дополнено соответствующей информацией о состоянии цели, полученной от РЛС. Положение такой информации на экране должно вычисляться в реальном времени, чтобы убедиться в том, что используется текущее положение камеры. Это положение может быть скорректировано оператором, автоматическим процессом или процессом стабилизации замкнутого цикла, если камера установлена на двигающейся платформе.
Принцип обработки следующий: существуют два потока обработки данных. Видео с камеры отображается на экране, а поверх него накладывается графическая информация, полученная при обработке данных РЛС. Известный угол и дальность цели, измеренные РЛС, отображаются в определённом месте на экране, которое зависит от угла камеры и постоянно корректируется при изменении угла поворота и наклона камеры (любым из вышеперечисленных способов.) В результате, пользователь наблюдает видеоизображение в реальном времени с оверлеем, который отображает важную контекстную информацию, касающуюся цели (рисунок 2).
Рисунок 2. На видео с камеры накладывается важная информация о цели,
полученная при помощи РЛС и других датчиков.
Уменьшение когнитивной нагрузки при помощи дополненной реальности
Дополненное зрение реализуется в программном решении RadarWatch от Cambridge Pixel, чтобы облегчить интерпретацию видеоданных камеры за счёт отображения важной информации в виде оверлея. Камера может управляться оператором, программой ведения цели или корректировками от РЛС. Информация, полученная РЛС, постоянно обновляется, чтобы отображать актуальную информацию, полученную от слияния данных РЛС и радиопередач. Это обеспечивает отображение скорости и курса цели, а также данных полученных из AIS (ID корабля, его пункт направления, груз и т.д.).
RadarWatch предоставляет интегрированное отображение карт, радиолокационных данных и видеоданных с камеры, где основные РЛ-сигналы совмещаются с AIS, а затем отображаются в виде оверлея на видео с камеры. Программное обеспечение поддерживает спецификацию комплексных критериев тревог, основанную на положении целей в любых комбинациях наблюдаемых территорий, вблизи прибрежной линии, указанных территорий или других целей. При срабатывании тревоги могут быть предприняты поворот камеры, инициализация записи, передача аудиосигналов и визуальных сигналов. Дисплей и оверлеи обеспечивают улучшенное восприятие реальности и уменьшают когнитивную нагрузку на пользователя (рисунок 3).
Рисунок 3. RadarWatch интегрирует данные РЛС с видеоданными камер, а дополненная реальность
добавляет полученную при помощи РЛС информацию для облегчения интерпретации видеоданных.
Дополненное зрение в приложениях военного наблюдения облегчает интерпретацию сложных данных, полученных от датчиков, обеспечивая более эффективную классификацию угроз и более быстрое обнаружение целей, нуждающихся в помощи. Ключевой элемент таких систем — интеллектуальная обработка и отображение дополнительных данных датчиков, призванные помочь операторам принимать быстрое, чёткое и более взвешенное решение.
Источник: http://mil-embedded.com/articles/augmented-radars-cameras-improved-situational-awareness/