Пример: Расчет расстояния до объектов с использованием стерео-видения в промышленных роботах

Введение в стерео-видение в промышленной робототехнике

Технология стереовидения произвела революцию в том, как промышленные роботы воспринимают и взаимодействуют со своей средой. Подражая способности зрительной системы человека воспринимать глубину, стереовидение позволяет роботам точно измерять расстояния до объектов, перемещаться по сложным рабочим пространствам и выполнять точные задачи с беспрецедентной точностью. Эта технология стала краеугольным камнем современной автоматизации, повышения эффективности и безопасности в производстве, логистике и приложениях контроля качества.

Компьютерное зрение, близкое к человеческому, можно создать только с помощью стереокамер. Этот фундаментальный принцип лежит в основе широкого внедрения систем стереовидения в промышленной робототехнике. По мере развития автоматизации способность точно воспринимать трехмерное пространство стала необходимой для роботов, работающих в динамичных, неструктурированных средах, где традиционные методы зондирования не дотягивают.

Объем мирового рынка роботизированных датчиков в 2024 году оценивался в $1,819,4 млн и, по прогнозам, достигнет $3,625,8 млн к 2033 году, увеличившись на CAGR в 8,1% с 2025 по 2033 год, что обусловлено растущим внедрением автоматизации в промышленных секторах, а также растущим развертыванием автономных мобильных роботов (AMR) и совместных роботов (коботов). Эта траектория роста подчеркивает критическую роль систем зрения, особенно стереовидения, в будущем промышленной автоматизации.

Понимание основ стерео-видения

Принцип бинокулярного зрения

Системы стереовидения работают по тому же принципу, что и бинокулярное зрение человека. Две камеры, расположенные в разных точках зрения, одновременно захватывают изображения одной и той же сцены. Анализируя различия между этими изображениями, в частности горизонтальное смещение соответствующих точек, система может вычислять информацию о глубине для объектов внутри сцены.

Система стереовидения — одна из популярных компьютерных технологий зрения. Идея здесь заключается в использовании ошибки параллакса в наших интересах. Одна сцена записывается с двух разных углов обзора, а глубина оценивается по мере ошибки параллакса. Этот эффект параллакса — это то же явление, которое позволяет людям судить о расстояниях и воспринимать трехмерное пространство.

Конфигурация камеры и базовая линия

Физическое расположение камер в системе стереовидения имеет решающее значение для его производительности. Линия между центрами камер называется базовой линией. Базовое расстояние напрямую влияет на точность и диапазон измерений глубины. Более крупная базовая линия обычно обеспечивает лучшее разрешение глубины на более длинных расстояниях, в то время как меньшая базовая линия более подходит для приложений ближнего радиуса действия.

Формула глубины включает в себя обратно пропорциональное отношение к несоответствию, а также прямо пропорциональное отношение к исходному уровню. Фокусное расстояние и исходный уровень являются константами стереокамеры, которые получены от стерео калибровки. Понимание этого соотношения имеет важное значение для проектирования систем стереовидения, которые отвечают конкретным требованиям применения.

Математика глубинного расчета

Математическая основа стереовидения опирается на принципы триангуляции. Когда две камеры захватывают одну и ту же точку в пространстве, эта точка появляется в разных положениях в плоскости изображения каждой камеры. PL(uL, vL) и PR(uR, vR) являются проекциями точки Po в плоскости левого и правого изображения соответственно. Эта установка дает нам следующие четыре уравнения. Решая эти уравнения, мы получаем x, y и z следующим образом. Здесь z - это глубина точки от камеры.

Расчет глубины Z в системе стереовидения основан на разнице параллакса d. Значение разности — разности горизонтальных пикселей между соответствующими точками в левом и правом изображениях — обратно пропорционально глубине. Это означает, что объекты, расположенные ближе к камере, демонстрируют большие значения несоответствия, в то время как удаленные объекты показывают меньшие несоответствия.

Точность глубины уменьшается с квадратом расстояния Z; точность глубины стереосистемы колеблется от 1% расстояния на коротком расстоянии до 9% на большом расстоянии.Эту характеристику необходимо учитывать при проектировании систем стереовидения для конкретных промышленных применений, поскольку требования к точности значительно различаются в разных вариантах использования.

Калибровка камеры: основа точной оценки глубины

Важность калибровки

Калибровка камеры является критическим условием для точного стереовидения. Системы стереовидения являются одним из наиболее используемых методов выполнения трехмерного отображения. Эти системы имеют несколько соображений для выполнения этой задачи; Одна из них — калибровка камеры. Без правильной калибровки геометрические соотношения между камерами и сценой не могут быть точно установлены, что приводит к значительным ошибкам в оценке глубины.

Калибровка обычно выполняется с использованием известного шаблона, такого как шахматная доска, и специализированных алгоритмов, которые минимизируют ошибку репроекции между наблюдаемыми и проецируемыми точками. Этот процесс определяет как внутренние параметры (такие как фокусное расстояние и оптический центр), так и внешние параметры (относительное положение и ориентация между камерами).

Калибровочные задачи и решения

Калибровочный дрейф — настоящий враг точности в промышленной робототехнике. В робототехнике это может иметь серьёзные последствия. Факторы окружающей среды, такие как изменение температуры, вибрации и механическое напряжение, могут заставить параметры калибровки дрейфовать с течением времени, ухудшая производительность системы.

Они полагаются на стереовидение, чтобы ориентироваться и избегать препятствий. Если калибровочный дрейф, робот может неправильно оценить расстояния, приводящие к неэффективным маршрутам или даже столкновениям. Аналогично, в приложениях выбора и размещения робот должен точно знать, где объект должен надежно его ухватить. Калибровочный дрейф может привести к тому, что эти пики будут нецелевыми, замедляя весь процесс.

Для борьбы с калибровочным дрейфом промышленные системы часто реализуют процедуры периодической перекалибровки или используют алгоритмы самокалибровки, которые могут обнаруживать и компенсировать изменения параметров. В данной работе предлагается метод автоматической калибровки на основе измерения замкнутого цикла стереовидения. Метод направлен на достижение эффективной калибровки и компенсации ошибок позиционирования конечных эффектов посредством визуального восприятия и алгоритмов кинематической оптимизации.

Процесс ректификации

После калибровки изображения должны быть исправлены, чтобы упростить задачу соответствия. Это фиксируется стереоисправлением. Стереоисправление — перепроекция плоскостей левого и правого изображения на общую плоскость, параллельную базовой линии. Выпрямление преобразует изображения так, что соответствующие точки лежат на одной горизонтальной линии сканирования, уменьшая пространство поиска с двух измерений до одного.

В выпрямленных стереоизображениях любая пара соответствующих точек расположена на одном пиксельном ряду. Выпрямленные изображения имеют горизонтальные эпиполярные линии, и выровнены по рядам. Это выравнивание необходимо для эффективного и точного вычисления несоответствия, так как оно ограничивает поиск соответствующих точек в одном измерении.

Проблема стереокорреспонденции

Поиск точек соответствия

Проблема стереокорреспонденции — один из самых сложных аспектов стереовидения. Чтобы вычислить несоответствие, мы должны найти каждый пиксель из левого изображения и сопоставить его с каждым пикселем в правом изображении. Это называется проблемой стереокорреспонденции. Цель состоит в том, чтобы определить, какой пиксель в правом изображении соответствует каждому пикселю в левом изображении.

Теперь, чтобы найти этот пиксель в нужном изображении, просто проведите поиск по эпиполярной линии. Нет необходимости в 2D-поиске, точка должна быть расположена на этой линии и поиск сужен до 1D. Это ограничение значительно снижает вычислительную сложность и повышает точность сопоставления.

Особенности сопоставления алгоритмов

Для этой цели обычно используются алгоритмы сопоставления признаков, такие как SIFT (Scale-Invariant Feature Transform), SURF (Speeded-Up Robust Features) и ORB (Oriented FAST and Rotated BRIEF). Эти алгоритмы идентифицируют отличительные особенности на изображениях и сопоставляют их по стереопаре. Затем несоответствие вычисляется как горизонтальное смещение между соответствующими точками.

Каждый алгоритм предлагает различные компромиссы между точностью, вычислительной эффективностью и надежностью для преобразования изображений. SIFT и SURF обеспечивают отличную точность сопоставления, но являются вычислительно интенсивными, в то время как ORB предлагает более быструю обработку за счет некоторой точности. Выбор алгоритма зависит от конкретных требований промышленного применения.

Блокировка и плотная корреспонденция

Для приложений, требующих карт плотной глубины, обычно используются алгоритмы сопоставления блоков. Эти алгоритмы сравнивают небольшие окна или блоки пикселей между левым и правым изображениями для поиска соответствий. Для генерации карты глубины используется карта несоответствия, которая представляет собой несоответствие на каждом пикселе. Однако карты несоответствия часто содержат шум и требуют уточнения. Для повышения точности и плавности карты несоответствия используются такие методы, как сопоставление блоков, полуглобальное сопоставление и вырезы графов.

Полуглобальное сопоставление (SGM) стало особенно популярным в промышленных приложениях благодаря своей способности создавать высококачественные карты неравенства при сохранении разумной вычислительной эффективности. SGM объединяет затраты на сопоставление по нескольким путям через изображение, обеспечивая лучшую обработку окклюзий и безтекстовых областей по сравнению с простым сопоставлением блоков.

Внедрение в промышленные робототехнические системы

Требования к обработке в реальном времени

Промышленные роботы, оснащенные стереокамерами, должны обрабатывать изображения в режиме реального времени, чтобы обеспечить адаптивное взаимодействие с окружающей средой. Система идентифицирует ключевые особенности как на изображениях, так и вычисляет несоответствия, которые затем преобразуются в измерения расстояния. Этот процесс позволяет роботам перемещаться и манипулировать объектами с высокой точностью.

Параллелизируя вышеупомянутые алгоритмы, они становятся совместимыми для работы на графических процессорах и преодолевают большинство ограничений скорости. Хотя количество выполняемых вычислений практически одинаково, их параллельное выполнение занимает гораздо меньше времени по сравнению с их последовательным выполнением. Это продвижение открывает двери для выполнения более сложных алгоритмов намного быстрее и, следовательно, позволяет получать более качественные результаты в режиме реального времени.

Современные системы стереовидения используют ускорение GPU и специализированное оборудование для достижения скорости обработки, необходимой для промышленных применений. Это позволяет роботам принимать решения и корректировать свои движения на основе визуальной обратной связи с минимальной задержкой, что имеет решающее значение для таких задач, как высокоскоростные операции выбора и размещения или динамическое предотвращение препятствий.

Интеграция с системами управления роботами

После прочтения данных ZED2i о положении обнаруженного объекта в системе координат камеры, совместимой с системой координат, определенной в роботе, компьютер должен общаться с промышленным роботом с помощью пакета RMI.Связь следует схеме, которая включает в себя установление соединения, инициализацию параметров, настройку системы, выдачу инструкций по движению и вызов программ робота.

Интеграция стереовидения с системами управления роботом требует тщательной координации нескольких координатных кадров.Система координат камеры должна быть преобразована в базовую систему координат робота, учитывающую положение и ориентацию камеры.Это преобразование позволяет роботу точно достигать целевых позиций, определенных системой зрения.

Сочетание зрения с ИИ и обнаружением объектов

Методы, используемые для обнаружения объекта в пространстве, включают алгоритм YoloV8, который работает на 2D-изображении. Алгоритм обучен обнаруживать две строго определенные группы объектов (XC80 OK и XC80 NOK). Координаты центра обнаруженного объекта используются для считывания расстояния объекта, измеренного в системе камеры.

В этой главе представлена новая идея при использовании существующих методов оценки глубины. Мотивация заключается в том, чтобы сделать процедуру оценки глубины намного легче и быстрее. Простыми словами, интенсивная цель состоит в том, чтобы избежать расчета глубины для пикселей, которые не требуются. Она наиболее полезна в сочетании с другими методами восприятия, такими как обнаружение объектов и семантическая сегментация. Эти шаги восприятия помогают нам исключить необязательные пиксели, для которых оценка глубины может быть предотвращена.

Комбинируя стерео-видение с современными алгоритмами обнаружения объектов на основе ИИ, промышленные роботы могут достичь как семантического понимания (какие объекты присутствуют), так и геометрического понимания (где объекты расположены в 3D-пространстве). Эта комбинация позволяет использовать сложные приложения, такие как контроль качества, обнаружение дефектов и интеллектуальная сортировка.

Промышленные приложения и случаи использования

Bin Picking и Random Part Handling (недоступная ссылка)

Метод проецируемого стереовидения текстуры в основном используется в приложениях для выбора контейнеров. Задача выбора случайных и несортированных объектов из контейнера или контейнера для хранения представляет собой ряд различных проблем. Стереовидение позволяет роботам находить и захватывать объекты в загроможденных, неструктурированных средах, где традиционные системы 2D-видения будут выходить из строя.

Благодаря компактному дизайну промышленного класса и сочетанию очень короткого рабочего расстояния и большого поля зрения, Ensenso B особенно подходит для приложений для выбора бинов. Это делает его идеальным для использования на руке робота, например. Современные стереокамеры, разработанные специально для сбора бинов, могут работать на близком расстоянии, сохраняя при этом широкое поле зрения, позволяя роботам видеть в глубокие ящики и обрабатывать различные размеры деталей.

Автономные мобильные роботы и навигация

УПП должны работать в различных условиях освещения и местности, включая пыльные склады или наружные дворы. 3D-камеры зрения, которые сочетают активное освещение и пассивное зондирование, могут поддерживать точность глубины в таких условиях. Например, Gemini 335Lg от Orbbec, запущенный на ROSCon 2024, включает в себя интерфейс сериализатора (GMSL2) и надежный разъем (FAKRA) для доставки надежных данных о глубине в защищенных мобильных средах. Эта конструкция позволяет УПП поддерживать восприятие глубины при движении по неровным поверхностям, через электромагнитные среды и на длинных кабельных длинах.

Одновременная локализация и картирование (SLAM) в значительной степени выигрывают от данных с плотной глубиной. Системы стереовидения генерируют богатые облака точек, которые могут быть сплавлены с данными одометрии и инерциального измерительного блока (IMU) для создания точных карт и надежной локализации. Эта возможность необходима для автономных мобильных роботов, работающих в динамических складских и заводских средах.

Инспекция и измерение качества

Системы стереовидения превосходят в задачах измерения размеров и контроля качества. Создавая точные 3D-модели деталей и сборок, эти системы могут проверять размеры, обнаруживать дефекты и обеспечивать правильную сборку. Неконтактный характер стереовидения делает его идеальным для проверки тонких или чувствительных компонентов, которые могут быть повреждены физическими измерительными инструментами.

Для камеры на расстояние 2,5 м точность была установлена в 0,01 мм. При правильной калибровке и настройке системы стереовидения могут достигать субмиллиметровой точности, что делает их пригодными для точного изготовления.

Совместная робототехника и взаимодействие человека и робота

В приложениях для совместной работы роботов (коботов) стереовидение обеспечивает необходимую безопасность и возможности взаимодействия. Благодаря постоянному мониторингу 3D-пространства вокруг робота системы стереовидения могут обнаруживать присутствие человека, отслеживать положение рук и обеспечивать безопасную совместную работу человека и робота. Это позволяет коботам замедлять или останавливаться, когда люди входят в свое рабочее пространство, предотвращая несчастные случаи при сохранении производительности.

На фабрике будущего большинство операций будут выполняться автономными роботами, которым нужна визуальная обратная связь для перемещения по рабочему пространству, избегая препятствий, для совместной работы с людьми, для идентификации и определения местоположения рабочих частей, для завершения информации, предоставляемой другими датчиками, для повышения точности их позиционирования и т. Д.

Преимущества стерео-видения в промышленной робототехнике

Высокая точность измерения расстояния

Системы стереовидения обеспечивают высокоточные измерения расстояния в широком диапазоне рабочих расстояний. Точность может быть адаптирована к конкретным приложениям путем регулировки параметров камеры, таких как базовое расстояние, фокусное расстояние и разрешение. Эта гибкость позволяет стереовидению обслуживать приложения, начиная от контроля ближнего радиуса действия до навигации на большие расстояния.

Пассивный характер стереовидения, основанного только на окружающем или структурированном освещении, а не на активных датчиках диапазона, делает его особенно надежным в средах, где несколько роботов или датчиков могут мешать друг другу.

Возможности обработки в реальном времени

Современные системы стереовидения могут обрабатывать изображения и генерировать карты глубины при частоте кадров, подходящие для управления роботом в реальном времени.С ускорением GPU и оптимизированными алгоритмами системы могут достигать скорости обработки 30 кадров в секунду или выше, что позволяет реагировать на поведение робота в динамических средах.

Это первая линейка стереокамер компании для поддержки интерфейсов USB, GMSL2 и Ethernet. Объявленная на ProMat 2025, новая камера предлагает улучшенное зондирование глубины, что делает ее идеальной для использования с роботизированными руками, автономными мобильными роботами и приложениями автоматизации склада. Эта разработка отражает продолжающееся расширение Orbbec в промышленные системы 3D-видения.

Экономическая эффективность по сравнению с альтернативными технологиями

Системы стерео-видения предлагают привлекательное соотношение затрат и производительности по сравнению с альтернативными технологиями 3D-сенсоринга. В то время как лазерные сканеры и системы структурированного света могут обеспечить отличную точность, они часто приходят со значительно более высокими затратами. Стерео-видение использует аппаратное обеспечение и вычислительные ресурсы для товарных камер, что делает его доступным для широкого спектра промышленных применений.

Роботизированные системы полагаются на несколько 3D-моделей зондирования для генерации глубины и пространственной информации. Стерео-видение использует пары камер для триангуляции соответствующих функций и формирования карт плотной глубины. RGB-D камеры (объединяющие цветовое и глубинное зондирование) обычно полагаются на методы времени полета (ToF) или структурированного света для получения данных в облако точек. Каждая модальность имеет компромиссы с точки зрения дальности, разрешения, частоты кадров, задержки и устойчивости окружающей среды.

Неконтактное измерение снижает риск повреждения

Неконтактный характер измерения стереовидения является значительным преимуществом во многих промышленных применениях. В отличие от тактильных зондов или механических датчиков, стереовидение может измерять объекты без физического контакта, устраняя риск повреждения нежных деталей или загрязнения чистых поверхностей. Это делает стереовидение идеальным для применений в производстве электроники, фармацевтическом производстве и других отраслях, где контакт должен быть сведен к минимуму.

Кроме того, бесконтактное измерение позволяет проводить осмотр движущихся объектов и мониторинг производственных процессов в режиме реального времени без прерывания рабочего процесса. Эта возможность поддерживает встроенный контроль качества и снижает потребность в отдельных контрольных станциях.

Богатая визуальная информация за пределами глубины

В отличие от одноцелевых датчиков диапазона, системы стереовидения захватывают полные изображения, которые содержат как информацию о глубине, так и богатую визуальную деталь. Это позволяет роботам выполнять несколько задач с помощью одной сенсорной системы, включая распознавание объектов, анализ текстуры, проверку цвета и считывание штрих-кода, в дополнение к измерению расстояния. Эта многофункциональность снижает сложность и стоимость системы по сравнению с развертыванием нескольких специализированных датчиков.

Проблемы и ограничения стерео-видения

Экологическая чувствительность

Стереовидение сильно в средах с достаточной текстурой, но может бороться, когда поверхности не имеют функций или освещение слабое. датчики ToF непосредственно измеряют расстояние, но могут страдать в очень ярких или очень темных сценах. Производительность систем стереовидения сильно зависит от условий окружающей среды, особенно освещения и текстуры поверхности.

На точность глубины также могут влиять измерения выбросов на однородных или текстурированных поверхностях, таких как белые стены, зеленые экраны и зеркальные области.Неструктурированные поверхности, отражающие материалы и прозрачные объекты создают значительные проблемы для алгоритмов стереосогласования, поскольку им не хватает отличительных особенностей, необходимых для надежного соответствия.

Заключение и неоднозначность корреспонденции

Затворы возникают, когда объект, видимый в одной камере, скрыт в поле зрения другой камеры. Это создает области, где соответствие не может быть установлено, что приводит к пробелам или ошибкам в карте глубины. В то время как продвинутые алгоритмы могут частично решить эту проблему путем интерполяции и слияния нескольких изображений, окклюзии остаются фундаментальным ограничением стереовидения.

Повторяющиеся шаблоны и текстуры также могут вызывать двусмысленность соответствия, при которой для данной функции существует множество потенциальных совпадений. Это может привести к неправильным оценкам несоответствия и ошибкам глубины. Сложные алгоритмы сопоставления и ограничения помогают смягчить эти проблемы, но не могут полностью устранить их.

Вычислительная сложность

Плотное стерео-совпадение является вычислительно интенсивным, особенно для изображений с высоким разрешением. Изображение, снятое камерами с высоким разрешением, имеет миллионы пикселей. Следовательно, оно будет очень интенсивным, если мы сделаем это для всей картины. К счастью, наши камеры калиброваны, а изображения исправлены. Поэтому нам нужно только искать по горизонтальной линии, где лежит PL.

В то время как ускорение графического процессора и оптимизированные алгоритмы значительно улучшили скорость обработки, вычислительные требования по-прежнему ограничивают максимальное разрешение и частоту кадров, достижимую в приложениях реального времени.Системные разработчики должны тщательно балансировать разрешение, точность и скорость обработки для удовлетворения требований приложений.

Поддержание калибровки

Калибровка и синхронизация нескольких датчиков, включая камеры, ИДУ и колесную одометию, сложны и требуют надежных систем. Такая калибровка должна оставаться стабильной при вибрации, изменении температуры и движении, что особенно сложно в мобильных роботах.

Промышленные условия подвергают системы стереовидения механическим колебаниям, колебаниям температуры и физическим воздействиям, которые могут ухудшить калибровку с течением времени.Поддержание точности калибровки требует либо надежной механической конструкции для предотвращения дрейфа параметров, либо периодических процедур калибровки, которые дополняют требования к обслуживанию системы.

Передовые технологии и будущие разработки

Глубокое обучение для стерео-совпадения

Кроме того, карты глубины могут быть дополнительно улучшены с использованием методов глубокого обучения, которые учатся предсказывать глубину из стереоизображений. Недавние достижения в области глубокого обучения привели к значительным улучшениям точности и надежности стереосовпадения. Нейронные сети могут научиться обрабатывать сложные сценарии, такие как области без текстур, окклюзии и изменения освещения более эффективно, чем традиционные алгоритмы.

Сквозное обучение позволяет обучать сети непосредственно прогнозировать несоответствие или глубину от пар стереоизображений, полностью обходя традиционные алгоритмы сопоставления. Эти методы могут достигать современной точности при сохранении производительности в реальном времени при развертывании на соответствующем оборудовании. Однако они требуют больших наборов данных обучения и тщательной проверки для обеспечения надежной производительности в различных промышленных сценариях.

Многомодальное слияние сенсоров

Кюнерт и Нетрамаи объединили датчик ToF и стереосистему для реконструкции окружающей среды. Для задач, связанных с объектами, камеры ToF также успешно используются для реконструкции объектов и поверхности, где диапазон расстояний меньше. Комбинирование стереовидения с дополнительными методами зондирования может преодолеть индивидуальные ограничения датчика и обеспечить более надежное восприятие.

Слияние стереовидения с камерами времени полета, LiDAR или системами структурированного света может обеспечить информацию о глубине в более широком диапазоне условий и расстояний.Каждый тип датчика имеет разные сильные и слабые стороны, а интеллектуальные алгоритмы синтеза могут выбирать наиболее надежную оценку глубины для каждой области сцены.

Активное стерео и структурное улучшение света

Нахождение оптимальной текстуры, то есть той, которая обеспечивает наилучшее соответствие между особенностями изображений, представляет собой сложную проблему, на которую влияют характеристики проектора, шаблона и стереокамер.Опыты активного зрения получают 3D-информацию, проецирующую видимый или инфракрасный рисунок на объект.

Активные стереосистемы проектируют структурированные узоры на сцену для улучшения текстуры и повышения совместимости надежности. Этот подход сочетает в себе преимущества пассивных стереосистем (без дальномерной двусмысленности, нескольких одновременных систем) с надежностью активного зондирования. Инфракрасные проекционные узоры особенно полезны, поскольку они не мешают визуализации видимого света или человеческому зрению.

Улучшенное оборудование и интерфейсы

В 2025 году Orbbec представила Gemini 335LE, 3D-камеру стереовидения, оснащенную Ethernet-соединением. Современные камеры стереовидения включают в себя передовые интерфейсы, более высокие разрешения и улучшенную синхронизацию для удовлетворения требовательных требований промышленной робототехники. Ethernet-соединение позволяет легче интегрироваться в производственные сети и поддерживает более длительные кабельные прогоны по сравнению с интерфейсами USB.

Глобальные датчики затвора стали стандартом в промышленных стереокамерах, устраняя артефакты движения, которые могут ухудшать точность сопоставления при визуализации движущихся объектов или когда сама камера находится в движении. Более высокие частоты кадров и разрешения позволяют более подробные карты глубины и более быстрое время отклика робота.

Тематическое исследование: внедрение стерео-видения для роботизированной манипуляции

Системный дизайн и конфигурация

Практическая реализация стереовидения для промышленного робота наведения требует тщательной конструкции системы. При настройке камеры ZED2i с помощью библиотек, предоставляемых Stereolabs, можно задать множество параметров. Одним из важнейших аспектов испытательного стенда является конфигурация системы координат, в которой измеряется положение обнаруженных объектов.

Положение установки камеры должно быть выбрано для обеспечения адекватного покрытия рабочего пространства робота при сохранении соответствующих рабочих расстояний для желаемой точности. Для задач манипуляции установка камеры на конечном эффекторе робота обеспечивает наиболее гибкую точку обзора, но требует калибровки вручную. Фиксированные камеры предлагают более простую калибровку, но могут иметь ограниченное покрытие рабочего пространства.

Анализ ошибок и оптимизация производительности

Ошибки могут поступать из нескольких источников, таких как обнаружение YOLO, вычисление глубины стереовидения, калибровка системы камеры и преобразования между системами координат.Точное математическое моделирование и анализ этих ошибок имеют решающее значение для повышения точности системы и уменьшения отклонений от фактического положения объекта.

Если соответствующие точки на левом и правом изображениях смещены (например, из-за шума), ошибка параллакса приводит к погрешности глубины. Погрешность глубины ΔZ может быть вычислена из следующего соотношения: ...B — база стереовидения (расстояние между камерами). Понимание распространения ошибки по всей цепи измерений позволяет систематически оптимизировать параметры системы.

Результаты и улучшения

Экспериментальные результаты показывают, что этот метод значительно снижает абсолютную погрешность позиционирования робота, при этом средняя погрешность позиционирования после калибровки уменьшается на 72,12 %.Правильная калибровка и компенсация ошибок могут резко улучшить производительность системы, превратив стереовидение из грубого инструмента наведения в систему точного измерения.

Проведенные эксперименты показали, что предложенный метод приводит к улучшению оценки глубины в системе стереовидения с улучшением 34,15% на МАЭ и 48,38% на ЗППП по сравнению с одним из наиболее часто используемых методов.Расширенные методы калибровки и моделирование ошибок продолжают раздвигать границы того, что может достичь стереовидение в промышленных приложениях.

Лучшие практики для реализации промышленного стерео-видения

Дизайн освещения

Правильное освещение имеет решающее значение для производительности стереовидения. Равномерное, диффузное освещение сводит к минимуму тени и зеркальные отражения, которые могут мешать согласованию. Освещение должно быть достаточно ярким, чтобы обеспечить хорошее соотношение сигнал/шум в изображениях камеры, но не таким ярким, чтобы вызвать насыщение или чрезмерную контрастность.

Для приложений, включающих блестящие или отражающие объекты, кроссполяризованное освещение может уменьшить зеркальные отражения. Активное освещение со структурированными узорами может улучшить текстуру на других безликих поверхностях. Дизайн освещения должен быть интегрирован с общей конструкцией системы с самого начала, а не добавлен в качестве запоздалой мысли.

Выбор камеры и позиционирование

Выбор камеры должен учитывать разрешение, частоту кадров, размер датчика и требования к интерфейсу. Более высокое разрешение позволяет более точно оценить глубину, но требует большей вычислительной мощности. Глобальные датчики затвора необходимы для визуализации движущихся объектов или когда камера находится в движении.

Базовое расстояние должно выбираться на основе рабочего расстояния и требуемой точности глубины. Общее правило заключается в том, что точность глубины пропорциональна соотношению рабочего расстояния к базовому. Более широкие базовые линии обеспечивают лучшее разрешение глубины, но увеличивают минимальное рабочее расстояние и вероятность окклюзий.

Архитектура программного обеспечения и процессинговый трубопровод

Архитектура программного обеспечения должна быть рассчитана на модульность и ремонтопригодность. Отдельные модули для получения изображения, калибровки, исправления, сопоставления и расчета глубины позволяют тестировать и оптимизировать отдельные компоненты самостоятельно. Стандартные интерфейсы между модулями облегчают интеграцию и будущие обновления.

Обрабатывающие конвейеры должны быть оптимизированы под целевую аппаратную платформу, используя ускорение GPU там, где это возможно. Тщательное профилирование может выявить узкие места и направить усилия по оптимизации. Для приложений реального времени рассмотрим возможность реализации адаптивных алгоритмов, которые корректируют параметры обработки на основе доступных вычислительных ресурсов и сложности сцены.

Проверка и испытание

Комплексная валидация необходима для обеспечения надежной работы в производственных условиях. Тестирование должно охватывать весь спектр ожидаемых условий эксплуатации, включая изменения освещения, внешнего вида объекта и факторов окружающей среды. Количественные измерения точности с использованием калиброванных эталонных объектов обеспечивают объективные показатели производительности.

Затем были определены ошибки между положением, оцененным системой зрения, работающей на данных ZED 2i, и фактическим положением объекта.Точки измерения образцов были размещены как непосредственно перед роботом, так и в пределах максимальной досягаемости робота, с учетом вертикального расположения запястья робота для обеспечения правильной работы системы 3DV.

Отраслевые тенденции и прогноз рынка

Растущее усыновление в разных секторах

Сегмент датчиков/камер зрения, по прогнозам, будет испытывать самые высокие темпы роста в течение прогнозируемого периода. Эти датчики помогают роботам выполнять задачи, требующие проверки положения, контроля качества или отслеживания объектов. Растущая сложность производственных процессов и стремление к гибкой автоматизации стимулируют спрос на передовые системы зрения.

Отрасли промышленности, начиная от автомобильной и электронной промышленности и заканчивая пищевой промышленностью и фармацевтикой, внедряют стерео-видение для улучшения качества, увеличения пропускной способности и снижения затрат. Технология особенно ценна в приложениях, требующих гибкости для обработки вариаций продуктов без обширных изменений в перепрограммировании или оснастке.

Интеграция с искусственным интеллектом

В 2025 году ABB запустила свой автономный мобильный робот следующего поколения (AMR) с возможностями Visual SLAM (одновременной локализации и картирования) и AI, а также программным пакетом AMR Studio. Это новое решение позволяет роботам адаптироваться в реальном времени к динамическим средам, не полагаясь на заранее определенную инфраструктуру. Этот запуск усиливает стратегию ABB по предоставлению высокогибких и интеллектуальных решений автоматизации для производственных и логистических секторов.

Сближение стереовидения с искусственным интеллектом создает новые возможности для восприятия роботами и принятия решений. Алгоритмы ИИ могут интерпретировать информацию о глубине в контексте, распознавать сложные сцены и принимать интеллектуальные решения о действиях роботов. Эта интеграция необходима для следующего поколения автономных промышленных роботов.

Проблемы широкого распространения усыновления

В своем исследовании NIST отмечает, что производители сталкиваются с существенными барьерами. В докладе NIST GCR за 2024 год капитальные затраты, проблемы интеграции и отсутствие собственного опыта определены в качестве основных ограничений на принятие. Несмотря на явные преимущества, несколько барьеров по-прежнему ограничивают внедрение стереовидения в некоторых промышленных условиях.

Надежность и безопасность остаются главными проблемами. Системы зрения должны быть терпимыми к отказу датчиков, несоответствию или помехам окружающей среды. Несоблюдение восприятия может привести к ошибкам навигации или небезопасному поведению, особенно в условиях, где проживает человек. Затраты на принятие и техническая сложность создают барьеры для некоторых фирм.

Решение этих проблем требует дальнейшего развития более надежных и удобных для пользователя систем, более совершенных инструментов интеграции и образовательных ресурсов для создания собственного опыта. По мере того, как технология созревает и лучшие практики становятся более широко понятными, эти барьеры постепенно преодолеваются.

Заключение

Технология стереовидения стала незаменимым инструментом для расчета расстояния до объектов в промышленной робототехнике. Используя принципы бинокулярного зрения и передовые алгоритмы обработки изображений, системы стереовидения позволяют роботам воспринимать и взаимодействовать со своей средой с беспрецедентной точностью и гибкостью. Технология предлагает значительные преимущества, включая высокую точность, возможности обработки в реальном времени, экономическую эффективность и бесконтактное измерение.

В то время как такие проблемы, как чувствительность к окружающей среде, обработка окклюзии и поддержание калибровки, продолжаются достижения в области аппаратного обеспечения, алгоритмов и искусственного интеллекта, которые продолжают расширять возможности и надежность систем стереовидения. Интеграция глубокого обучения, мультимодального синтеза датчиков и улучшенной технологии камеры раздвигает границы того, чего могут достичь эти системы.

По мере того, как промышленная автоматизация продолжает развиваться в направлении большей гибкости и автономии, стереовидение будет играть все более важную роль. От выбора мусорных баков и контроля качества до автономной навигации и сотрудничества человека и робота, приложения стереовидения в промышленной робототехнике разнообразны и растут. Организации, внедряющие системы стереовидения, должны сосредоточиться на правильном проектировании системы, комплексной калибровке, надежной архитектуре программного обеспечения и тщательной проверке для достижения оптимальной производительности.

Будущее промышленной робототехники — визуальное, а технология стереовидения обеспечивает глубокое восприятие того, что роботы должны ориентироваться, манипулировать и понимать трехмерный мир, в котором они работают. Для инженеров и организаций, стремящихся внедрить передовые роботизированные системы, понимание и использование технологии стереовидения имеет важное значение для сохранения конкурентоспособности в быстро развивающемся ландшафте промышленной автоматизации.

Дополнительные ресурсы

Для тех, кто заинтересован в получении дополнительной информации о стерео-видении и его применениях в промышленной робототехнике, в Интернете доступно несколько отличных ресурсов. Документация OpenCV предоставляет всеобъемлющие учебные пособия по калибровке камер, стерео-исправлению и вычислениям несоответствия. Операционная система робота (ROS) Сообщество роботов предлагает пакеты и инструменты для интеграции стерео-видения в роботизированные системы. Академические ресурсы, такие как IEEE Xplore Digital Library содержат передовые исследования по алгоритмам и приложениям стерео-видения.

Отраслевые организации, такие как Ассоциация содействия автоматизации , предоставляют тематические исследования, официальные документы и сетевые возможности для профессионалов, работающих с робототехникой, ориентированной на зрение. Производители камер и интеграторы систем зрения часто предлагают техническую документацию, примечания к приложениям и учебные программы, чтобы помочь пользователям реализовать успешные решения для стереовидения.