Table of Contents

Introdução à visão estereo em Robótica Industrial

A tecnologia de visão estérea revolucionou a forma como os robôs industriais percebem e interagem com o seu ambiente. Ao imitar a capacidade do sistema visual humano de perceber a profundidade, a visão estéreo permite aos robôs medir com precisão as distâncias dos objetos, navegar em espaços de trabalho complexos e realizar tarefas de precisão com precisão sem precedentes. Esta tecnologia tornou-se uma pedra angular da automação moderna, da eficiência de condução e da segurança em aplicações de fabricação, logística e controle de qualidade.

A visão de computador próxima da visão humana só pode ser criada usando câmeras estéreo. Este princípio fundamental está subjacente à adoção generalizada de sistemas de visão estéreo na robótica industrial. À medida que a automação continua a avançar, a capacidade de perceber com precisão o espaço tridimensional tornou-se essencial para robôs que operam em ambientes dinâmicos, não estruturados, onde os métodos tradicionais de detecção são insuficientes.

O tamanho global do mercado de sensores robóticos foi estimado em 1.819,4 milhões de dólares em 2024 e está previsto para atingir 3.625,8 milhões de dólares em 2033, crescendo em um CAGR de 8,1% de 2025 para 2033, impulsionado pela crescente adoção de automação em setores industriais, juntamente com a crescente implantação de robôs móveis autônomos (RAMs) e robôs colaborativos (cobots). Essa trajetória de crescimento ressalta o papel crítico que os sistemas de visão, particularmente visão estéreo, desempenham no futuro da automação industrial.

Compreender os fundamentos da visão estereo

O Princípio da Visão Binocular

Os sistemas de visão estereo funcionam no mesmo princípio que a visão binocular humana. Duas câmeras posicionadas em diferentes pontos de vista capturam imagens da mesma cena simultaneamente. Ao analisar as diferenças entre essas imagens – especificamente o deslocamento horizontal dos pontos correspondentes – o sistema pode calcular informações de profundidade para objetos dentro da cena.

O sistema de visão estéreo é uma das técnicas de visão computacional populares. A ideia aqui é usar o erro de paralaxe em nossa vantagem. Uma única cena é gravada a partir de dois ângulos de visualização diferentes, e a profundidade é estimada a partir da medida do erro de paralaxe. Este efeito de paralaxe é o mesmo fenômeno que permite que os humanos julguem distâncias e percebam o espaço tridimensional.

Configuração da câmera e linha de base

A disposição física das câmeras em um sistema de visão estéreo é crucial para o seu desempenho. A linha entre os centros das câmeras é chamada de base. A distância basal afeta diretamente a precisão e o alcance das medições de profundidade. Uma linha de base maior geralmente fornece melhor resolução de profundidade em distâncias mais longas, enquanto uma linha de base menor é mais adequada para aplicações de perto.

A fórmula para profundidade incorpora sua relação inversamente proporcional à disparidade, bem como a relação diretamente proporcional com a linha de base. O comprimento focal e a linha de base são constantes de câmera estéreo que são obtidas a partir da calibração estéreo. Compreender essa relação é essencial para projetar sistemas de visão estéreo que atendam a requisitos específicos de aplicação.

A Matemática do Cálculo da Profundidade

A base matemática da visão estéreo baseia- se nos princípios da triangulação. Quando duas câmaras captam o mesmo ponto no espaço, esse ponto aparece em posições diferentes no plano de imagem de cada câmara. PL(uL, vL) e PR(uR, vR) são projeções do ponto Po no plano de imagem esquerda e direita respectivamente. Esta configuração dá- nos as seguintes quatro equações. Resolvendo estas equações, obtemos x, y e z da seguinte forma. Aqui, o z é a profundidade do ponto da câmara.

O cálculo da profundidade de Z em um sistema de estereovisão é baseado na diferença de paralaxe d. O valor de disparidade - a diferença de pixel horizontal entre os pontos correspondentes nas imagens esquerda e direita - é inversamente proporcional à profundidade. Isto significa que os objetos mais próximos da câmera exibem valores de disparidade maiores, enquanto os objetos distantes mostram disparidades menores.

A precisão da profundidade diminui com o quadrado da distância Z; a precisão da profundidade do estéreo varia de 1% da distância a curto alcance a 9% na longa faixa. Essa característica deve ser considerada ao projetar sistemas de visão estéreo para aplicações industriais específicas, uma vez que os requisitos de precisão variam significativamente entre diferentes casos de uso.

Calibração de Câmeras: A Fundação de Estimação de Profundidade Exata

Importância da Calibração

A calibração da câmera é um pré-requisito crítico para a visão estéreo precisa. Os sistemas de visão estérea são um dos métodos mais utilizados para realizar o mapeamento tridimensional. Estes sistemas têm várias considerações para cumprir esta tarefa; uma delas é a calibração da câmera. Sem calibração adequada, as relações geométricas entre câmeras e a cena não podem ser estabelecidas com precisão, levando a erros significativos na estimativa de profundidade.

A calibração é tipicamente realizada usando um padrão conhecido, como um tabuleiro de xadrez, e algoritmos especializados que minimizam o erro de reprojeção entre os pontos observados e projetados. Este processo determina tanto parâmetros intrínsecos (como distância focal e centro óptico) quanto parâmetros extrínsecos (a posição relativa e orientação entre câmeras).

Desafios e soluções de calibração

A deriva de calibração é um verdadeiro inimigo da precisão na robótica industrial. Na robótica, isso pode ter sérias consequências. Fatores ambientais, como mudanças de temperatura, vibração e estresse mecânico, podem causar a deriva de parâmetros de calibração ao longo do tempo, degradando o desempenho do sistema.

Eles dependem da visão estéreo para navegar e evitar obstáculos. Se a calibração se desviar, o robô pode julgar mal as distâncias, levando a rotas ineficientes ou até mesmo colisões. Da mesma forma, em aplicações de pick-and-place, um robô precisa saber exatamente onde um objeto deve agarrá-lo de forma confiável. A deriva de calibração pode fazer com que essas escolhas sejam fora do alvo, retardando todo o processo.

Para combater a deriva de calibração, os sistemas industriais frequentemente implementam procedimentos periódicos de recalibração ou usam algoritmos de autocalibração que podem detectar e compensar mudanças de parâmetros. Este artigo propõe um método de calibração automática baseado em medição de loop fechado de visão estéreo. O método visa alcançar calibração e compensação eficientes de erros de posicionamento de efeitos finais através de algoritmos de percepção visual e otimização cinemática.

Processo de Retificação

Após a calibração, as imagens devem ser retificadas para simplificar o problema de correspondência. Isto é corrigido por retificação estéreo. A retificação estéreo é a reprojeção dos planos de imagem esquerdo e direito para um plano comum paralelo à linha de base. A retificação transforma as imagens de modo a que os pontos correspondentes se deitem na mesma linha de digitalização horizontal, reduzindo o espaço de busca de duas dimensões para uma.

Nas imagens estéreo corrigidas, todos os pares de pontos correspondentes estão localizados na mesma linha de pixels. As imagens retificadas têm linhas epipolares horizontais e são alinhadas com linhas. Este alinhamento é essencial para uma computação eficiente e precisa de disparidade, uma vez que limita a procura de pontos correspondentes a uma única dimensão.

O problema da correspondência estereo

Encontrar Pontos Correspondentes

O problema de correspondência estéreo é um dos aspectos mais desafiadores da visão estéreo. Para calcular a disparidade, temos de encontrar cada pixel da imagem esquerda e combiná- la com cada pixel da imagem direita. Isto é chamado de Problema de Correspondência Estéreo. O objetivo é identificar qual pixel da imagem direita corresponde a cada pixel da imagem esquerda.

Agora, para encontrar este pixel na imagem certa, basta pesquisá-lo na linha epipolar. Não há necessidade de uma busca 2D, o ponto deve ser localizado nesta linha e a pesquisa é reduzida para 1D. Esta restrição reduz significativamente a complexidade computacional e melhora a precisão de correspondência.

Algoritmos de Correspondência de Caracteres

Algoritmos de correspondência de recursos, como SIFT (Scale-Invariant Feature Transform), SURF (Speeded-Up Robust Features) e ORB (Oriented FAST e Rotated BRIEF), são comumente usados para este fim. Estes algoritmos identificam características distintas nas imagens e combinam- nas através do par estéreo. A disparidade é então calculada como a mudança horizontal entre os pontos correspondentes.

Cada algoritmo oferece diferentes trocas entre precisão, eficiência computacional e robustez às transformações de imagem. SIFT e SURF fornecem excelente precisão de correspondência, mas são computacionalmente intensivos, enquanto ORB oferece processamento mais rápido ao custo de alguma precisão. A escolha do algoritmo depende dos requisitos específicos da aplicação industrial.

Correspondência de correspondência densa e correspondência em bloco

Para aplicações que requerem mapas de profundidade densos, os algoritmos de correspondência de blocos são comumente empregados. Estes algoritmos comparam pequenas janelas ou blocos de pixels entre as imagens esquerda e direita para encontrar correspondências. O mapa de disparidade, que representa a disparidade em cada pixel, é usado para gerar o mapa de profundidade. No entanto, os mapas de disparidade geralmente contêm ruído e requerem refinamento. Técnicas como correspondência de blocos, correspondência semi- global e cortes de gráficos são usados para melhorar a precisão e a suavidade do mapa de disparidade.

A correspondência semi-global (SGM) tornou-se particularmente popular em aplicações industriais devido à sua capacidade de produzir mapas de disparidade de alta qualidade, mantendo uma eficiência computacional razoável. A SGM agrega custos de correspondência ao longo de vários caminhos através da imagem, proporcionando melhor manuseio de oclusões e regiões sem textura em comparação com simples correspondência de blocos.

Implementação em Sistemas de Robots Industriais

Requisitos de processamento em tempo real

Robôs industriais equipados com câmeras estéreo devem processar imagens em tempo real para permitir a interação responsiva com seu ambiente. O sistema identifica características-chave em ambas as imagens e calcula disparidades, que são convertidas em medições de distância. Este processo permite que os robôs naveguem e manipulem objetos com alta precisão.

Paralelizar os algoritmos acima, torna- os compatíveis para executar em GPUs e superar a maioria das limitações de velocidade. Embora o número de cálculos que estão sendo feitos seja quase o mesmo, sua execução paralela leva muito menos tempo em comparação com sua execução serial. Este avanço abre portas para a execução de algoritmos mais complexos muito mais rápido e, portanto, permite melhores saídas de qualidade em tempo real.

Os sistemas modernos de visão estéreo aproveitam a aceleração da GPU e o hardware especializado para alcançar as velocidades de processamento necessárias para aplicações industriais.Isso permite que os robôs tomem decisões e ajustem seus movimentos com base em feedback visual com latência mínima, o que é crucial para tarefas como operações de alta velocidade de escolha e colocação ou prevenção dinâmica de obstáculos.

Integração com sistemas de controle de robôs

Após ler os dados do ZED2i sobre a posição do objeto detectado no sistema de coordenadas da câmera compatível com o sistema de coordenadas definido no robô, o computador deve se comunicar com o robô industrial usando o pacote RMI. A comunicação segue um esquema que inclui estabelecer uma conexão, inicializar parâmetros, configurar o sistema, emitir instruções para o movimento e chamar programas de robôs.

A integração da visão estéreo com sistemas de controle de robôs requer coordenação cuidadosa de várias coordenadas. O sistema de coordenadas da câmera deve ser transformado no sistema de coordenadas base do robô, responsável pela posição e orientação de montagem da câmera. Esta transformação permite ao robô alcançar com precisão as posições de alvo identificadas pelo sistema de visão.

Combinando visão com IA e detecção de objetos

Os métodos usados para detectar um objeto no espaço incluem o algoritmo YoloV8, que funciona em uma imagem 2D. O algoritmo foi treinado para detectar dois grupos de objetos estritamente definidos (XC80 OK e XC80 NOK). As coordenadas do centro do objeto detectado são usadas para ler a distância do objeto medido no sistema de câmera.

Este capítulo apresenta uma nova ideia ao usar as técnicas existentes para estimar a profundidade. A motivação é tornar o procedimento de estimativa de profundidade muito mais leve e rápido. Em palavras simples, a intenção é evitar o cálculo da profundidade para os pixels que não são necessários. É mais utilizável quando associado a outras técnicas de percepção como detecção de objetos e segmentação semântica. Estas etapas de percepção ajudam- nos a descartar os pixels não requeridos para os quais a estimativa de profundidade pode ser evitada.

Ao combinar visão estéreo com algoritmos modernos de detecção de objetos baseados em IA, robôs industriais podem alcançar compreensão semântica (que objetos estão presentes) e compreensão geométrica (onde objetos estão localizados no espaço 3D). Esta combinação permite aplicações sofisticadas, como inspeção de qualidade, detecção de defeitos e triagem inteligente.

Aplicações Industriais e Casos de Uso

Pegar e manusear partes aleatórias

A técnica de visão estéreo de textura projetada é usada principalmente em aplicações de coleta de bin. A tarefa de selecionar objetos aleatórios e não sorteados de um recipiente ou um bin de armazenamento apresenta uma série de desafios diferentes. A visão estérea permite que os robôs localizem e capturem objetos em ambientes desordenados e não estruturados, onde os sistemas tradicionais de visão 2D falhariam.

Com o seu design compacto e industrial e a combinação de uma distância de trabalho muito curta e um grande campo de visão, o Ensenso B é particularmente adequado para aplicações de recolha de lixo. Isto torna-o ideal para ser utilizado num braço de robô, por exemplo. As modernas câmaras estéreo concebidas especificamente para a recolha de lixo podem funcionar à curta distância, mantendo um amplo campo de visão, permitindo aos robots ver em contentores profundos e manusear uma variedade de tamanhos de peças.

Robôs Móveis Autônomos e Navegação

As AMRs devem operar em condições de iluminação e terreno variadas, incluindo armazéns empoeirados ou pátios ao ar livre. As câmeras de visão 3D que combinam iluminação ativa e sensoriamento passivo podem manter a fidelidade de profundidade em tais condições. Por exemplo, o Gemini 335Lg da Orbec, lançado na ROSCon 2024, inclui uma interface serializadora (GMSL2) e um conector robusto (FAKRA) para fornecer dados de profundidade confiáveis em ambientes móveis robustos. Este design permite que as AMRs mantenham a percepção de profundidade enquanto se movem sobre superfícies irregulares, através de ambientes eletromagnéticos e comprimentos longos de cabo.

A localização e mapeamento simultâneos (SLAM) beneficia-se muito com dados de profundidade densa. Sistemas de visão estereogeradores geram nuvens de pontos ricos que podem ser fundidos com dados de odometria e unidade de medição inercial (IMU) para criar mapas precisos e localização robusta. Esta capacidade é essencial para robôs móveis autônomos que operam em ambientes dinâmicos de armazém e fábrica.

Inspeção e Medição de Qualidade

Os sistemas de visão estereo se destacam em tarefas de medição dimensional e inspeção de qualidade. Ao gerar modelos 3D precisos de peças e conjuntos, esses sistemas podem verificar dimensões, detectar defeitos e garantir a montagem adequada. A natureza sem contato da visão estéreo torna-a ideal para inspecionar componentes delicados ou sensíveis que podem ser danificados por ferramentas de medição física.

Para uma distância de 2,5 m de câmera a objeto, a precisão foi de 0,01 mm. Quando calibrados e configurados adequadamente, os sistemas de visão estéreo podem atingir precisão submilimétrica, tornando-os adequados para aplicações de fabricação de precisão.

Robótica colaborativa e interação humano-robô

Em aplicações de robô colaborativo (cobot), a visão estéreo fornece recursos essenciais de segurança e interação. Ao monitorar continuamente o espaço 3D em torno do robô, os sistemas de visão estéreo podem detectar presença humana, rastrear posições da mão e permitir uma colaboração segura entre humanos e robôs. Isso permite que os cobots diminuam ou parem quando os humanos entram em seu espaço de trabalho, evitando acidentes, mantendo a produtividade.

Na fábrica do futuro, a maioria das operações será feita por robôs autônomos que precisam de feedback visual para se deslocar ao redor do espaço de trabalho evitando obstáculos, para trabalhar colaborativamente com humanos, para identificar e localizar as peças de trabalho, para completar as informações fornecidas por outros sensores para melhorar a sua precisão de posicionamento, etc.

Vantagens da visão estereo na Robótica Industrial

Alta precisão na medição de distância

Os sistemas de visão estereo fornecem medições de distância altamente precisas em uma ampla gama de distâncias de trabalho. A precisão pode ser adaptada a aplicações específicas, ajustando parâmetros de câmera, como distância de base, distância focal e resolução. Esta flexibilidade permite que a visão estéreo sirva aplicações que vão desde inspeção de perto até navegação de longo alcance.

A natureza passiva da visão estéreo – que depende apenas da iluminação ambiente ou estruturada, em vez de sensores de alcance ativos – torna-a particularmente robusta em ambientes onde vários robôs ou sensores podem interferir uns com os outros. Ao contrário dos sistemas baseados em tempo de voo ou laser, vários sistemas de visão estéreo podem operar no mesmo espaço sem interferência mútua.

Capacidades de processamento em tempo real

Os modernos sistemas de visão estéreo podem processar imagens e gerar mapas de profundidade a taxas de quadros adequadas para o controle de robôs em tempo real. Com aceleração da GPU e algoritmos otimizados, os sistemas podem alcançar taxas de processamento de 30 quadros por segundo ou superiores, permitindo o comportamento do robô responsivo em ambientes dinâmicos.

Isso marca a primeira linha de câmeras de visão estéreo da empresa para suportar interfaces USB, GMSL2 e Ethernet. Anunciada no ProMat 2025, a nova câmera oferece um sensor de profundidade aprimorado, tornando-a ideal para uso com braços robóticos, robôs móveis autônomos e aplicações de automação de armazéns. Este desenvolvimento reflete a expansão contínua da Orbec em sistemas de visão 3D de nível industrial.

Custo-Efetividade Comparado com Tecnologias Alternativas

Os sistemas de visão estereo oferecem uma atraente relação custo-desempenho em comparação com tecnologias de sensoriamento 3D alternativas. Embora scanners laser e sistemas de luz estruturados possam fornecer excelente precisão, eles muitas vezes vêm a custos significativamente mais elevados. Visão estereo alavanca hardware de câmera de commodity e recursos computacionais, tornando-o acessível para uma ampla gama de aplicações industriais.

Os sistemas robóticos dependem de múltiplas modalidades de detecção 3D para gerar informações de profundidade e espacial. A visão estereográfica usa pares de câmeras para triangular características de correspondência e formar mapas de profundidade densos. As câmeras RGB-D (combinando o sensor de cor e profundidade) normalmente dependem de técnicas de tempo de voo (ToF) ou de luz estruturada para produzir dados de nuvens pontuais. Cada modalidade tem trocas em termos de alcance, resolução, taxa de quadros, latência e robustez ambiental.

Medição sem contato reduz risco de danos

A natureza sem contato da medição da visão estéreo é uma vantagem significativa em muitas aplicações industriais. Ao contrário de sondas táteis ou medidores mecânicos, a visão estéreo pode medir objetos sem contato físico, eliminando o risco de danificar partes delicadas ou contaminando superfícies limpas. Isso torna a visão estéreo ideal para aplicações na fabricação de eletrônicos, produção farmacêutica e outras indústrias onde o contato deve ser minimizado.

Além disso, a medição sem contato permite a inspeção de objetos móveis e monitoramento em tempo real de processos de produção sem interromper o fluxo de trabalho. Essa capacidade suporta o controle de qualidade em linha e reduz a necessidade de estações de inspeção separadas.

Informação Visual Rica Além da Profundidade

Ao contrário de sensores de alcance de um único propósito, os sistemas de visão estéreo capturam imagens completas que contêm informações de profundidade e detalhes visuais ricos. Isso permite que robôs realizem múltiplas tarefas com um único sistema de sensores, incluindo reconhecimento de objetos, análise de textura, inspeção de cores e leitura de código de barras, além da medição de distância.

Desafios e Limitações da Visão Estereo

Sensibilidade Ambiental

A visão estereográfica é forte em ambientes com textura suficiente, mas pode lutar quando as superfícies não possuem características ou iluminação é fraca. Os sensores ToF medem diretamente a distância, mas podem sofrer em cenas muito brilhantes ou muito escuras. O desempenho dos sistemas de visão estéreo depende fortemente das condições ambientais, particularmente da iluminação e textura da superfície.

A precisão da profundidade também pode ser afetada por medições de outlier em superfícies homogêneas ou texturizadas, como paredes brancas, telas verdes e áreas de espelho. Superfícies sem textura, materiais reflexivos e objetos transparentes representam desafios significativos para algoritmos de correspondência estéreo, pois não possuem as características distintivas necessárias para correspondência confiável.

Ambiguidade de Oclusão e Correspondência

As oclusões ocorrem quando um objeto visível em uma câmera está escondido na visão da outra câmera. Isto cria regiões onde a correspondência não pode ser estabelecida, resultando em lacunas ou erros no mapa de profundidade. Embora algoritmos avançados possam abordar isso parcialmente através da interpolação e fusão multi- visualização, as oclusões permanecem uma limitação fundamental da visão estéreo.

Os padrões repetitivos e as texturas também podem causar ambiguidade de correspondência, onde existem várias combinações potenciais para uma dada funcionalidade. Isto pode levar a estimativas de disparidade e erros de profundidade incorretos. Algoritmos e restrições de correspondência sofisticados ajudam a atenuar estes problemas, mas não os podem eliminar inteiramente.

Complexidade computacional

A correspondência estéreo densa é computacionalmente intensiva, particularmente para imagens de alta resolução. Uma imagem capturada por câmeras de alta resolução tem milhões de pixels. Assim, será altamente intensivo se fizermos isso para toda a imagem. Felizmente, nossas câmeras são calibradas e as imagens são corrigidas. Portanto, só precisamos pesquisar ao longo da linha horizontal onde PL está.

Embora a aceleração da GPU e algoritmos otimizados tenham melhorado significativamente as velocidades de processamento, os requisitos computacionais ainda restringem a resolução máxima e a taxa de quadros atingíveis em aplicações em tempo real. Os designers de sistemas devem equilibrar cuidadosamente a resolução, precisão e velocidade de processamento para atender aos requisitos de aplicação.

Manutenção da Calibração

A calibração e sincronização de múltiplos sensores, incluindo câmeras, IMUs e odometria de roda são complexas e requerem sistemas robustos. Essa calibração deve permanecer estável sob vibração, mudança de temperatura e movimento, o que é particularmente desafiador em robôs móveis.

Os ambientes industriais submetem sistemas de visão estéreo a vibrações mecânicas, flutuações de temperatura e impactos físicos que podem degradar a calibração ao longo do tempo. Manter a precisão de calibração requer um design mecânico robusto para evitar a deriva de parâmetros ou procedimentos periódicos de recalibração que adicionam aos requisitos de manutenção do sistema.

Técnicas Avançadas e Desenvolvimentos Futuros

Aprendizagem Profunda para Combinação Estéreo

Além disso, mapas de profundidade podem ser aprimorados usando métodos baseados em aprendizagem profunda que aprendem a prever profundidade de imagens estéreo. Avanços recentes no aprendizado profundo levaram a melhorias significativas na precisão e robustez de correspondência estéreo. As redes neurais podem aprender a lidar com cenários desafiadores, como regiões sem textura, oclusões e variações de iluminação mais eficazmente do que algoritmos tradicionais.

A aprendizagem de ponta a ponta aproxima-se das redes de trem para prever diretamente a disparidade ou profundidade de pares de imagens estéreo, ignorando completamente algoritmos tradicionais de correspondência. Esses métodos podem alcançar precisão de ponta, mantendo o desempenho em tempo real quando implantados em hardware apropriado. No entanto, eles exigem grandes conjuntos de dados de treinamento e validação cuidadosa para garantir desempenho confiável em diversos cenários industriais.

Fusão de Sensor Multi-Modal

Kuhnert e Netramai combinaram um sensor ToF e um sistema estéreo para reconstrução do ambiente. Para tarefas relacionadas com objetos, as câmeras ToF também foram usadas com sucesso para reconstrução de objetos e superfícies, onde a faixa de distâncias é menor. Combinando a visão estéreo com modalidades de sensoriamento complementares pode superar limitações individuais do sensor e proporcionar uma percepção mais robusta.

A fusão de visão estéreo com câmeras de tempo de voo, LiDAR ou sistemas de luz estruturados pode fornecer informações de profundidade em uma ampla gama de condições e distâncias. Cada tipo de sensor tem diferentes pontos fortes e fracos, e algoritmos de fusão inteligentes podem selecionar a estimativa de profundidade mais confiável para cada região da cena.

Estéreo ativo e melhoria de luz estruturada

Encontrar a textura ideal, ou seja, a que proporciona a melhor correspondência entre as características das imagens, é um problema complicado, influenciado pelas características do projetor, do padrão e das câmeras estéreo. Técnicas de visão ativa obter as informações 3D projetando um padrão visível ou infravermelho no objeto.

Sistemas estéreo ativos projetam padrões estruturados para o local para melhorar a textura e a confiabilidade de correspondência. Esta abordagem combina as vantagens do estéreo passivo (sem ambiguidade de alcance, múltiplos sistemas simultâneos) com a robustez do sensoriamento ativo. Os padrões de projeção infravermelhos são particularmente úteis, pois não interferem com imagens de luz visível ou visão humana.

Melhorar o Hardware e as Interfaces

Em 2025, a Orbbec introduziu a Gemini 335LE, uma câmera 3D de visão estéreo equipada com conectividade Ethernet. As câmeras de visão estéreo modernas estão incorporando interfaces avançadas, resoluções mais altas e sincronização melhorada para atender aos exigentes requisitos da robótica industrial. A conectividade Ethernet permite uma integração mais fácil em redes de fábrica e suporta cabos mais longos em comparação com interfaces USB.

Os sensores globais de obturação tornaram-se padrão em câmeras estéreo industriais, eliminando artefatos de movimento que podem degradar a precisão de correspondência ao imagiar objetos em movimento ou quando a própria câmera está em movimento. Taxas de quadros mais altas e resoluções permitem mapas de profundidade mais detalhados e tempos de resposta mais rápidos ao robô.

Estudo de caso: Implementação da visão estereo para a manipulação robótica

Design e configuração do sistema

Uma implementação prática da visão estéreo para orientação de robôs industriais requer um design cuidadoso do sistema. Ao configurar a câmera ZED2i usando as bibliotecas fornecidas por Stereolabs, muitos parâmetros podem ser definidos. Um dos aspectos mais importantes do suporte de teste é a configuração do sistema de coordenadas em que a posição dos objetos detectados são medidos.

A posição de montagem da câmera deve ser escolhida para fornecer cobertura adequada do espaço de trabalho do robô, mantendo distâncias de trabalho adequadas para a precisão desejada. Para tarefas de manipulação, a montagem da câmera no efetor final do robô fornece o ponto de vista mais flexível, mas requer calibração mão-olho. As câmeras fixas oferecem calibração mais simples, mas podem ter cobertura limitada do espaço de trabalho.

Análise de Erros e Otimização de Desempenho

Erros podem vir de várias fontes, como detecção por YOLO, cálculo de profundidade de estereovisão, calibração do sistema de câmera e transformações entre sistemas de coordenadas. Modelagem matemática precisa e análise desses erros são cruciais para melhorar a precisão do sistema e reduzir desvios da posição real do objeto.

Se os pontos correspondentes nas imagens esquerda e direita forem desalinhados (por exemplo, devido ao ruído), o erro de paralaxe resulta em erro de profundidade. O erro de profundidade ΔZ, pode ser calculado a partir da seguinte relação: ... B— base de estereovisão (distância entre câmaras). Compreender a propagação de erros através de toda a cadeia de medição permite a otimização sistemática dos parâmetros do sistema.

Resultados e Melhorias

Resultados experimentais mostram que esse método reduz significativamente o erro de posicionamento absoluto do robô, com o erro médio de posicionamento diminuindo em 72,12% após a calibração.A calibração e compensação de erros corretas podem melhorar drasticamente o desempenho do sistema, transformando a visão estéreo de uma ferramenta de orientação áspera para um sistema de medição de precisão.

Os experimentos realizados demonstraram que o método proposto leva a uma melhor estimativa de profundidade no sistema de visão estéreo com uma melhora de 34,15% no MAE e 48,38% no DST quando comparado a um dos métodos mais utilizados. Métodos avançados de calibração e modelagem de erros continuam a empurrar os limites do que a visão estéreo pode alcançar em aplicações industriais.

Melhores práticas para implementação industrial de visão estereo

Desenho de Iluminação

A iluminação adequada é fundamental para o desempenho da visão estéreo. A iluminação uniforme e difusa minimiza sombras e reflexões especulares que podem interferir com a correspondência. A iluminação deve ser brilhante o suficiente para fornecer boa relação sinal-ruído nas imagens da câmera, mas não tão brilhante que cause saturação ou contraste excessivo.

Para aplicações envolvendo objetos brilhantes ou reflexivos, iluminação polarizada cruzada pode reduzir reflexões especulares. Iluminação ativa com padrões estruturados pode melhorar a textura em superfícies de outra forma sem características. O projeto de iluminação deve ser integrado com o projeto geral do sistema desde o início, em vez de adicionado como um pensamento posterior.

Seleção e Posicionamento da Câmera

A seleção da câmera deve considerar os requisitos de resolução, taxa de quadros, tamanho do sensor e interface. A resolução mais alta permite uma estimativa de profundidade mais precisa, mas requer mais poder de processamento. Os sensores globais do obturador são essenciais para imagens de objetos móveis ou quando a câmera está em movimento.

A distância de base deve ser escolhida com base na distância de trabalho e precisão de profundidade necessária. Uma regra geral é que a precisão de profundidade é proporcional à relação entre a distância de trabalho e a linha de base.

Software de Arquitetura e Processamento Pipeline

A arquitetura de software deve ser projetada para modularidade e manutenção. Módulos separados para aquisição de imagem, calibração, retificação, correspondência e cálculo de profundidade permitem que componentes individuais sejam testados e otimizados de forma independente. Interfaces padrão entre módulos facilitam a integração e futuras atualizações.

O processamento de tubulações deve ser otimizado para a plataforma de hardware alvo, alavancando a aceleração da GPU, onde estiver disponível. O perfil cuidadoso pode identificar gargalos e orientar esforços de otimização.Para aplicações em tempo real, considere implementar algoritmos adaptativos que ajustam parâmetros de processamento com base em recursos computacionais disponíveis e complexidade de cena.

Validação e Teste

A validação abrangente é essencial para garantir um desempenho confiável em ambientes de produção. Os testes devem abranger toda a gama de condições operacionais esperadas, incluindo variações na iluminação, aparência de objetos e fatores ambientais. As medições quantitativas de precisão usando objetos de referência calibrados fornecem métricas de desempenho objetivas.

Os erros foram então determinados entre a posição estimada pelo sistema de visão operando nos dados ZED 2i e a posição real do objeto.Pontos de medição da amostra foram colocados tanto diretamente na frente do robô quanto dentro do alcance máximo do robô, levando-se em consideração o posicionamento vertical do punho do robô para garantir o correto funcionamento do sistema 3DV.

Tendências da indústria e perspectivas de mercado

Adoção crescente entre os setores

O segmento de sensores de visão/câmeras é projetado para experimentar a maior taxa de crescimento durante o período de previsão. Esses sensores ajudam robôs na realização de tarefas que exigem verificação de posição, inspeção de qualidade ou rastreamento de objetos. A crescente sofisticação dos processos de fabricação e o impulso para automação flexível estão impulsionando a demanda por sistemas de visão avançada.

As indústrias que vão desde automotiva e eletrônica ao processamento de alimentos e farmacêuticas estão adotando visão estéreo para melhorar a qualidade, aumentar a produtividade e reduzir os custos. A tecnologia é particularmente valiosa em aplicações que exigem flexibilidade para lidar com variações de produtos sem extensas mudanças de reprogramação ou ferramenta.

Integração com a Inteligência Artificial

Em 2025, a ABB lançou o seu robot móvel autónomo de última geração (AMR) com capacidades Visual SLAM (Localização e Mapeamento Simultâneos) e IA, juntamente com o conjunto de software AMR Studio. Esta nova solução permite que os robôs se adaptem em tempo real a ambientes dinâmicos sem depender de infra-estruturas pré-definidas. Este lançamento reforça a estratégia da ABB de fornecer soluções de automação altamente flexíveis e inteligentes para os sectores de fabrico e logística.

A convergência da visão estéreo com a inteligência artificial está criando novas possibilidades para a percepção do robô e tomada de decisão. Algoritmos de IA podem interpretar informações de profundidade em contexto, reconhecer cenas complexas e tomar decisões inteligentes sobre ações de robôs. Esta integração é essencial para a próxima geração de robôs industriais autônomos.

Desafios para a adoção ampla

A investigação da própria NIST aponta ainda que os fabricantes enfrentam barreiras substanciais.O seu relatório 2024 NIST GCR identifica os custos de capital, as questões de integração e a falta de conhecimentos internos como principais restrições de adopção. Apesar dos benefícios claros, várias barreiras ainda limitam a adopção de visão estéreo em alguns contextos industriais.

A confiabilidade e a segurança permanecem preocupações centrais. Os sistemas de visão devem ser tolerantes à falha do sensor, ao desalinhamento ou à interferência ambiental. Falha na percepção pode resultar em erro de navegação ou comportamento inseguro, especialmente em ambientes com população humana. Custos de adoção e complexidade técnica colocam barreiras para algumas empresas.

A resolução destes desafios exige um desenvolvimento contínuo de sistemas mais robustos e fáceis de utilizar, melhores ferramentas de integração e recursos educacionais para construir conhecimentos internos. À medida que a tecnologia amadurece e as melhores práticas se tornam mais amplamente compreendidas, essas barreiras estão gradualmente sendo superadas.

Conclusão

A tecnologia de visão estereo tornou-se uma ferramenta indispensável para calcular distâncias de objetos em robótica industrial. Ao alavancar os princípios da visão binocular e algoritmos avançados de processamento de imagens, os sistemas de visão estéreo permitem que os robôs percebam e interajam com seu ambiente com precisão e flexibilidade sem precedentes.A tecnologia oferece vantagens significativas, incluindo alta precisão, capacidade de processamento em tempo real, custo-efetividade e medição sem contato.

Enquanto desafios como sensibilidade ambiental, manipulação de oclusão e manutenção da calibração permanecem, avanços contínuos em hardware, algoritmos e inteligência artificial continuam a expandir as capacidades e confiabilidade dos sistemas de visão estéreo.A integração de aprendizado profundo, fusão de sensores multimodais e tecnologia de câmera aprimorada está empurrando os limites do que esses sistemas podem alcançar.

Como a automação industrial continua a evoluir para uma maior flexibilidade e autonomia, a visão estéreo desempenhará um papel cada vez mais crítico. Desde a coleta de bins e inspeção de qualidade até a navegação autônoma e colaboração homem-robô, as aplicações da visão estéreo na robótica industrial são diversas e crescentes. As organizações que implementam sistemas de visão estéreo devem se concentrar no design do sistema adequado, calibração abrangente, arquitetura robusta de software e validação completa para alcançar um desempenho ideal.

O futuro da robótica industrial é visual, e a tecnologia de visão estéreo fornece a percepção de profundidade que os robôs precisam para navegar, manipular e entender o mundo tridimensional em que eles operam.Para engenheiros e organizações que procuram implementar sistemas robóticos avançados, entender e alavancar a tecnologia de visão estéreo é essencial para se manter competitivo na paisagem em rápida evolução da automação industrial.

Recursos adicionais

Para aqueles interessados em aprender mais sobre visão estéreo e suas aplicações em robótica industrial, vários recursos excelentes estão disponíveis online.A documentação OpenCV fornece tutoriais abrangentes sobre calibração de câmera, retificação estéreo e computação de disparidade.O Robot Operating System (ROS)comunidade oferece pacotes e ferramentas para integrar visão estéreo em sistemas robóticos. Recursos acadêmicos, como a IEE Xplore Digital Library] contêm pesquisas de ponta sobre algoritmos e aplicações de visão estéreo.

Organizações industriais como a Associação para a Automação Avançada fornecem estudos de caso, artigos brancos e oportunidades de rede para profissionais que trabalham com robótica guiada por visão. Fabricantes de câmeras e integradores de sistemas de visão muitas vezes oferecem documentação técnica, notas de aplicação e programas de treinamento para ajudar os usuários a implementar soluções de visão estéreo bem sucedidas.

Ao aproveitar esses recursos e seguir as melhores práticas descritas neste artigo, engenheiros e organizações podem implementar sistemas de visão estéreo com sucesso que melhoram as capacidades de seus robôs industriais, melhoram a eficiência do processo e impulsionam a inovação na fabricação e automação.