Table of Contents

Inleiding tot Stereo Vision in industriële robotica

Stereo visie technologie heeft de manier waarop industriële robots waarnemen en interactie met hun omgeving revolutionair. Door na te bootsen van het vermogen van het menselijk visuele systeem om diepte te waarnemen, stereo visie stelt robots om nauwkeurig afstanden tot objecten te meten, navigeren complexe werkruimtes, en het uitvoeren van precisietaken met ongekende nauwkeurigheid. Deze technologie is uitgegroeid tot een hoeksteen van moderne automatisering, rijden efficiëntie en veiligheid verbeteringen in de productie, logistiek en kwaliteitscontrole toepassingen.

Computervisie dicht bij het menselijk zicht kan alleen worden gecreëerd met stereocamera's. Dit fundamentele principe ligt ten grondslag aan de brede toepassing van stereovisiesystemen in industriële robotica. Naarmate de automatisering verder vordert, is het vermogen om de driedimensionale ruimte nauwkeurig te waarnemen essentieel geworden voor robots die in dynamische, ongestructureerde omgevingen werken waar traditionele detectiemethoden tekortschieten.

De wereldwijde marktomvang van robotsensoren werd geschat op 1.819,4 miljoen USD in 2024 en zal naar verwachting in 2033 3,625,8 miljoen USD bedragen, terwijl de groei van een CAGR van 8,1% zal toenemen van 2025 tot 2033, gedreven door de toenemende automatisering van industriële sectoren, samen met de toenemende inzet van autonome mobiele robots (AMR's) en collaboratieve robots (cobots). Dit groeitraject onderstreept de cruciale rol die visiesystemen, met name stereovisie, spelen in de toekomst van industriële automatisering.

De fundamentele beginselen van Stereo Visie begrijpen

Het principe van verrekijkerzicht

Stereozichtssystemen werken op hetzelfde principe als het menselijk verrekijkerzicht. Twee camera's die op verschillende gezichtspunten zijn geplaatst, vangen beelden van dezelfde scène tegelijkertijd op. Door de verschillen tussen deze beelden te analyseren, kan de horizontale verplaatsing van overeenkomstige punten specifiek de diepte-informatie voor objecten binnen de scène berekenen.

Het stereozichtsysteem is een van de populaire technieken voor computervisie. Het idee is hier om de parallaxfout in ons voordeel te gebruiken. Een enkele scène wordt vastgelegd vanuit twee verschillende kijkhoeken, en diepte wordt geschat op basis van de maat van parallax fout. Dit parallax effect is hetzelfde fenomeen dat mensen in staat stelt om afstanden te beoordelen en driedimensionale ruimte waarnemen.

Cameraconfiguratie en basislijn

De fysieke opstelling van camera's in een stereozichtsysteem is cruciaal voor de prestaties. De lijn tussen de centra van de camera's wordt de basislijn genoemd. De basisafstand beïnvloedt direct de nauwkeurigheid en het bereik van dieptemetingen. Een grotere basislijn biedt over het algemeen een betere diepteresolutie op langere afstanden, terwijl een kleinere basislijn geschikter is voor toepassingen met een korte afstand.

De formule voor diepte bevat de omgekeerde proportionele relatie met de ongelijkheid en de directe proportionele relatie met de basislijn. Focal lengte en basislijn zijn stereo camera constanten die worden verkregen uit de stereo kalibratie. Het begrijpen van deze relatie is essentieel voor het ontwerpen van stereo visie systemen die aan specifieke toepassingseisen voldoen.

De wiskunde van de Diepteberekening

De wiskundige basis van stereovisie is gebaseerd op driehoeksprincipes. Wanneer twee camera's hetzelfde punt in de ruimte vastleggen, verschijnt dat punt op verschillende posities in het beeldvlak van elke camera. PL(uL, vL) en PR(uR, vR) zijn projecties van punt Po in het linker- en rechterfotovlak respectievelijk. Deze opstelling geeft ons de volgende vier vergelijkingen. Deze vergelijkingen oplossend, verkrijgen we x, y en z als volgt. Hier is de z de diepte van het punt van de camera.

De berekening van de diepte van Z in een stereovision systeem is gebaseerd op het parallax verschil d. De diffree waarde .Het horizontale pixel verschil tussen de overeenkomstige punten in de linker- en rechterbeelden .is omgekeerd evenredig met de diepte. Dit betekent dat objecten dichter bij de camera vertonen grotere verschillen waarden, terwijl verre objecten tonen kleinere verschillen.

Dieptenauwkeurigheid neemt af met het kwadraat van afstand Z; stereodieptenauwkeurigheid varieert van 1% van de afstand op korte afstand tot 9% op lange afstand. Dit kenmerk moet worden overwogen bij het ontwerpen van stereozichtsystemen voor specifieke industriële toepassingen, aangezien de nauwkeurigheidseisen sterk variëren tussen verschillende gebruikscases.

Camerakalibratie: De Stichting van Nauwkeurige Diepteschatting

Belang van de kalibratie

Camerakalibratie is een cruciale voorwaarde voor een nauwkeurig stereozicht. Stereozichtsystemen zijn een van de meest gebruikte methoden om driedimensionale mapping uit te voeren. Deze systemen hebben verschillende overwegingen om deze taak te vervullen; Een van hen is camerakalibratie. Zonder de juiste kalibratie kunnen de geometrische relaties tussen camera's en de scène niet nauwkeurig worden vastgesteld, wat leidt tot significante fouten in diepteschatting.

Kalibratie wordt meestal uitgevoerd met behulp van een bekend patroon, zoals een checkerboard, en gespecialiseerde algoritmen die de reprojectiefout tussen waargenomen en geprojecteerde punten minimaliseren. Dit proces bepaalt zowel intrinsieke parameters (zoals brandpuntsafstand en optisch centrum) als extrinsieke parameters (de relatieve positie en oriëntatie tussen camera's).

Kalibratie-uitdagingen en oplossingen

Kalibratiedrift is een echte vijand van precisie in industriële robotica. In robotica kan dit ernstige gevolgen hebben. Milieufactoren zoals temperatuurveranderingen, trillingen en mechanische stress kunnen kalibratieparameters in de loop van de tijd doen driften, de prestaties van het systeem verminderen.

Ze vertrouwen op stereozicht om te navigeren en obstakels te vermijden. Als de kalibratie driften, de robot kan verkeerd inschatten afstanden, leiden tot inefficiënte routes of zelfs botsingen. Evenzo, in pick-and-place toepassingen, een robot moet precies weten waar een object is om het te begrijpen betrouwbaar. Kalibratie drift kan ervoor zorgen dat die picks uit-target, vertragen van het hele proces.

Om kalibratiedrift te bestrijden, implementeren industriële systemen vaak periodieke herkalibratieprocedures of gebruiken zelfkalibratiealgoritmen die parameterveranderingen kunnen detecteren en compenseren. Dit papier stelt een automatische kalibratiemethode voor op basis van stereozichts-gesloten-lusmeting. De methode is gericht op het bereiken van efficiënte kalibratie en compensatie van eind-effect positioneringsfouten door visuele waarneming en kinematische optimalisatie-algoritmen.

Recordingsproces

Na kalibratie moeten de afbeeldingen worden gecorrigeerd om het correspondentieprobleem te vereenvoudigen. Dit wordt door stereocorrectie verholpen. Stereocorrectie is de herprojectie van de linker- en rechterafbeeldingsvlakken op een gemeenschappelijk vlak parallel aan de basislijn. Rectificatie transformeert de afbeeldingen zodat de overeenkomstige punten op dezelfde horizontale scanlijn liggen, waardoor de zoekruimte van twee dimensies naar één wordt teruggebracht.

In gecorrigeerde stereobeelden bevinden zich een paar overeenkomstige punten op dezelfde pixelrij. Gerectificeerde afbeeldingen hebben horizontale epipolaire lijnen, en zijn rij-gebonden. Deze uitlijning is essentieel voor een efficiënte en nauwkeurige disagio berekening, omdat het de zoektocht naar overeenkomstige punten beperkt tot een enkele dimensie.

Het stereo-correspondentieprobleem

Bijpassende punten vinden

Het stereo-correspondentieprobleem is een van de meest uitdagende aspecten van stereozicht. Om de verschillen te berekenen, moeten we elke pixel van de linkerafbeelding vinden en deze aanpassen aan elke pixel in de rechterafbeelding. Dit heet het Stereo-correspondentieprobleem. Het doel is om te bepalen welke pixel in de rechterafbeelding overeenkomt met elke pixel in de linkerafbeelding.

Om deze pixel in de juiste afbeelding te vinden, zoek het gewoon op de epipolaire lijn. Er is geen behoefte aan een 2D zoekopdracht, het punt moet op deze regel worden geplaatst en de zoekopdracht wordt beperkt tot 1D. Deze beperking vermindert de rekencomplexie aanzienlijk en verbetert de nauwkeurigheid van de match.

Algoritmes met elkaar

Feature matching algoritmen, zoals SIFT (Scale-Invariant Feature Transform), SURF (Speed-Up Robuust Features), en ORB (Oriented FAST en Rotated BRIEF), worden vaak gebruikt voor dit doel. Deze algoritmen identificeren onderscheiden kenmerkende kenmerken in de afbeeldingen en passen ze aan over het stereopaar. De ongelijkheid wordt dan berekend als de horizontale verschuiving tussen overeenkomstige punten.

Elk algoritme biedt verschillende afwegingen tussen nauwkeurigheid, rekenefficiëntie en robuustheid van beeldtransformaties. SIFT en SURF bieden uitstekende bijpassende nauwkeurigheid, maar zijn computerintensief, terwijl ORB snellere verwerking biedt ten koste van enige nauwkeurigheid. De keuze van het algoritme hangt af van de specifieke eisen van de industriële toepassing.

Blok Matching en Dense-correspondentie

Voor toepassingen die dichte dieptekaarten vereisen, worden blokmatchingalgoritmen vaak gebruikt. Deze algoritmen vergelijken kleine vensters of blokken van pixels tussen de linker- en rechterafbeeldingen om correspondentie te vinden. De ongelijkheidskaart, die de ongelijkheid op elke pixel weergeeft, wordt gebruikt om de dieptekaart te genereren. Echter, verschillenkaarten bevatten vaak ruis en vereisen verfijning. Technieken zoals blokmatchen, semi-global matching, en grafieksnippers worden gebruikt om de nauwkeurigheid en gladheid van de ongelijkheidskaart te verbeteren.

Semi-global matching (SGM) is bijzonder populair geworden in industriële toepassingen vanwege het vermogen om hoogwaardige verschillenkaarten te produceren en tegelijkertijd een redelijke rekenefficiëntie te handhaven. SGM aggregeert de kosten op meerdere wegen door het beeld heen, waardoor de behandeling van occlusies en textuurloze regio's beter wordt behandeld dan eenvoudige blokmatching.

Implementatie in industriële robotsystemen

Vereisten inzake de verwerking in realtime

Industriële robots uitgerust met stereocamera's moeten beelden in realtime verwerken om responsieve interactie met hun omgeving mogelijk te maken. Het systeem identificeert belangrijke kenmerken in zowel beelden als rekent verschillen, die vervolgens worden omgezet in afstandsmetingen. Dit proces stelt robots in staat om objecten te navigeren en te manipuleren met hoge precisie.

Parallelliseren van de bovenstaande algoritmen maakt ze compatibel om te draaien op GPU's en overwinnen de meeste van de snelheidsbeperkingen. Hoewel het aantal berekeningen wordt gedaan is bijna hetzelfde, hun parallelle uitvoering duurt veel minder tijd in vergelijking met hun seriële uitvoering. Deze vooruitgang opent deuren voor de uitvoering van meer complexe algoritmen veel sneller en dus zorgt voor betere kwaliteit outputs in real time.

Moderne stereozichtsystemen maken gebruik van GPU-versnelling en gespecialiseerde hardware om de verwerkingssnelheden te bereiken die nodig zijn voor industriële toepassingen. Dit stelt robots in staat om beslissingen te nemen en hun bewegingen aan te passen op basis van visuele feedback met minimale latentie, wat cruciaal is voor taken zoals snelle pick-and-place-bewerkingen of dynamische obstakelvermijding.

Integratie met robotbesturingssystemen

Na het lezen van de gegevens van de ZED2i over de positie van het gedetecteerde object in het cameracoördinaatsysteem dat compatibel is met het coördinatensysteem dat in de robot is gedefinieerd, moet de computer met de industriële robot communiceren met behulp van het RMI-pakket. Communicatie volgt een schema dat het instellen van een verbinding, het initialiseren van parameters, het configureren van het systeem, het geven van instructies voor beweging, en het oproepen van robotprogramma's omvat.

De integratie van stereozicht met robotbesturingssystemen vereist een zorgvuldige coördinatie van meerdere coördinatenframes. Het cameracoördinaatsysteem moet worden getransformeerd naar het basiscoördinaatsysteem van de robot, rekening houdend met de montagepositie en oriëntatie van de camera. Deze transformatie stelt de robot in staat om nauwkeurig de doelposities te bereiken die door het zichtsysteem worden geïdentificeerd.

Visie combineren met AI en Object Detection

De methoden die gebruikt worden om een object in de ruimte te detecteren zijn onder andere het YoloV8-algoritme, dat werkt op een 2D-afbeelding. Het algoritme is getraind om twee strikt gedefinieerde groepen objecten te detecteren (XC80 OK en XC80 NOK). De coördinaten van het centrum van het gedetecteerde object worden gebruikt om de afstand van het object gemeten in het camerasysteem te lezen.

Dit hoofdstuk presenteert een nieuw idee met behulp van de bestaande technieken voor diepteschatting. De motivatie is om de diepteschattingsprocedure veel lichter en sneller te maken. In eenvoudige woorden, is de intentie om de berekening van diepte voor de pixels die niet nodig zijn te vermijden. Het is het meest bruikbaar wanneer gekoppeld aan andere perceptietechnieken zoals object-detectie en semantische-segmentatie. Deze perceptie stappen helpen ons uit te sluiten van de niet-verplichte pixels waarvoor diepteschatting kan worden vermeden.

Door stereozicht te combineren met moderne AI-gebaseerde objectdetectiealgoritmen, kunnen industriële robots zowel semantisch begrijpen (wat objecten aanwezig zijn) als geometrisch begrip (waar objecten zich in 3D-ruimte bevinden). Deze combinatie maakt geavanceerde toepassingen mogelijk, zoals kwaliteitscontrole, defectdetectie en intelligente sorteersystemen.

Industriële toepassingen en gebruiks gevallen

Bin Picking en Willekeurige Deelverwerking

De techniek van de geprojecteerde textuurstereozicht wordt vooral gebruikt in bin picking-toepassingen. De taak van het kiezen van willekeurige en ongesorteerde objecten uit een container of een opslagbak biedt een aantal verschillende uitdagingen. Stereovisie stelt robots in staat om objecten te lokaliseren en te grijpen in een rommelige, ongestructureerde omgevingen waar traditionele 2D-zichtsystemen zouden falen.

Met zijn compacte, industriële kwaliteit ontwerp en de combinatie van een zeer korte werkafstand en een groot gezichtsveld is de Ensenso B bijzonder geschikt voor het oppakken van vuilnisbakken. Dit maakt het ideaal voor gebruik op bijvoorbeeld een robotarm. Moderne stereocamera's speciaal ontworpen voor het oppakken van vuilnisbakken kunnen werken van dichtbij, met behoud van een breed gezichtsveld, zodat robots kunnen kijken in diepe bakken en omgaan met een verscheidenheid aan onderdelen maten.

Autonome mobiele robots en navigatie

AMR's moeten werken in uiteenlopende licht- en terreinomstandigheden, waaronder stoffige magazijnen of buitenwerven. 3D-zichtcamera's die actieve verlichting en passieve sensoren combineren, kunnen de dieptetrouw onder dergelijke omstandigheden behouden. Bijvoorbeeld, de Gemini 335Lg van Orbbec, gelanceerd op ROSCon 2024, omvat een seriële interface (GMSL2) en een robuuste connector (FAKRA) om betrouwbare dieptegegevens te leveren in robuuste mobiele omgevingen. Dit ontwerp stelt AMR's in staat om dieptewaarneming te behouden terwijl ze zich bewegen over ongelijke oppervlakken, door elektromagnetische omgevingen en over lange kabellengtes.

Gelijktijdige lokalisatie en mapping (SLAM) profiteert sterk van dichte dieptegegevens. Stereo-visiesystemen genereren rijke puntwolken die kunnen worden samengevoegd met odometrie- en traagheidsmeeteenheid (IMU) gegevens om nauwkeurige kaarten en robuuste lokalisatie te creëren. Deze mogelijkheid is essentieel voor autonome mobiele robots die actief zijn in dynamische magazijn- en fabrieksomgevingen.

Kwaliteitsinspectie en -meting

Stereozichtsystemen zijn uitstekend bij dimensionale metingen en kwaliteitsinspectietaken. Door nauwkeurige 3D-modellen van onderdelen en assemblages te genereren, kunnen deze systemen afmetingen verifiëren, defecten detecteren en zorgen voor een goede montage. De contactloze aard van stereozicht maakt het ideaal voor het inspecteren van gevoelige of gevoelige componenten die beschadigd kunnen worden door fysieke meetinstrumenten.

Voor een afstand tussen camera en object van 2,5 m werd de nauwkeurigheid vastgesteld op 0,01 mm. Bij een correct gekalibreerde en geconfigureerde stereozichtssystemen kunnen submillimeter-nauwkeurigheid worden bereikt, waardoor ze geschikt zijn voor precisie-productietoepassingen.

Samenwerking tussen Robotica en Human-Robot Interactie

Bij collaboratieve robottoepassingen biedt stereovisie essentiële veiligheids- en interactiemogelijkheden. Door de 3D-ruimte rond de robot continu te bewaken, kunnen stereozichtsystemen menselijke aanwezigheid detecteren, handposities volgen en veilige menselijke-robotsamenwerking mogelijk maken. Hierdoor kunnen cobots vertragen of stoppen wanneer mensen hun werkplek binnengaan, ongevallen voorkomen en de productiviteit handhaven.

In de fabriek van de toekomst zullen de meeste operaties worden uitgevoerd door autonome robots die visuele feedback nodig hebben om zich te verplaatsen rond de werkruimte obstakels te vermijden, samen te werken met mensen, de werkdelen te identificeren en te lokaliseren, de informatie die door andere sensoren wordt verstrekt te voltooien om hun positioneringsnauwkeurigheid te verbeteren, enz.

Voordelen van Stereo Vision in industriële robotica

Hoge nauwkeurigheid bij afstandsmeting

Stereozichtsystemen zorgen voor zeer nauwkeurige afstandsmetingen over een breed scala aan werkafstanden. De nauwkeurigheid kan worden afgestemd op specifieke toepassingen door cameraparameters zoals basisafstand, brandpuntsafstand en resolutie aan te passen. Deze flexibiliteit maakt stereozicht mogelijk om toepassingen te bedienen, variërend van een inspectie van korte afstand tot langeafstandsnavigatie.

De passieve aard van stereozichten die alleen op omgevings- of gestructureerde verlichting worden uitgeoefend in plaats van op actieve sensoren, maakt het bijzonder robuust in omgevingen waar meerdere robots of sensoren elkaar kunnen beïnvloeden. In tegenstelling tot tijd-van-vlucht- of lasergebaseerde systemen kunnen meerdere stereozichtsystemen in dezelfde ruimte werken zonder wederzijdse interferentie.

Mogelijkheden voor realtimeverwerking

Moderne stereozichtsystemen kunnen afbeeldingen verwerken en dieptekaarten genereren tegen framesnelheden die geschikt zijn voor real-time robotbesturing. Met GPU-versnellingen en geoptimaliseerde algoritmen kunnen systemen een verwerkingsfrequentie bereiken van 30 frames per seconde of hoger, waardoor responsief robotgedrag in dynamische omgevingen mogelijk is.

Dit markeert de eerste lijn stereocamera's van het bedrijf ter ondersteuning van USB, GMSL2 en Ethernet interfaces. Aangekondigd op ProMat 2025 biedt de nieuwe camera verbeterde dieptesensoren, waardoor het ideaal is voor gebruik met robotarmen, autonome mobiele robots en magazijnautomatiseringstoepassingen. Deze ontwikkeling weerspiegelt de voortdurende uitbreiding van Orbbec tot industriële 3D-zichtsystemen.

Kosten-effectiefheid vergeleken met alternatieve technologieën

Stereozichtsystemen bieden een aantrekkelijke kosten-prestatieverhouding in vergelijking met alternatieve 3D-sensortechnologieën. Terwijl laserscanners en gestructureerde lichtsystemen uitstekende nauwkeurigheid kunnen bieden, komen ze vaak voor aanzienlijk hogere kosten. Stereovisie maakt gebruik van grondstoffencamerahardware en computationele middelen, waardoor het toegankelijk is voor een breed scala aan industriële toepassingen.

Robotsystemen zijn afhankelijk van meerdere 3D-sensoren om diepte en ruimtelijke informatie te genereren. Stereo-vision gebruikt cameraparen om matching functies te trianguleren en dichte dieptekaarten te vormen. RGB-D camera's (samenvoegend kleur- en dieptesensoren) zijn doorgaans afhankelijk van tijd-van-vlucht (ToF) of gestructureerde lichttechnieken om punt-cloudgegevens te produceren. Elke modaliteit heeft trade-offs in termen van bereik, resolutie, framesnelheid, latentie en milieu-vastheid.

Non-Contact meting vermindert risico op schade

De contactloze aard van stereozichtmeting is een belangrijk voordeel in veel industriële toepassingen. In tegenstelling tot tactiele sondes of mechanische meters, kan stereozicht objecten zonder fysiek contact meten, waardoor het risico op beschadiging van delicate onderdelen of het besmetten van schone oppervlakken wordt weggenomen. Dit maakt stereozicht ideaal voor toepassingen in de elektronica-industrie, farmaceutische productie en andere industrieën waar contact moet worden geminimaliseerd.

Bovendien maakt contactloze meting het mogelijk om bewegende objecten te inspecteren en real-time monitoring van productieprocessen zonder onderbreking van de workflow. Deze mogelijkheid ondersteunt inline kwaliteitscontrole en vermindert de behoefte aan aparte inspectiestations.

Rijke visuele informatie voorbij diepte

In tegenstelling tot single-purpose variërende sensoren, stereo vision systemen vastleggen complete beelden die zowel diepte-informatie en rijke visuele detail. Dit stelt robots in staat om meerdere taken uit te voeren met een enkel sensorsysteem, waaronder objectherkenning, textuuranalyse, kleurinspectie, en barcode-lezing, naast afstandsmeting. Deze multi-functionaliteit vermindert de systeem complexiteit en kosten in vergelijking met het inzetten van meerdere gespecialiseerde sensoren.

Uitdagingen en beperkingen van Stereo Visie

Gevoeligheid van het milieu

Stereo-visie is sterk in omgevingen met voldoende textuur, maar kan worstelen wanneer oppervlakken niet voorzien zijn van functies of verlichting zwak is. ToF sensoren meten direct afstand maar kunnen lijden in zeer heldere of zeer donkere scènes. De prestaties van stereozichtsystemen zijn sterk afhankelijk van omgevingsomstandigheden, met name verlichting en oppervlaktetextuur.

Dieptenauwkeurigheid kan ook worden beïnvloed door uitschieters op homogene of structurerende oppervlakken, zoals witte muren, groene schermen en spiegeloppervlakken. Textureureless oppervlakken, reflecterende materialen en transparante objecten vormen een belangrijke uitdaging voor stereo matching algoritmen, omdat ze niet de onderscheidende eigenschappen die nodig zijn voor betrouwbare correspondentie.

Occlusie en correspondentie ambiguïteit

Er ontstaan uitsluitingen wanneer een object zichtbaar in een camera verborgen is in het zicht van de andere camera. Dit creëert regio's waar correspondentie niet kan worden vastgesteld, wat leidt tot gaten of fouten in de dieptekaart. Hoewel geavanceerde algoritmen dit gedeeltelijk kunnen aanpakken door interpolatie en multi-view fusie, blijven occlusies een fundamentele beperking van stereozicht.

Repetitieve patronen en texturen kunnen ook leiden tot correspondentie ambiguïteit, waar meerdere potentiële overeenkomsten bestaan voor een bepaalde functie. Dit kan leiden tot onjuiste verschillenschattingen en dieptefouten. Geavanceerde matching algoritmes en beperkingen helpen deze problemen te verzachten, maar kunnen ze niet volledig elimineren.

Computational Complexity

Dense stereo matching is computerintensief, vooral voor hoge resolutie beelden. Een afbeelding die door hoge resolutie camera's is vastgelegd heeft miljoenen pixels. Vandaar, het zal zeer proces-intensief zijn als we het doen voor de hele foto. Gelukkig, onze camera's zijn gekalibreerd, en beelden worden gecorrigeerd. Daarom, hoeven we alleen te zoeken langs de horizontale lijn waar PL ligt.

Terwijl de GPU versnelling en geoptimaliseerde algoritmen aanzienlijk verbeterde verwerking snelheden, de computationele eisen nog steeds beperken de maximale resolutie en frame snelheid die haalbaar zijn in real-time toepassingen. System ontwerpers moeten zorgvuldig evenwicht resolutie, nauwkeurigheid en verwerking snelheid om te voldoen aan de toepassing eisen.

Kalibratieonderhoud

Kalibratie en synchronisatie van meerdere sensoren, waaronder camera's, IMU's en wielodometrie, zijn complex en vereisen robuuste systemen. Deze kalibratie moet stabiel blijven onder trillingen, temperatuurverandering en beweging, die bijzonder uitdagend is bij mobiele robots.

Industriële omgevingen onderwerpen stereozichtsystemen aan mechanische trillingen, temperatuurschommelingen en fysieke effecten die kalibratie in de loop van de tijd kunnen afbreken. Voor het handhaven van kalibratienauwkeurigheid is ofwel robuust mechanisch ontwerp nodig om parameterdrift te voorkomen of periodieke herkalibratieprocedures die bijdragen aan onderhoudseisen van het systeem.

Geavanceerde technieken en toekomstige ontwikkelingen

Deep Learning for Stereo Matching

Daarnaast kunnen dieptekaarten verder worden verbeterd met behulp van diepe leergebaseerde methoden die leren diepte te voorspellen van stereobeelden. Recente vooruitgang in diep leren hebben geleid tot significante verbeteringen in stereo matching nauwkeurigheid en robuustheid. Neurale netwerken kunnen leren om uitdagende scenario's zoals textuurloze regio's, occlusies en lichtvariaties effectiever dan traditionele algoritmes aan te pakken.

End-to-end learning benadert netwerken om divergatie of diepte van stereobeeldparen direct te voorspellen, waarbij traditionele matching algoritmes volledig worden omzeild. Deze methoden kunnen de modernste nauwkeurigheid bereiken terwijl ze de realtime prestaties behouden wanneer ze op de juiste hardware worden ingezet. Ze vereisen echter grote trainingsdatasets en zorgvuldige validatie om betrouwbare prestaties te garanderen in diverse industriële scenario's.

Multimodaal sensorfusie

Kuhnert en Netramai hebben een ToF-sensor en een stereosysteem voor milieureconstructie gecombineerd. Voor objectgerelateerde taken zijn ook ToF-camera's met succes gebruikt voor object- en oppervlaktereconstructie, waar het bereik van afstanden kleiner is. Het combineren van stereozicht met aanvullende detectiemogelijkheden kan individuele sensorbeperkingen overwinnen en een robuustere waarneming bieden.

Fusie van stereozicht met tijd-van-vlucht camera's, LiDAR, of gestructureerde lichtsystemen kunnen diepte-informatie over een breder scala van omstandigheden en afstanden. Elk sensortype heeft verschillende sterktes en zwakke punten, en intelligente fusie-algoritmen kunnen de meest betrouwbare diepteschatting voor elke regio van de scène selecteren.

Actieve Stereo en gestructureerde lichtverbetering

Het vinden van de optimale textuur, dat wil zeggen, degene die de beste overeenstemming tussen de kenmerken van de beelden biedt, is een ingewikkeld probleem, beïnvloed door de kenmerken van de projector, het patroon en de stereocamera's. Actieve visie technieken verkrijgen de 3D-informatie die een zichtbaar of infrarood patroon op het object projecteert.

Actieve stereosystemen projecteren gestructureerde patronen op de scène om textuur te verbeteren en de bijpassende betrouwbaarheid te verbeteren. Deze aanpak combineert de voordelen van passieve stereo (geen bereik ambiguïteit, meerdere gelijktijdige systemen) met de robuustheid van actieve sensoren. Infrarood projectiepatronen zijn bijzonder nuttig omdat ze niet interfereren met zichtbare lichtbeeldvorming of menselijk zicht.

Verbeterde hardware en interfaces

In 2025 introduceerde Orbbec de Gemini 335LE, een stereo vision 3D camera uitgerust met ethernet connectiviteit. Moderne stereo vision camera's zijn voorzien van geavanceerde interfaces, hogere resoluties en verbeterde synchronisatie om te voldoen aan de veeleisende eisen van industriële robotica. Ethernet connectiviteit maakt gemakkelijker integratie in fabrieksnetwerken en ondersteunt langere kabelruns in vergelijking met USB interfaces.

Wereldwijde sluitersensoren zijn standaard geworden in industriële stereocamera's, waardoor bewegingsartefacten worden verwijderd die bij het weergeven van bewegende objecten dezelfde nauwkeurigheid kunnen afbreken of wanneer de camera zelf in beweging is. Hogere framesnelheden en resoluties maken gedetailleerdere dieptekaarten en snellere robotresponstijden mogelijk.

Case Study: implementatie Stereo Vision voor Robot Manipulatie

Systeemontwerp en configuratie

Een praktische implementatie van stereovisie voor industriële robotgeleiding vereist een zorgvuldig systeemontwerp. Bij het configureren van de ZED2i camera met behulp van de bibliotheken van Stereolabs kunnen veel parameters worden ingesteld. Een van de belangrijkste aspecten van de teststand is de configuratie van het coördinatensysteem waarin de positie van gedetecteerde objecten wordt gemeten.

De cameramontagepositie moet worden gekozen om de werkruimte van de robot voldoende te dekken en tegelijkertijd de juiste werkafstanden te behouden voor de gewenste nauwkeurigheid. Voor manipulatietaken biedt het monteren van de camera op de eindeffector van de robot de meest flexibele uitkijkpositie, maar vereist het kalibreren van de handogen. Vaste camera's bieden eenvoudiger kalibratie, maar hebben mogelijk een beperkte dekking van de werkruimte.

Foutanalyse en prestatieoptimalisatie

Fouten kunnen komen uit meerdere bronnen, zoals detectie door YOLO, stereovision diepteberekening, camera systeem kalibratie, en transformaties tussen coördinatensystemen. Nauwkeurige wiskundige modellering en analyse van deze fouten zijn cruciaal om de nauwkeurigheid van het systeem te verbeteren en afwijkingen van de werkelijke positie van het object te verminderen.

Als de overeenkomstige punten in de linker- en rechterbeelden verkeerd zijn verbonden (bijvoorbeeld door lawaai), resulteert de parallaxfout in dieptefout. De dieptefout ΔZ, kan worden berekend uit de volgende relatie: ... B

Resultaten en verbeteringen

Experimentele resultaten tonen aan dat deze methode de absolute positioneringsfout van de robot aanzienlijk vermindert, waarbij de gemiddelde positioneringsfout na kalibratie met 72,12% afneemt. Een juiste kalibratie en foutcompensatie kunnen de systeemprestaties drastisch verbeteren, waardoor stereozicht van een ruwe geleidingstool tot een precisiemeetsysteem wordt omgezet.

De uitgevoerde experimenten toonden aan dat de voorgestelde methode leidt tot een verbeterde diepteschatting in het stereozichtsysteem met een verbetering van 34,15% op de MAE en 48,38% op de STD in vergelijking met een van de meest gebruikte methoden. Geavanceerde kalibratiemethoden en foutmodellering blijven de grenzen verleggen van wat stereozicht kan bereiken in industriële toepassingen.

Beste praktijken voor industriële stereovisieimplementatie

Verlichtingsontwerp

Een goede verlichting is van cruciaal belang voor de prestaties van stereozicht. Uniforme, diffuse verlichting minimaliseert schaduwen en speculaire reflecties die kunnen interfereren met matching. De verlichting moet helder genoeg zijn om een goede signaal-ruisverhouding in de camerabeelden te bieden, maar niet zo helder dat verzadiging of overmatige contrast veroorzaken.

Voor toepassingen met glanzende of reflecterende objecten kan gekruiste verlichting de spiegelspiegelingen verminderen. Actieve verlichting met gestructureerde patronen kan textuur op anders featureless oppervlakken verbeteren. Het lichtontwerp moet vanaf het begin worden geïntegreerd met het algemene systeemontwerp in plaats van toegevoegd als een nagedachte.

Cameraselectie en -positionering

Camerakeuze moet rekening houden met resolutie, framesnelheid, sensorgrootte en interfacevereisten. Hogere resolutie maakt nauwkeurigere diepteschatting mogelijk, maar vereist meer verwerkingsvermogen. Globale sluitersensoren zijn essentieel voor het beeldvormen van bewegende objecten of wanneer de camera in beweging is.

De basisafstand moet worden gekozen op basis van de werkafstand en de vereiste dieptenauwkeurigheid. Een algemene regel van duim is dat de nauwkeurigheid van de diepte evenredig is aan de verhouding tussen werkafstand en baseline. Grotere basislijnen bieden een betere diepteresolutie maar verhogen de minimale werkafstand en de kans op occlusies.

Software Architectuur en verwerking Pijpleiding

De software architectuur moet worden ontworpen voor modulariteit en onderhoud. Afzonderlijke modules voor beeldverwerving, kalibratie, correctie, matching en diepte berekening kunnen afzonderlijke componenten worden getest en geoptimaliseerd onafhankelijk. Standaard interfaces tussen modules vergemakkelijken integratie en toekomstige upgrades.

De verwerking van pijpleidingen moet worden geoptimaliseerd voor het doelhardwareplatform, waar beschikbaar GPU-versnellingen te benutten. Zorgvuldige profilering kan knelpunten identificeren en optimalisatie-inspanningen begeleiden. Voor real-time toepassingen, overwegen de implementatie van adaptieve algoritmen die de verwerking parameters aanpassen op basis van beschikbare computational resources en scène complexiteit.

Validatie en testen

Uitgebreide validatie is essentieel om betrouwbare prestaties in productieomgevingen te garanderen. Tests moeten betrekking hebben op het volledige scala van verwachte bedrijfsomstandigheden, met inbegrip van variaties in verlichting, objectuitstraling en omgevingsfactoren. Kwantitatieve nauwkeurigheidsmetingen met gekalibreerde referentieobjecten bieden objectieve prestatie-indicatoren.

Er werden fouten vastgesteld tussen de positie die wordt geschat door het zichtsysteem dat op de ZED 2i-gegevens werkt en de werkelijke positie van het object. De meetpunten werden zowel direct voor de robot als binnen het maximale bereik van de robot geplaatst, rekening houdend met de verticale positie van de pols van de robot om een correcte werking van het 3DV-systeem te garanderen.

Ontwikkelingen in de industrie en marktvooruitzichten

Groeiende adoptie over sectoren heen

Het segment kijksensoren/camera's zal naar verwachting het hoogste groeipercentage ervaren tijdens de prognoseperiode. Deze sensoren helpen robots bij het uitvoeren van taken die positiecontrole, kwaliteitsinspectie of objecttracking vereisen. De toenemende verfijning van productieprocessen en de duw naar flexibele automatisering zijn de drijfveer voor de vraag naar geavanceerde visiesystemen.

De industrie, variërend van automotive en elektronica tot voedselverwerking en farmaceutische producten, heeft een stereovisie om de kwaliteit te verbeteren, de doorvoer te verhogen en de kosten te verlagen. De technologie is bijzonder waardevol in toepassingen die flexibiliteit vereisen om productvariaties te verwerken zonder dat er uitgebreide wijzigingen in het programmeren of bewerken van gereedschap nodig zijn.

Integratie met kunstmatige intelligentie

In 2025 lanceerde ABB haar nieuwe generatie autonome mobiele robots (AMR) met Visual SLAM (Simultan Localisatie en Mapping) en AI-mogelijkheden, samen met de AMR Studio software suite. Deze nieuwe oplossing stelt robots in staat om zich in real time aan dynamische omgevingen aan te passen zonder te vertrouwen op vooraf gedefinieerde infrastructuur. Deze lancering versterkt de strategie van ABB om zeer flexibele en intelligente automatiseringsoplossingen te bieden voor de productie- en logistieke sectoren.

De convergentie van stereovisie met kunstmatige intelligentie creëert nieuwe mogelijkheden voor robotperceptie en besluitvorming. AI-algoritmen kunnen diepte-informatie interpreteren in context, complexe scènes herkennen en intelligente beslissingen nemen over robotacties. Deze integratie is essentieel voor de volgende generatie autonome industriële robots.

Uitdagingen voor een brede adoptie

Het eigen onderzoek van NIST wijst er verder op dat fabrikanten met aanzienlijke belemmeringen worden geconfronteerd. In het NIST-GCR-rapport van 2024 worden kapitaalkosten, integratieproblemen en gebrek aan interne expertise als belangrijke adopterende beperkingen aangemerkt. Ondanks de duidelijke voordelen, beperken verschillende barrières nog steeds de invoering van stereovisie in sommige industriële omgevingen.

Betrouwbaarheid en veiligheid blijven centraal staan. Visiesystemen moeten sensorstoringen, storingen of omgevingsstoringen verdragen. Een storing in de waarneming kan leiden tot navigatiefouten of onveilig gedrag, vooral in mensenbevolkte omgevingen. Adoptiekosten en technische complexiteit vormen voor sommige bedrijven belemmeringen.

Om deze uitdagingen aan te pakken, moeten robuustere en gebruikersvriendelijkere systemen, betere integratie-instrumenten en educatieve middelen worden ontwikkeld om interne expertise op te bouwen. Naarmate de technologie rijpt en beste praktijken beter worden begrepen, worden deze belemmeringen geleidelijk overwonnen.

Conclusie

Stereovisietechnologie is een onmisbaar hulpmiddel geworden voor het berekenen van afstand tot objecten in industriële robotica. Door gebruik te maken van de principes van verrekijkervisie en geavanceerde beeldverwerkingsalgoritmen, stellen stereozichtsystemen robots in staat om hun omgeving met ongekende nauwkeurigheid en flexibiliteit te waarnemen en te communiceren. De technologie biedt belangrijke voordelen, waaronder hoge nauwkeurigheid, real-time verwerkingscapaciteiten, kosteneffectiviteit en non-contact meting.

Terwijl uitdagingen zoals milieugevoeligheid, occlusiebehandeling en kalibratieonderhoud blijven bestaan, blijven de voortdurende vooruitgang in hardware, algoritmen en kunstmatige intelligentie de mogelijkheden en betrouwbaarheid van stereozichtsystemen uitbreiden. De integratie van diep leren, multimodale sensorfusie en verbeterde cameratechnologie verleggen de grenzen van wat deze systemen kunnen bereiken.

Naarmate de industriële automatisering zich verder ontwikkelt naar meer flexibiliteit en autonomie, zal stereovisie een steeds belangrijkere rol spelen. Van het plukken van vuilnisbakken en kwaliteitsinspectie tot autonome navigatie en menselijke-robotsamenwerking, de toepassingen van stereovisie in industriële robotica zijn divers en groeiend. Organisaties die stereovisiesystemen implementeren moeten zich richten op een goed systeemontwerp, uitgebreide kalibratie, robuuste softwarearchitectuur en grondige validatie om optimale prestaties te bereiken.

De toekomst van industriële robotica is visueel, en stereo visie technologie biedt de diepte perceptie dat robots moeten navigeren, manipuleren en begrijpen, en de driedimensionale wereld waarin ze werken. Voor ingenieurs en organisaties die op zoek zijn naar geavanceerde robotsystemen te implementeren, is begrip en hefbooming stereo visie technologie essentieel voor het blijven concurreren in het snel evoluerende landschap van industriële automatisering.

Aanvullende middelen

Voor wie meer wil leren over stereovisie en zijn toepassingen in industriële robotica, zijn er verschillende uitstekende bronnen online beschikbaar.De OpenCV documentatie biedt uitgebreide tutorials op camerakalibratie, stereocorrectie en disagioberekening.De Robot Operating System (ROS) community biedt pakketten en tools voor het integreren van stereovisie in robotsystemen. Academische bronnen zoals de IEEE Xplore Digital Library[] bevatten baanbrekend onderzoek naar stereovisiealgoritmen en toepassingen.

Industrieorganisaties zoals de Association for Advancing Automation bieden case studies, white papers en netwerkmogelijkheden voor professionals die met visiegestuurde robotica werken. Camerafabrikanten en vision system integrators bieden vaak technische documentatie, applicatienotities en trainingsprogramma's om gebruikers te helpen succesvolle stereo visieoplossingen te implementeren.

Door deze middelen te benutten en de beste praktijken in dit artikel te volgen, kunnen ingenieurs en organisaties met succes stereo visiesystemen implementeren die de mogelijkheden van hun industriële robots verbeteren, de procesefficiëntie verbeteren en innovatie in de productie en automatisering stimuleren.