AI en robotics centraal in het Vision+Ro­botics Parcours

Het ‘Vision + Robotics’ programma van Wageningen University & Research (WUR) legt de focus op computervision, robotica en kunstmatige intelligentie (AI). Op 17 september namen de onderzoekers van het programma ruim 120 geïnteresseerden in kleine groepjes mee op een tour langs een tiental bijzondere projecten. Vakblad Voedingsindustrie was erbij.

Vision + Robotics verenigt experts uit diverse vakgebieden van WUR, waaronder marine, veeteelt, landbouw, tuinbouw en voeding. “Een van onze doelen is om samenwerking en innovatie te stimuleren tussen industriële partners, onderzoekers en de bredere gemeenschap,” vertelt programmamanager Erik Pekkeriet in zijn openingswoord, en hij somt nog eens even de vele voordelen op van robotisering in de agrifoodsector en de voedingsindustrie. “Hoewel de initiële investering hoog kan zijn, leiden robots tot flexibele schaalbaarheid, hogere bezettingsgraden, minder fouten en minder uitval door ziekte. Dit zorgt niet alleen voor lagere productiekosten, maar ook voor een consistente productkwaliteit. Robotisering kan bijdragen aan duurzaamheid, bijvoorbeeld door nauwkeuriger doseren en minder verspilling. De voedingsindustrie heeft te maken met continu veranderende consumentenvragen en diversificatie van verkoopkanalen. Robots kunnen helpen om snel te schakelen tussen verschillende producties, zonder afbreuk te doen aan de efficiëntie. Dit is vooral relevant aan het begin en einde van de productielijn, zoals bij dosering en verpakking. Het liefst zie ik zelfs helemaal geen productielijnen meer, maar productiecellen; dat maakt onze fabrieken goed schaalbaar. Naast productieverbeteringen kunnen ze ook op andere vlakken ingezet worden; zoals bij het selecteren en verwaarden van hoogwaardige grondstoffen en producten, voor schoonmaak en veiligheidsinspecties.”

Tijdens de tour krijgen we de laatste ontwikkelingen te zien op het gebied van computer vision (2D, 3D and motion tracking), spectrale beeldanalyse systemen (van X-ray tot microwaves), artificiële intelligentie (inclusief deep learning), grijpertechnieken en machine-integratie.

Nieuwe dataverwerkingspijplijn voor fenotypering

Onze groep gaat eerst de kas in van het Nederlandse Plant Eco-phenotyping Centre, kortweg NPEC. Hiermee beschikken Universiteit Utrecht en Wageningen Universiteit & Research (WUR) - en daarmee ook Vision + Robotics - over hypermoderne faciliteiten voor het volgen, analyseren en sturen van gewasgroei in een volledige gecontroleerde en bestuurbare tuinbouwkas omgeving. Tijdens proeven en onderzoek, veelal voor externe opdrachtgevers, worden planten via een automatisch transportsysteem naar een gesloten kast gebracht, waar elke individuele plant rondom door 15 RGB-camera’s stilstaand wordt gefotografeerd. Deze kast maakt deel uit van wat bij Vision + Robotics de ‘Maxi-MARVIN’ wordt genoemd. Planten worden hier binnen enkele seconden in 3D gescand. 

Met de verkregen beelden en data wordt elke plant vervolgens digitaal en volautomatisch ontleed om zo de ‘plantarchitectuur’ te bepalen. Bij de meeste planten is dat de hoofdstengel, zijstengels of -takken, de afstand daartussen, en ook het bladoppervlak en eventuele vruchten. Die architectuur gebruiken de onderzoekers om elke plant te fenotyperen: welk effect hebben omgevingsfactoren samen met genetica, op de vorm, groei en productie van bijvoorbeeld tomatenplanten. Deze informatie is relevant voor plantveredelaars die liefst zo snel mogelijk de vruchten van hun veredeling willen plukken. 

De techniek van de Maxi-MARVIN is gebaseerd op wat in vaktermen ‘voxel carving’ wordt genoemd. Die techniek levert binnen luttele seconden een 3D-puntenwolk op van een plant. Deze 3D-puntenwolk is bij open plantstructuren, zoals van tomaat, komkommer of paprika, van hoge kwaliteit, maar werkt bij compacte planten zoals een krop minder goed: “Zo’n plant wordt als het ware een grote blop.” De volgende stap, zo leggen de onderzoekers uit, is het ‘platslaan’ van de verkregen 3D beelden tot 2D beelden. Dit wordt reprojectie genoemd. “Een van de vele voordelen hiervan is dat je plant van meerdere aanzichten beoordeelt, wat resulteert in een grotere nauwkeurigheid. We doen het ook omdat de algoritmes in 2D op dit moment verder ontwikkeld zijn dan 3D algoritmes.” Met de verkregen digitale planten, digital twins, worden ook simulaties uitgevoerd.

Sensor fusion

Om optimaal gebruik te kunnen maken van vision en de betrouwbaarheid ervan verder te vergroten, is sensor fusion duidelijk in opkomst; het combineren (fuseren) van de informatie van verschillende visionapparatuur en andere sensoren. We zien het bij een demonstratie van grijpertechnieken voor het samenstellen van maaltijdsalades, en bij het plukken van appels. De sluiting van verpakkingen wordt automatisch gecontroleerd met NIR (Nabij InfraRood spectroscopie), terwijl het detecteren van botresten en glas- of metaaldeeltjes heel goed lukt met röntgenapparatuur. Als je dat combineert met een hyperspectrale camera, of sinds kort ook met microgolven, is de verkregen data verder te verrijken; om zo tot een nog grotere betrouwbaarheid te komen. 

Bouwblokken maken 

Verderop op het terrein worden we ingewijd in de kunst van het exact wieden van een akker en de rol van visiontechnologie en deep learning daarbij. Ook de knelpunten komen aan bod, want niet alles gaat over rozen. Bijzonder is de presentatie van een simulatie waarin scholletjes op een lopende band vallen, in een wirwar van andere vissoorten en schelpen. Nog meer vissen, schelpen en schol tuimelen over elkaar heen. De onderzoekers gebruiken synthetische data om een robot te 'leren' de vissoorten die hij ziet te identificeren; zelfs als ze slecht zichtbaar of verborgen zijn. Doel: schol van bijvangst kunnen scheiden. In mijn hoofd maak ik de vertaling: met 3D computer vision is het blijkbaar mogelijk om de vormkarakteristieken van (snel) bewegende agrifood producten te bepalen en die ook digitaal te reconstrueren. Niet alleen handig voor vis, maar voor allerlei sorteer- of verpakkingsprocessen.

www.vision-robotics.nl