In diesem Artikel geben wir einen Einblick in eine unserer Kerntechnologien hier bei sewts – unsere Computer Vision. Sie ist ein entscheidender Bestandteil unserer Automatisierungslösungen. Wir wollen den Schleier der Verschwiegenheit ein wenig lüften und einen Überblick darüber geben, wie sie funktioniert, was sie leistet und was einige der größten Herausforderungen bei ihrer Entwicklung waren. Keine Sorge, man muss selbst kein Entwickler sein, um den Artikel zu verstehen, wir haben ihn so aufbereitet, dass er für jeden verständlich ist.
Was tut die Computer Vision?
Das Wichtigste zuerst: Was leistet die Computer Vision eigentlich? Sie analysiert Materialien und erkennt Merkmale, die für den Umgang mit diesen Materialien erforderlich sind. Im Falle von VELUM, unserer Automatisierungslösung für industrielle Wäschereien, sind diese Merkmale die Säume von Handtüchern, aber bei einem anderen Textil können die Schlüsselmerkmale anders aussehen oder anders sein. Unsere Computer Vision erkennt nicht nur die wichtigsten Merkmale eines einzelnen Textils, sondern auch die eines ganzen Stapels von Textilien, um zu entscheiden, welche Textilien zuerst aufgenommen werden sollen.
Und so funktioniert es!
Schritt für Schritt
Schauen wir uns das Ganze etwas genauer an. Wir werden den Prozess in drei Teile aufgliedern: Vorverarbeitung, Saumerkennung und intelligente Nachbearbeitung.
In Schritt 1, der Vorverarbeitung, beginnen wir mit den Daten von zwei Kameratypen, einer 2D-Kamera und einer 3D-Kamera. Die Bilder werden für die folgenden Schritte vorbereitet und so zugeschnitten, dass sie nur den relevanten Bereich abdecken. Außerdem müssen sie komprimiert und dann wieder in kleinere Stücke geschnitten werden, die parallel verarbeitet werden können, um eine hohe Leistungsfähigkeit des Prozesses zu gewährleisten.
Schritt 2 ist die eigentliche Saumerkennung. Wir verwenden verschiedene Machine-Learning-Methoden (Objekterkennung, semantische Segmentierung usw.) auf der Ebene der einzelnen Pixel des Bildes, um Merkmale zu erkennen. Auf der Grundlage der im Bild beobachteten Texturen werden die Pixel in drei Klassen unterteilt: Hintergrund, Vordergrund aka Handtuch und – Sie haben es erraten – Säume! Wie viel von welcher Klasse erscheint, ist natürlich jedes Mal anders.
Danach sind wir schon bei Schritt 3, der Nachbearbeitung. Die Bildteile werden wieder zu einem Gesamtbild zusammengesetzt und voilà, wir haben alle möglichen Säume zum Greifen identifiziert. Die 10 besten Säume werden durch eine Analyse der Topologie des Stapels sowie des Aussehens der Säume selbst ermittelt. Wenn Sie sich also gefragt haben, wozu die 3D-Kamera eigentlich gebraucht wird, hier kommt sie ins Spiel. Als Nächstes müssen unsere Top-10-Kandidaten einige Filter überstehen – jeder Saum, der außerhalb der Reichweite des Roboters liegt oder der bereits zuvor erfolglos anvisiert worden ist, wird eliminiert. Und schließlich wird anhand der Höhenunterschiede innerhalb des Stapels ermittelt, wo der Roboter greifen wird.
Dieser Vorgang mag auf dem Papier lang erscheinen, dauert aber tatsächlich weniger als 1 Sekunde – und beginnt beim nächsten Griff des Roboters wieder von vorne, da sich der Textilstapel ständig verändert.
Herausforderungen bei der Entwicklung der VELUM-Vision
Und das war’s! So funktioniert unsere Computer Vision! Natürlich muss der Griffpunkt noch in eine reale Koordinate für den Roboter übersetzt werden. Aber das ist ein anderes Thema.
Es versteht sich zudem von selbst, dass wir viele Dinge ausprobieren mussten, um diesen Prozess zu erreichen. Wir haben zum Beispiel festgestellt, dass die Segmentierung des gesamten Bildes viel zu langsam war, dass nur die Trennung der Handtücher vom Hintergrund nicht funktionierte, und vieles mehr. Natürlich ist die Komplexität größtenteils auf die Tatsache zurückzuführen, dass wir mit verformbaren Materialien arbeiten, aber das ist eine Voraussetzung – wir haben schließlich nicht umsonst unseren Slogan „Automating complexity“ gewählt.
Wir hoffen, dass wir Ihnen einen guten, informativen Überblick über unsere VELUM-Vision geben konnten. Bei Fragen steht unser Head of Software Ernst gerne zur Verfügung! Seine E-Mail lautet ernst.waas@sewts.de.
