Mit Unschärfe richtig Schalten

QZ Qualität und Zuverlässigkeit 10/2000

Heinz-Georg Fehn, Münster

Neuronale Netze und Fuzzy-Logik in der Bildverarbeitung und -auswertung

Die Leistungsfähigkeiten eines Bildverarbeitungssystems wird maßgeblich durch die Güte seiner Entscheidungsfindung geprägt. Unscharfe Verfahren wie z. B. die Fuzzy-Logik oder neuronale Netze erhöhen die Entscheidungssicherheit. In der Fuzzy-Logik geschieht dies durch Integration von Expertenwissen in Form von Wenn-Dann-Regeln. Neuronale Netze sind die Grundlage lernender Systeme, die in der Trainingsphase auf die Problemstellung vorbereitet werde.

Bildverarbeitungssysteme haben als Entscheidungsträger in der Gut-Schlecht-Beurteilung von Prüfteilen gegenüber dem Menschen den unschätzbaren Vorteil der Objektivität in ihrer Entscheidungsfindung.
Ihre Verfügungsbereitschaft wird nicht durch Ermüdungserscheinungen auf Grund gleichförmiger Prozesse eingeschränkt. Diesem unbestreitbaren Vorteil steht der Nachteil gegenüber, dass die Zuverlässigkeit der Entscheidungen von den Verfahren der Bildverarbeitung, Bildauswertung und dem Entscheidungsvorgang selbst abhängt. Angefangen von einfachen Kamerasystemen und preisgünstigen Rechnern bis hin zu Systemen mit gekühlten Bildaufnehmern zur Rauschunterdrückung und parallel arbeitender Hardware zur zeitoptimalen Bildverarbeitung lässt sich für jede Fragestellung eine Konfiguration zur Bildaufnahme und -auswertung finde.

Dafür bieten neben den Distributoren von Bildverarbeitungskomponenten Systemhäuser, die am Problem orientierte Komplettlösungen erarbeiten, ihre Dienste an. Entscheidender als die Hardware ist für den Erfolg eines Systems im industriellen Einsatz die Bildverarbeitungssoftware und - nicht zu unterschätzen - das Beleuchtungssystem.

Systemsoftware und Beleuchtung entscheidend

Es hat sich gezeigt, dass sehr komplexe Bildverarbeitungssoftware zur Entwicklung der Lösungen eines Problems sinnvoll ist. Im realen Einsatz vor Ort wirkt sich diese hohe Komplexität eher hinderlich aus. Eine der wesentlichen Ursachen liegt in der durch die Taktzeit des Arbeitsprozesses vorgegebene maximal möglichen Auswertezeit. Lasen sich typische Taktzeiten von etwa einer Sekunde, also die Analyse von ca. 3600 Teilen pro Stunde, in der Regel gut handhaben, stellen kleinere Taktzeiten sofort höhere Ansprüche an die Hardware (Parallelisierung) oder erfordern Abstriche bei der Anwendung der Bildvorverarbeitungs-Algorrithmen zur optimalen Parameterextraktion.
So kommen meist in der endgültigen Applikation ein Subset aller angebotenen Analyse- und Auswertefunktionen zum Einsatz. Software mit der Möglichkeit von Makroprogrammierung und Librarykonzepten zur Anwendung der Funktionen bieten hier bestmögliche Flexibilität. Diese Flexibilität ist notwendig, da bereits eine geringfügige Änderung von Parametern, z. B. Eine Maßkorrektur im Objekt oder die Veränderung der Oberflächenstruktur des Prüflings, eine erhebliche Modifikation in der Applikationssoftware verursachen kann. Das Beleuchtungssystem beeinflusst in entscheidendem Maß die Qualität des erfassten Bildes. Je nach Aufgabenstellung kann weißes oder farbiges Licht in geeigneter Qualität und Strukturierung eingesetzt werden.

Mittels einer angepassten Beleuchtungsstrategie können so bereits im Vorfeld der Bildauswertung unerwünscht und die Auswertung erschwerende Effekte ausgeblendet werden. Häufig stehen jedoch dem Wunsch nach Homogenität der Lichtquelle bezüglich Intensität, Farbreinheit, Lichtverteilung und Strukturierung Kostenfaktoren und Produktionsumfelder gegenüber, die nur eine nicht optimale Beleuchtung ermöglichen. Dieser Mangel muss durch den zur Anwendung kommenden Entscheidungsalgorithmus kompensiert werden.

Bildauflösung verbessern

Digitale Bildwandler (CCD oder CMOS-Sensoren) haben durch die endliche Anzahl der Sensorelemente auf dem Bildaufnehmerchip nur eine begrenzte Ortsauflösung. Je nach Sensortyp sind zur Zeit zwischen 768*576 und 2048*2048 Sensorelemente auf Matrix-Sensoren und bis zu 8192 Sensorelemente auf Zeilensensoren vorhanden.
Durch eine entsprechende Optik und Wahl des Bildausschnitts kann dieser Limitierung in weiten Grenzen entgegengewirkt werden. Durch die Gesetze der Optik kann der interessierende Bildausschnitt, die so genannte ROI (Region of Interest) soweit auf den zur Verfügung stehenden Sensorelementen vergrößert abgebildet werden, dass die notwendige Bildauflösung für die geforderte Messgenauigkeit erreicht wird. Für messtechnische Aufgaben ist eine dreifach bessere Bildauflösung als die geforderte Messgenauigkeit angemessen. Die Auflösung der Helligkeitswerte von Grauwerten bzw. pro Farbkanal ist durch den gewählten A/D-Wandler gegeben und beträgt üblicherweise 8 Bit. Dies ist in den meisten Fällen für die industriellen Anwendungsfelder ausreichend.

Wichtig bei der Bildaufnahme ist in messtechnisch geprägten Applikationen ein pixelsynchroner Bildeinzug, um eine eindeutige Zuordnung der Bildinformation auf dem Sensor im Bildspeicher des Auswerterechners zu gewährleisten. Pixelsynchron bedeutet dabei, dass die Übergabe der Bildinformation vom Sensor in den Bildspeicher synchron mit dem Auslesen des Sensors geschieht. Mit der internen Taktfrequenz der Kamera, dem Pixeltakt, wird die Bildinformation auf den einzelnen Sensorelementen gelesen und am Kameraausgang zur Verfügung gestellt.
Der Bildspeicher übernimmt, vom Pixeltakt gesteuert, die Informationen der Sensorelemente und legt sie in den Bildspeicherelementen ab.
Jedem Sensorelement wird so ein Bildspeicherelement zugeordnet. Die Bildspeicherelemente werden auch als Pixel oder Pel (Picture Element) bezeichnet. Im nicht pixelsynchronen Bildeinzug können Jittereffekte, das sind geringfügige Abweichungen zwischen dem Takt, mit dem die Information in den Bildspeicher übernommen wird, und dem Takt der Kamera, mit dem die Information vom Sensor ausgelesen wird, zum systembedingten Versatz von bis zu mehreren Pixeln zwischen Sensor und Bildspeicher führen. Diese Abweichungen sind zufällig und verursachen nichtkorrigierbare Messfehler.

Bildung von Merkmalsvektoren

Basierend auf den Verfahren der ikonischen Bildverarbeitung werden Merkmale aus dem Bild extrahiert und zu einem Merkmalsvektor zusammengefasst. Dieser steht symbolisch für den Bildinhalt und ist die Grundlage der symbolischen Bildverarbeitung. In der Bildauswertung sind zwei prinzipielle Auswerteansätze zu unterscheiden: die qualitative Bildanalyse, die feststellt, ob ein notwendiges Merkmal existiert, und die strukturelle Bildanalyse, welche die exakte Größe, Lage oder Orientierung von Bildelementen bestimmt.

Typische Beispiele für die Anwendung der qualitativen und der strukturellen Bildanalyse sind die Zuordnung von Gummimischungen zu bestimmten Qualitätsklassen sowie das Zuordnen und Sortieren von Schrauben (Bild1).

Bild 1. Rußdispersion in einer Gummimischung (links), Muttern und Schrauben in beliebiger Orientierung (rechts). Während bei der Auswertung des linken Bildes die genaue Position und Geometrie der Rußpartikel (hier hell) eine untergeordnete Rolle spielen, sind die Position und Geometie der Objekte im rechten Bildausschnitt für den Sortieralgorithmus von wesentlicher Bedeutung

In beiden Fällen wird für die Zuordnung des Prüflings zu einer Qualitätsklasse bezüglich der Verteilung der Rußpartikel bzw. für den Objekttrennungs- und Sortierungsvorgang ein fuzzybasierter Entscheidungsalgorithmus eingesetzt.

Entscheidungsalgorithmen

Durch Vergleich der über die Bildverarbeitung gewonnenen Merkmale des Prüflings mit vorgegebenen Grenzkriterien führt der Entscheidungsalgorithmus zur Gut-Schlecht-Beurteilung. Diese Entscheidung ist von der Gewichtung der Entscheidungsparameter allgemein und häufig in Relation zueinander geprägt.

Neuronale Netzt

Ein natürliches neuronales Netz, beispielsweise das menschliche Gehirn, besteht aus ca. 100 Milliarden Nervenzellen, so genannten Neuronen, die die Basiseinheiten der Informationsverarbeitung darstellen. Diese sind hochgradig parallel vernetzt. Informationen werden zwischen Neuronen über die Nervensern in Form elektrischer Impulse weitergeleitet. An der Schnittstelle zweier Nervenzellen, der so genannten Synapse, regt ein ankommendes Signal die Ausschüttung chemischer Botenstoffe (Neurotransmitter) an.
An den Synapsen werde die eingehenden Informationssignale über die Menge an ausgeschüttetem Neurotransmitter gewichtet. Zur Informationsübertragung kommt es dann, wenn die Summe aller eingehenden Informationen seinen Schwellenwert überschreitet. Dieses Grundprinzip wird von künstlichen neuronalen Netzen nachgeahmt (Bild2).

Bild 2. Einfaches künstliches neuronales Netz mit einer Zwischenschicht zur Objektklassifikation. Durch den Lernprozess wird die Gewichtung zur Zwischenschicht und den Ausgangsneuronen verändert - das Netz wird trainiert. Im Erkennungsprozess "feuert" ein Augangneuron durch Überschreitung eines Schwellwerts auf Grund der Summe aller Gewichtungen; das Objekt wird erkannt.

In der Technik werden die Eigenschaften neuronaler Systeme, wie hohe Parallelisierbarkeit, Fehlertoleranz, Adaptionsfähigkeit, Plastizität, Nichtlinearität, Stabilität und relative Unempfindlichkeit gegen den kompletten Ausfall von Elementen (Neuronen), geschätzt. Neuronale Netzt stellen im Unterschied zu traditionellen Rechnern kein universell einsetzbares System dar. Sie sind immer auf eine Anwendung spezialisiert. Sie sind in der Lage zu lernen und auf wechselnde Anforderungen zu reagieren.

In der Applikation zur Schraubensortierung sind die Merkmale Flächen, Umfang m Anzahl der Ecken und das Trägheitsmoment den Eingansneuronen zugeordnet. Über den Lernvorgang ist die Gewichtung der Übergänge der Merkmale über die Zwischenschicht zu den Ausgangsneuronen hin an die Aufgabenstellung angepasst. Für die endgültige Zuordnung eines Prüflings zu O1 bzw. O2 ist zuvor die Vereinzelung der Objekte notwendig.

Fuzzy-Logik

Im Gegensatz zur binären Logik, die nur 0 oder 1 kennt, wird bei der Fuzzy-Logik einem konkreten Wert der Eingangsgröße x durch das Fuzzy-Set ein Zugehörigkeitsgrad zu einer Eigenschaft zugewiesen (Bild 3).

Bild 3. Fuzzy-Set und Fuzzifizierung. Der Zugehörigkeitsgrad der Eingangsgröße x1 zu dunkel beträgt 0,7 und zu grau 0,3. Somit kommt die Abbildung der Eingangsgröße der sprachlichen Beschreibung als "dunkelgrau" entgegen

Ein Fuzzy-Set besteht aus einer oder mehreren Zugehörigkeitsfunktionen (Kennlinien), die die Abbildung der Eingangsgröße auf das Intervall [0,1], den Zugehörigkeitsgrad zu einer Eigenschaft, vornehmen. Die Eingangsgröße wird dadurch fuzzifiziert und somit unscharf im System abgebildet.
Die Anzahl und Form der Fuzzy-Sets erlaubt eine Verfeinerung und Verwertung von Zugehörigkeiten zu einer Eingangsgröße.

Das Wissen des Experten ist in dem Regelwerk in Regeln der Struktur "WENN Bedingung, DANN Ergebnis" und in der Form und Anzahl der Fuzzy-Sets abgebildet. Bereits durch die Schlussfolgerungsstrategie, die Inferenz, kann auf der Basis der unscharfen Abbildung von Eingangsgrößen durch Fuzzy-Sets und der Handhabung des Regelwerks eine Entscheidung getroffen werden.
Die Inferenz ist dabei im Prinzip die Verarbeitungsvorschrift für die WENN....DANN-Regeln bzw. für ganze Gruppen von Regeln auf unscharfe Aussagen. Im Ergebnis liefert die Inferenz wiederum ein Fuzzy-Set, das durch den DANN-Teil der Regeln geprägt ist.

Werden zum Beispiel zwei fuzzifizierte Merkmale M1, M2 eines Objekts O1, eine Helligkeitsinformationen und eine Farbinformation, über das Regelwerk

WENN M1 = Dunkelgrau,
DANN Zugehörigkeit zu O1 hoch

WENN M2 = Gelb,
DANN Zugehörigkeit zu O1 mittel

Verarbeitet, dann ergibt die Zugehörigkeit des geprüften Objekts zu O1 eine Bewertung von mittel und hoch, also mittelhoch.
Werden alle Merkmale bewertet und alle Vergleichsobjekte berücksichtigt, liefert das Regelwerk die Entscheidung über das Objekt, die allerdings einen gewissen Grad an Unsicherheit aufweist.

Diese Art der Entscheidungsfindung wird auch als plausibles Schließen bezeichnet. In ‚Abhängigkeit vom Plausibilitätsgrad, dem Maß der zulässigen Unsicherheit, wird die Gut-Schlecht-Beurteilung getroffen. Häufig wird jedoch auf eine Eingangsgröße eine scharfe Ausgangsgröße erwartet. Dies ist üblicherweise in regelungstechnischen Anwendungen der Fall, sodass nach der Inferenz eine Verknüpfung aller Schlussfolgerungen des Tegelwerks notwendig wird.

Dieser Vorgang wird als Akkumulation bezeichnet und führt zu der gewünschten scharfen Ausgangsgröße. Im Fuzzy-Entscheidungsprozess entspricht die Bestimmung der scharfen Ausgangsgröße der Defuzzifizierung (Bild 4).

Bild 4. Elemente des Fuzzy-Entscheidungsprozesses. Das Regelwerk, das Expertenwissen und die Fuzzy-Sets bilden als Daten- und Regelbasis die Grundlage des Prozesses anhand unscharfer (fuzzifizierter) Eingangsgrößen durch Schlussfolgerungsstrategien (Inferenz). Duch Defuzzyfizierung werden für regelungstechnische Anwendungen Stellgrößen ermittelt.

Beispielhafte Anwendungen

Eine exemplarische Applikation auf der Basis neuronaler Netze ist die automatische, videobildgestützte Vollständigkeitskontrolle ZN-Vision des Zentrums für Neuroinformatik in Bochum. Diese prüft mit neuronalen Algorithmen beliebige Bauteile auf Vollständigkeit und richtigen Einbau. Die Datenbasis für den Bildvergleich wird durch Aufnehmen von Beispielbildern erstellt.

Durch das so genannte Graph-Matching-Verfahren über das die Merkmale in Lage und Größe an das aktuelle Bild angepasst werden, arbeitet ZN-Vision so präzise wie der konzentrierte Mensch und erreicht so gute Erkennungsraten auch bei variierender Beleuchtung und Bauteillage.

Im Bereich der Fuzzy-Applikationen verhindert eine Objektanalyse beispielsweise die fehlerhafte Montage von Felgen und Reifen. Das Kamerasystem ist in der Lage, anhand von Farbsignierungen und Profilinformationen bei Reifen sowie anhand designspezifischer Merkmale bei Felgen diese zu erkennen und mit den aus der SPS bzw. aus dem Leitrechner entnommenen Informationen über die erwarteten Reifen- und Felgentypen zu vergleichen (Bild5).

Bild 5. Reifen-Felgenpaar, wie es aus dem Materialfluss an der Aufzieheinrichtung ankommt. Während die Analyse der Felge eher den klassischen Analyseverfahren in der Bildverarbeitung zuzurechnen ist, geschieht die Reifenanalyse mittels eines Fuzzy-Entscheidungsalgorithmus

Im Falle von detektierten Abweichungen meldet das Kamerasystem die vorliegende Störung. Beim zu Grunde liegenden Fuzzy-Entscheidungsalgorithmus wird im Wesentlichen über die Grauwert- und Farbverteilungen im Bild eine Ähnlichkeitsbeziehung zu Referenzbildern abgeleitet (Bild6).

Bild 6. Mögliche Referenzbilder für die Zuordnung des Prüflings zu möglichen Reifentypen

Weiterhin ist das Kamerasystem mit einer spezifischen Trainingskomponente ausgestattet, die online Anpassungen an Chargenschwankungen oder Qualitätsabweichungen von Signierungen etc. ermöglicht. Die Applikation der Fuzzy Logik Systeme GmbH, Dortmund, wird bei BMW in Regensburg eingesetzt.

Suchmaschinen im Internet weisen nur ca. 200 Applikationen auf, wenn als Begriffe zugleich Neuro, Fuzzy und Bildverarbeitung eingegeben wir, und meist sind diese im Hochschulbereich angesiedelt. Trotzdem weisen industrielle Anwendungen auf diesem Gebiet beachtliche Erfolge auf. Ihre Beispielhafte Zuverlässigkeit und die Verknüpfung von neuronalen Netzen mit der Fuzzy-Technologie wird dieser Art der Informationsverarbeitung in Zukunft wachsende Bedeutung verleihen.