[MA Extern] Aufbau einer KI-gestützten, prozessbegleitenden Automatisch Optischen Inspektion (AOI) für die Temperatursensor-Montage – Erstellung eines multimodalen, variantenübergreifenden (X, y, a)-Datensatzes als Grundlage für ein domänengeneralisierendes, handlungsfähiges Video-World-Model

Externe Arbeit in Kooperation mit der S+S Regeltechnik GmbH (Nürnberg), betreut am Lehrstuhl für Fertigungsautomatisierung und Produktionssystematik (FAPS).

Ausgangssituation

Die S+S Regeltechnik GmbH fertigt elektronische Geräte – u. a. Temperatursensoren – in Fertigungsgruppen, in denen bereits verschiedene Produktvarianten montiert werden. Im Rahmen der Säule „Prozessüberwachung & Traceability“ sollen Montagefehler vermieden bzw. eliminiert und für jedes Gerät bzw. jeden Auftrag belastbare Fertigungsdaten erzeugt werden (Werkerführung, Triggerfreigabe einzelner Prozessschritte, datenbelegte Rückverfolgung, papierloser „Werksprüfschein“ je Gerät). Hierfür steht ein AOI-Kamerasystem von Keyence zur Verfügung.

Anders als bei einer reinen Endkontrolle über ein Abschlussbild soll die Prüfung bereits während der Montage erfolgen: Die korrekte Ausführung der Arbeitsschritte wird prozessbegleitend (als Videostream) überwacht, sodass Abweichungen früh erkannt werden, bevor nachgelagerte Schritte betroffen sind. Am Lehrstuhl FAPS wird parallel an domänengeneralisierenden, handlungsfähigen World Models für Fertigungsprozesse geforscht – datengetriebenen Prozessmodellen, die Zustände, Aktionen und deren Auswirkungen intern abbilden und über Maschinen, Produkte und Varianten hinweg generalisieren. Die Montage als visuell dominierter Fügeprozess mit vielen Produktvarianten, vielen ungelabelten Gut-Läufen und nur wenigen Defektbeispielen ist hierfür ein ideales Anwendungsfeld. Die ausgeschriebene Arbeit verbindet daher einen unmittelbaren industriellen Nutzen (funktionsfähige, prozessbegleitende AOI für die Temperatursensor-Montage) mit der methodischen Grundlage für die spätere World-Model-Entwicklung.

Aufgabenstellung

Phase 1 – Inbetriebnahme, Prüfschritte und Datensatz
  • Inbetriebnahme des AOI-Systems: Aufbau und Inbetriebnahme des Keyence-Kamerasystems in der Montagezelle einer ausgewählten Fertigungsgruppe (primär Temperatursensoren).
  • Identifikation und Teachen der Prüfschritte: Systematische Aufnahme der Montage- und Prüfschritte für die betrachtete Fertigungsgruppe, Definition der OK/NOK-Kriterien je Schritt sowie Anlernen (Teachen) des Systems – inklusive Dokumentation des Aufwands je Variante als Referenz für spätere Vergleiche.
  • Prozessbegleitende Videoerfassung: Erweiterung von der Abschlussbild-Prüfung hin zu einer Aufnahme während der Montage; zeitliche Synchronisation der Videodaten mit den Prozessschritten und Triggern der Zelle.
  • Sinnvolle Datenstruktur und (X, y, a)-Datensatz: Aufbau eines strukturierten Datensatzes auf Sample-Ebene mit den Eingangsdaten X (Video und – sofern verfügbar – zugehörige Prozesssignale wie RFID, Schrauber-/Drehmomentdaten, Taktzeiten), den anwendungsfallspezifischen Labels y (OK/NOK, Defektart) sowie den zugrunde liegenden Aktionen a (Prozessschritte/Trigger, ggf. variable Regelgrößen). Vergabe von Domänenlabels (Varianten-ID, Stations-/Zellen-ID) analog zu bestehenden FAPS-Datensätzen, damit der Datensatz späteres domänenübergreifendes Lernen ermöglicht; Anschlussfähigkeit an die bestehende Datenstruktur und das Visualisierungs-/Split-Dashboard des Lehrstuhls.
  • Durchlaufzeit: Untersuchung und Optimierung der Durchlaufzeit der prüfenden Zelle (Erfassungs-, Verarbeitungs- und Entscheidungslatenz).
  • Schnittstellenbeschreibung: Beschreibung der Schnittstellen im Gesamtkontext der Prozessüberwachung und Traceability (Datenfluss, Anbindung an „Werksprüfschein“/RFID, Voraussetzungen für eine spätere World-Model-Anbindung).Vorbereitung und Durchführung einer systematischen Literaturrecherche
Phase 2 – Forschungsnahe Erweiterung
  • Domänengeneralisierende, selbstüberwachte Modellierung: Entwicklung und Evaluierung eines selbstüberwacht vortrainierten (JEPA-basierten) Video-Repräsentations-/Vorhersagemodells, das die korrekte Montagetrajektorie abbildet und Abweichungen prozessbegleitend als Latent-Anomalie erkennt – mit dem Ziel, mit wenigen Defektbeispielen auszukommen und über Produktvarianten zu generalisieren (geringerer Teach-Aufwand je neuer Variante).
  • Evaluation gegen drei Hypothesen: Generalisierung (geringerer Fehler auf zurückgehaltene, ungesehene Varianten), Dateneffizienz (weniger Defektbeispiele je Variante für gleiche Leistung) und Domäneneinfluss (Trennung prozess- vs. variantenspezifischer Faktoren im Latentraum).
  • Optional – inter-modales Alignment: Kontrastive Verknüpfung der Video-Modalität mit den vorhandenen Prozesssignalen desselben Montagezyklus zur Steigerung von Robustheit und Erklärbarkeit.
  • Optional – Unsicherheitsbewusstsein: Reject-Option/Unsicherheitsabschätzung, sodass unsichere Fälle markiert statt fälschlich durchgewunken oder abgewiesen werden (weniger Fehlausschuss, vertrauenswürdigere Traceability und Werkerführung).

Anforderungsprofil und Informationen zur Bewerbung

  • Interesse an Industrie 4.0, Bildverarbeitung/maschinellem Sehen und datengetriebener Qualitätssicherung
  • Gute Programmierkenntnisse (idealerweise Python) für Datenerfassung, -strukturierung und Schnittstellenentwicklung
  • Praktisches Geschick im Umgang mit Kamerasystemen, Sensorik und Fertigungshardware von Vorteil; für die Phase-2-Erweiterung Grundverständnis von Machine Learning bzw. Deep Learning wünschenswert
  • Bereitschaft zur Arbeit vor Ort bei der S+S Regeltechnik (Inbetriebnahme, Datenaufnahme)
  • Sehr gute Deutschkenntnisse in Wort und Schrift (mindestens verhandlungssicher / C1) für die Abstimmung im Projektteam
  • Bereitschaft, die schriftliche Ausarbeitung vollständig auf Englisch zu verfassen (erforderlich für die konzernweite Veröffentlichung und Diskussion)
  • Hohe Motivation, strukturierte Arbeitsweise und gute Kommunikationsfähigkeiten
  • Bearbeitungsbeginn ab sofort möglich
  • Eingehende Bewerbungen werden sowohl vom Lehrstuhl FAPS als auch von der S+S Regeltechnik GmbH gesichtet und bearbeitet; die finale Auswahl erfolgt in enger Abstimmung beider Partner
  • Bewerbungen bitte mit CV und aktueller Fächer-/Notenübersicht per Mail an unten genannten Kontakt
AW

Lehrstuhl für Fertigungsautomatisierung und Produktionssystematik

Wissenschaftliche Mitarbeitende