Chirurgische Workflow-Erkennung

Automatische Erkennung chirurgischer Phasen im OP zur Verbesserung und Erleichterung des OP-Ablaufs

Moderne Assistenzsysteme im Operationssaal sollen nicht nur einzelne Handgriffe erleichtern, sondern auch den Ablauf eines Eingriffs in seiner Gesamtheit verstehen. Die automatische Erkennung chirurgischer Phasen zielt darauf ab, den aktuellen Fortschritt einer Operation zu identifizieren. Solche Systeme liefern kontextuelles Wissen über die momentane Phase des Eingriffs und ermöglichen damit intelligente Assistenzfunktionen, wie die gezielte Bereitstellung von Instrumenten oder die automatisierte OP-Dokumentation

Multimodale Phasenerkennung in der Chirurgie durch fusionierte Bilddaten aus In-Room- und laparoskopischer Kamera unter Verwendung unterschiedlicher Gallenblasen-Phantome
Multimodale Phasenerkennung in der Chirurgie durch fusionierte Bilddaten aus In-Room- und laparoskopischer Kamera unter Verwendung unterschiedlicher Gallenblasen-Phantome

Am IMT erforschen wir, wie Methoden der Künstlichen Intelligenz auf Videodaten aus realen Operationen angewendet werden können, um Modelle zu entwickeln, die zuverlässig und robust chirurgische Abläufe klassifizieren – auch bei eingeschränkter Datenlage. Ziel ist es, durch solche Systeme die Sicherheit im OP zu erhöhen, die kognitive Belastung des OP-Teams zu reduzieren und die Grundlage für eine zukünftige automatisierte Assistenz zu schaffen.

Visualisierung verschiedener XAI-Methoden zur Interpretation eines KI-Modells bei der Callot-Dreieck-Dissektion. Die Heatmaps überlagern das Originalbild, wobei rot besonders relevante und blau weniger relevante Bildbereiche aus Sicht des Modells markieren.
Visualisierung verschiedener XAI-Methoden zur Interpretation eines KI-Modells bei der Callot-Dreieck-Dissektion. Die Heatmaps überlagern das Originalbild, wobei rot besonders relevante und blau weniger relevante Bildbereiche aus Sicht des Modells markieren.
Originalbild aus der Cholezystektomie (links) mit Varianten basierend auf verschiedenen Datenaugmentierungsmethoden, einschließlich fotometrischer, geometrischer und KI-generierter Veränderungen.
Originalbild aus der Cholezystektomie (links) mit Varianten basierend auf verschiedenen Datenaugmentierungsmethoden, einschließlich fotometrischer, geometrischer und KI-generierter Veränderungen.
Zum Seitenanfang