smartXR Lab

Mon, 01 Jan 0001 00:00:00 +0000

Das smartXR Lab stattet unsere Forschung für die Patientenversorgung aus. Wir verfügen über folgende Geräte:

Structured-Light-3D-Scanner (Artec Leo und AutoScan Inspec)
3D-Drucker (Creality-SLA-Drucker)
Mixed-/Augmented-Reality-Brillen (HTC VIVE Pro 1 & 2, Varjo XR-3, Meta Quest 3, Microsoft HoloLens 2 und Apple Vision Pro)
Elektromagnetische Trackingsysteme (NDI Aurora und NDI 3D Guidance trakSTAR)
Optische Trackingsysteme (OptiTrack mit PrimeX41-Kameras und NDI Polaris Vega)
Ultraschallgerät (GE Healthcare Logiq E10)
Phantome (Karstadt-Modelle und kraniomaxillofaziales Operationsphantom)

Das Labor wurde beim Symposium des Zentrums für virtuelle und erweiterte Realität in der Medizin (ZvRM) vorgestellt. Vorstellung auf YouTube ansehen.

Structured-Light-3D-Scanner

Unsere Structured-Light-Scanner sind der Artec Leo und der AutoScan Inspec. Der Artec Leo ist ein Handscanner, einfach zu bedienen und echtzeitfähig, mit dem sich detaillierte 3D-Modelle schnell und hochpräzise erfassen lassen. Er eignet sich gut zum Scannen großer Objekte wie Gliedmaßen oder ganzer Räume.

Der AutoScan Inspec ist dagegen ein Tischscanner für industrielle Qualitätskontrolle und Inspektion. Mit seiner hochpräzisen Scantechnik ermöglicht er genaue Vermessung und Analyse komplexer und kleiner chirurgischer Instrumente wie Pinzetten, Scheren oder Klingen.

Beide Scanner arbeiten mit Structured-Light-Technologie und sind dadurch sicher am Menschen einsetzbar. Zusätzlich steht 3D-Scanspray für stark reflektierende und glänzende Objekte bereit, um die Qualität der Oberflächenscans zu optimieren.

Von links nach rechts: AutoScan Inspec, Artec Leo und 3D-Scanspray von AESUB

3D-Drucker

Unser Resin-Drucker ist ein Stereolithografie-Drucker (SLA) von Creality, der präzise und detailreiche 3D-Modelle druckt.

Stereolithografie ist ein additives Fertigungsverfahren, das Resin mit UV-Licht selektiv Schicht für Schicht aushärtet und Teile mit kleinen Strukturen, engen Toleranzen und glatten Oberflächen drucken kann. Mit diesem Drucker fertigen wir Repliken unserer per Structured-Light-Scan digitalisierten Objekte, CTA/MRT-basierte Oberflächenmodelle, manuell erstellte Schnittführungen oder KI-generierte patientenspezifische Implantate. So setzen wir unsere Ideen präzise und innerhalb weniger Tage um. Für noch schnelleres Prototyping planen wir zusätzlich die dauerhafte Installation eines FDM-Druckers.

Creality-3D-Drucker, sein Becken und die Druckplatte

Mixed- und Augmented-Reality-Brillen

Unser smartXR Lab bietet eine Reihe von Mixed-Reality-Geräten, jedes mit eigenen Fähigkeiten, mit Schwerpunkt auf Multi-User-Anwendungen. Mixed Reality verschmilzt reale und virtuelle Welt über zwei Ansätze: immersives Optical-Pass-Through (Mixed Reality) und Optical-See-Through (Augmented Reality). Durch die Kombination realer und virtueller Elemente geht Mixed Reality über die Möglichkeiten von Virtual Reality hinaus.

Unser Labor verfügt über mehrere HTC VIVE Pro 1 und 2, die Basisstationen mit Infrarotscannern zum Nutzertracking verwenden, während das Head-Mounted Display (HMD) die Umgebung erfasst. Diese Geräte erlauben es, die gefilmte und registrierte Realität in die virtuelle Welt einzublenden. Das High-End-Mixed-Reality-Gerät Varjo XR-3 benötigt keine Basisstation und bringt zudem Handtracking mit.

Neben den HTC VIVE haben wir 16 Meta-Quest-3-Mixed-Reality-Headsets angeschafft: vielseitig, kabellos und mit hervorragendem Preis-Leistungs-Verhältnis ideal für Entwicklung und Forschung im klinischen Umfeld.

Zusätzlich besitzen wir 10 HoloLens 2 (HL2) mit Optical-See-Through-Funktion. Mit der HL2 erleben Nutzerinnen und Nutzer kaum das für Mixed-Reality-Geräte typische Unwohlsein, da die reale Welt weiterhin mit den eigenen Augen wahrnehmbar bleibt. Die kabellosen Geräte bieten Handtracking, Simultaneous Localization and Mapping und einen Onboard-Computer.

Unsere neueste Anschaffung sind zwei Apple Vision Pro. Damit entwickeln wir für Android-, Microsoft- und Apple-basierte Geräte.

Von links nach rechts: eine HL2, die das Innere des Patienten visualisiert, die HL2, HTC VIVE Pro 2 und die Varjo XR-3

Elektromagnetische Trackingsysteme (EMT)

Unser smartXR Lab bietet die Systeme NDI Aurora und 3D Guidance trakSTAR, die ein elektromagnetisches Feld erzeugen und Veränderungen in diesem Feld messen und darüber 3D-Tracking von Geräten ermöglichen. Aurora und 3D Guidance trakSTAR verfolgen in Echtzeit Mikrosensoren, die in eine Vielzahl medizinischer Instrumente eingebettet sind (Ultraschallsonden, Endoskope, Katheter, Führungsdrähte, bis hin zur Nadelspitze) und ermöglichen so präzises Instrumententracking durch komplexe anatomische Strukturen. In Bildgeführte-Chirurgie- oder Interventionssysteme von Herstellern integriert, bildet die Aurora das Bindeglied zwischen Patientenbilddaten und dem 3D-Raum: Sie lokalisiert unmittelbar die relativen Positionen und Orientierungen der Instrumente im Operationsfeld. Wir planen, die Geräte mit unseren Mixed- und Augmented-Reality-Geräten zu kombinieren, sie regelmäßig zur Bewertung eigenständiger Trackingsysteme einzusetzen und unsere Forschung eng mit aktuellen Klinikstandards zu verzahnen.

Beide NDI-EMT-Systeme und eine Übersicht trackbarer Sonden für die Forschung

Optische Trackingsysteme (OTS)

Für Motion Capture in Mixed Reality nutzen wir die NDI Polaris Vega und ein OptiTrack-System mit den neuesten PrimeX41-Kameras. Diese Systeme verfolgen sphärische, infrarotreflektierende Marker per Triangulation zwischen mindestens zwei Kameras. Die NDI Polaris Vega ist ein portables System mit hoher Genauigkeit. Die PrimeX41-Kameras des OptiTrack-Systems erfassen Bewegungen live in unserem smartXR Lab mit Submillimeter-Genauigkeit. So fließt reale Bewegung in medizinische Simulationen, interaktive Anwendungen und Bewegungsanalysen ein.

OptiTrack-System links, rechts ein trackbares chirurgisches Instrument und die NDI Polaris Vega

Ultraschallgerät

Der GE Healthcare Ultraschallscanner Logiq E10 ist das Ultraschallgerät des Labors. Seine API wird die Integration mit unseren KI- und Mixed-Reality-Lösungen sowie unseren Trackingsystemen ermöglichen und so interaktive Visualisierung und Echtzeitführung unterstützen. Mit einem elektromagnetischen Trackingsystem für die Ultraschallsonde ausgestattet, liefert der Logiq E10 präzise Bildgebung während der Eingriffe. Seine begrenzten 3D-Scan- und CT/MRT-Fusionsfähigkeiten wollen wir in kommenden Projekten erweitern, ebenso Nadeltracking und weitere Funktionen.

Links der Logiq E10 mit Farbdoppler zur Visualisierung des Blutflusses in der Pfortader, rechts oben der elektromagnetische Feldgenerator und unten eine Übersicht der Ultraschallsonden

Übungsphantome

An unseren Phantomen entwickeln, trainieren und demonstrieren wir unsere medizinische Mixed Reality. Mit unseren 3D-Druckern können wir (Miniatur-)Modelle für unsere Forschung herstellen. Häufiger nutzen wir unsere großformatigen Karstadt-Modelle Ms. und Mr. White sowie unser Phantom für kraniomaxillofaziale Chirurgie von GTSimulators.

Sowohl Mr. White als auch unser Operationsphantom wurden hochdosierten CT-Scans unterzogen, sodass ihre Bilddaten in unseren Mixed-Reality-Anwendungen nutzbar sind. Wir wollen den Phantombestand erweitern, insbesondere für Ultraschallanwendungen, und die Phantome mit unseren Mixed-Reality-Geräten und Trackingsystemen kombinieren.

Links unser chirurgisches Simulationsphantom, in der Mitte Mr. White mit der HL2, rechts ein AR-erweiterter Mr. White

AI-guided Therapies | IKIM MML