Potentiall des nichtüberwachten „Deep-learning“-Verfahrens mit Anwendung der spektralen Clustering-Analyse für Segmentierung der Arthrosonographie-Bilder

25rhk021 10.3205/25rhk021 urn:nbn:de:0183-25rhk0212 Meeting Abstract Potentiall des nichtüberwachten „Deep-learning“-Verfahrens mit Anwendung der spektralen Clustering-Analyse für Segmentierung der Arthrosonographie-Bilder Korendovych Korendovych Viktor V

Göttingen Uniklinik, Klinik für Nephrologie und Rheumatologie, Klinik für Nephrologie und Rheumatologie, Göttingen

author Kaebe Kaebe Sophia S

Göttingen Uniklinik, Klinik für Nephrologie und Rheumatologie, Klinik für Nephrologie und Rheumatologie, Göttingen

author German Medical Science GMS Publishing House

Düsseldorf

610 20250917 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0627 021 Deutsche Gesellschaft für Rheumatologie Deutsche Gesellschaft für Orthopädische Rheumatologie 53. Kongress der Deutschen Gesellschaft für Rheumatologie (DGRh), 39. Jahrestagung der Deutschen Gesellschaft für Orthopädische Rheumatologie (DGORh) Deutscher Rheumatologiekongress 2025 Digitale Rheumatologie Wiesbaden 20250917 20250920 DR.19 TextEinleitung: Die Segmentierung von Sonographie-Bildern ist ein zentraler Bestandteil der medizinischen Bildverarbeitung, da sie eine präzise Analyse und Diagnose von Geweben und Organen ermöglicht. Die Herausforderungen bei der Sonographie-Bildsegmentierung resultieren aus der variierenden Bildqualität, der Notwendigkeit, unterschiedliche Gewebearten zu unterscheiden, sowie der starken Abhängigkeit von der Bildgeometrie und den Artefakten, die durch das Ultraschallverfahren entstehen . In den letzten Jahren haben fortschrittliche Methoden der künstlichen Intelligenz, insbesondere Convolutional Neural Networks (CNNs), vielversprechende Ergebnisse in der Verbesserung der Segmentierungsgenauigkeit erzielt . In unserer Studie haben wir die nichtüberwachte Segmentierung der Arthrosonographie-Bilder mit spektralem Clustering und Anwendung des Vision Transformers durchgeführt und die Qualität der Segmentierung eingeschätzt.Methoden: Arthrosonographien wurden mit dem Sonographie-Gerät General Electric LOGIQ E10 durchgeführt. Die Bilder wurden im DICOM-Format gespeichert und exportiert. Anschließend wurden die DICOM-Bilder ins jpeg-Format umgewandelt, sodass die patientenbezogenen und technischen Daten nicht berücksichtigt wurden. Die Bilder der MCP-, PIP- und MTP-Gelenke sowie wurden anschließend kopiert und nach den OMERACT-Kriterien entsprechend der Aktivitätsscore einsortiert. Nur die Bilder im B-Mode ohne Anwendung des Dopplersignals wurden analysiert. Die Sonographie-Bilder mit unzureichender Qualität wurden ausgeschlossen. Um die gleiche Quantität der Bilder pro Gruppe zu erreichen, wurde die Anzahl der Bilder pro Gruppe an die kleinste Gruppe angepasst. Daraufhin haben wir ein Deep-learning Verfahren mit Vision Transformer und spektraler Segmentierung der Bilder angewendet. Nach der Bildersegmentation erfolgte die Einschätzung der Qualität des Verfahrens mit Analyse der Richtigkeit der Segmentierung und deren Homogenität bezüglich der Knochenstruktur, der Grenzen zwischen beiden Knochen eines Gelenkes voneinander, der Grenzen zwischen den Knochen und den Weichteilen, Erkennung der Gelenkkapsel und der Synovialitis. Die Qualität der Segmentierung wurde semiquantitativ entweder mit 0 (wenig Übereinstimmung) 0,5 (maßige Übereinstimmung) oder mit 1,0 (höhere Übereinstimmung) pro Merkmal in jedem Bild eingeschätzt, somit lag die maximale Qualität pro Bild bei 5 Punkten.Ergebnisse: 9.897 Sonographie-Bilder wurden aus dem Sono-Gerät extrahiert. 4.660 Bilder im B-Modus ohne Doppleraktivität wurden gespeichert. 1.504 Sonographie-Bilder mit MCP-, PIP- und MTP-Gelenken wurden für die weitere Analyse eingeschlossen, davon: 912 Bilder ohne Hinweise auf Synovialitis, 419 Bilder mit Synovialitis Grad 1, 112 Bilder mit Synovialitis Grad 2 und 61 Bilder mit Synovialitis Grad 3. Die Sonographie-Bilder mit Doppleraktivitätsbestimmung wurden aus der Studie ausgeschlossen. Mittels Randomisierung und Löschen der Extra-Bilder wurde die Anzahl der Bilder pro Gruppe auf 61 reduziert. Das Modell für die Segmentierung wurde anhand von 244 Bildern (61 Bilder pro Gruppe, insgesamt 4 Gruppen) trainiert. Die Segmentierung erfolgte mittels sechs Clustern pro Bild (Abbildung 1 ). Die Bilder in jeder Gruppe wurden für die Qualität der Segmentierung analysiert, mit maximalem Wert von 61 Punkten pro Merkmal (Tabelle 1 ). Die Abgrenzung zwischen den Knochen selber sowie zwischen den Knochen und den Weichteilen funktioniert relativ gut bei allen Synovialitis-Graden. Die Homogenität der Knochenstruktur konnte mit dem aktuellen Modell nur mit mäßigem Erfolg erkannt werden und zeigte keinen signifikanten Unterschied zwischen den Gruppen. Die Segmentierung der Synovialitis fiel signifikant unterschiedlich zugunsten der Synovialitis des dritten Grades aus. Die Gelenkkapsererkennung konnte nur in Einzelfällen erfolgen.Schlussfolgerung: Die Segmentierung der Sonographie-Bilder mittels nichtüberwachter „deep-learning“ spektraler Clustering-Analyse kann einen gewissen Erfolg für Nachweis der Grenzen zwischen den Knochen eines Gelenkes, sowie zwischen den Knochen und Weichteilen und Abgrenzung der Synovialitis verzeichnen. Umbaugh SE 2023 Digital image processing and analysis: computer vision and image analysis Umbaugh SE. Digital image processing and analysis: computer vision and image analysis. CRC Press; 2023. Kayalibay B Jensen G van der Smagt P CNN-based segmentation of medical imaging data arXiv 2017 Kayalibay B, Jensen G, van der Smagt P. CNN-based segmentation of medical imaging data. 2017. arXiv preprint. DOI: 10.48550/arXiv.1701.03056 http://dx.doi.org/10.48550/arXiv.1701.03056 Tmenova O 2024 Deep Spectral Methods for Unsupervised Ultrasound Image Interpretation. International Conference on Medical Image Computing and Computer-Assisted Intervention Tmenova O, et al. Deep Spectral Methods for Unsupervised Ultrasound Image Interpretation.International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland; 2024. D'Agostino MA Terslev L Aegerter P Backhaus M Balint P Bruyn GA Filippucci E Grassi W Iagnocco A Jousse-Joulin S Kane D Naredo E Schmidt W Szkudlarek M Conaghan PG Wakefield RJ Scoring ultrasound synovitis in rheumatoid arthritis: a EULAR-OMERACT ultrasound taskforce-Part 1: definition and development of a standardised, consensus-based scoring system 2017 RMD Open e000428 D'Agostino MA, Terslev L, Aegerter P, Backhaus M, Balint P, Bruyn GA, Filippucci E, Grassi W, Iagnocco A, Jousse-Joulin S, Kane D, Naredo E, Schmidt W, Szkudlarek M, Conaghan PG, Wakefield RJ. Scoring ultrasound synovitis in rheumatoid arthritis: a EULAR-OMERACT ultrasound taskforce-Part 1: definition and development of a standardised, consensus-based scoring system. RMD Open. 2017 Jul 11;3(1):e000428. DOI: 10.1136/rmdopen-2016-000428 http://dx.doi.org/10.1136/rmdopen-2016-000428 11

1 1 Abbildung 1: Beispiel der Anwendung des nichtüberwachten „deep-learning“ Verfahrens für Bildsegementierung 1 0 0