AI for Health
Thema: Developing an Agentic AI System for Lung Nodule Detection and Malignancy Prediction in Chest CT
DozentIn(en): Georg von Arnim, Roland Eils, Benjamin Wild, Sören Lukassen
Maximale Teilnehmerzahl: 10
Zeitraum/Vorbesprechungstermin: nach Absprache; Das Projekt ist zeitlich flexibel und kann an die individuellen Bedürfnisse der Teilnehmer:innen angepasst werden.
Ort: Digital (A), BIH, Kapelle-Ufer 2 (B)
Kurze inhaltliche Beschreibung:
In diesem Softwareprojekt entwickeln wir ein agentenbasiertes KI-System für die Analyse von 3D-Computertomographie (CT)-Daten der Lunge. Der Schwerpunkt liegt auf der Erkennung von Lung Nodules und der Vorhersage von Malignität. Im Zentrum steht ein LLM-basierter Orchestrator-Agent, der verschiedene spezialisierte Module und Tools koordiniert – beispielsweise für Segmentierung, Nodule Detection oder die Abfrage einer medizinischen Wissensdatenbank. Die Implementierung kann auf verschiedenen Frameworks basieren, darunter MCP (Model Context Protocol), klassische Tool Calls oder Claude Skills. Für die Computer-Vision-Komponenten nutzen wir MONAI, ein spezialisiertes Framework für medizinische Bildanalyse.
Als Datengrundlage stehen zwei etablierte Datensätze zur Verfügung:
- LIDC-IDRI (Lung Image Database Consortium): Ein Referenzdatensatz für Lung Nodules mit 1.018 Fällen, annotiert von vier erfahrenen Thorax-Radiologen. Der Datensatz enthält detaillierte Markierungen von Nodules verschiedener Größen und bildet die Grundlage für die LUNA Challenge. (https://www.cancerimagingarchive.net/collection/lidc-idri/)
- CT-RATE: Über 50.000 rekonstruierte CT-Volumina von mehr als 21.000 Patient:innen mit Radiologieberichten und Multi-Abnormality Labels. (https://huggingface.co/datasets/ibrahimhamamci/CT-RATE)
Inhalte und Lernziele:
- Einführung in agentenbasierte KI-Systeme mit LLM-Orchestrierung
- Entwicklung modularer Tools für medizinische Bildanalyse (Segmentierung, Nodule Detection, Malignancy Prediction)
- Praktische Anwendung von MONAI für 3D-CT-Analyse
- Integration von Wissensdatenbanken und Retrieval-Systemen in den Agenten-Workflow
- Implementierung von Tool Calls, MCP oder Claude Skills für die Agenten-Kommunikation
- Vertiefung in moderne ML-Frameworks wie PyTorch und MONAI
Zusätzlich besteht die Möglichkeit, sich mit spezifischen Interessen oder Ideen einzubringen, die in einem initialen Meeting besprochen und in das Projekt integriert werden können.
Quantitative Aufteilung: (in %)
Praktische Programmierarbeit: 80%
Soft Skills: 20%
Verwendete Programmiersprache(n): Python (>90%), ggf. Javascript für Web-Apps
Schwierigkeitsgrad (Acht Sterne verteilt auf drei Bereiche):
A Programmieren ****
B Biologie/Chemie **
C Projektmanagement **
Erforderliche Vorkenntnisse:
Wichtiger Hinweis: Vorkenntnisse in den folgenden Bereichen sind zwingend erforderlich. Teilnehmer:innen ohne diese Qualifikationen können nicht berücksichtigt werden. Bewerber:innen mit praktischer Erfahrung werden bei der Auswahl bevorzugt.- Erfahrung mit Python-Programmierung
- Grundverständnis von maschinellem Lernen
- Idealerweise Erfahrung mit PyTorch oder anderen DL-Bibliotheken
- Kenntnisse über neuronale Netze und praktische Erfahrung mit Deep Learning
Kontaktadresse, Webseite/Link:
Bei Fragen können Sie uns gerne per E-Mail erreichen:
