6LP-Informationstheorie

Hochschule/Fachbereich/Institut

FU Berlin, Fachbereich Mathematik und Informatik

Veranstaltungsnummer

tba

Studiengang

Bachelor Informatik, Informatik Lehramt, Bioinformatik

Art

Pflichtfach

Teilnehmerzahl

40-50

Sprache

Deutsch/Englisch

Häufigkeit

Jedes SS

Aufwand

6 LP

Inhalte:

•              Selbstinformation, Entropie, bedingte Entropie, Eigenschaften konvexer Mengen, Satz von Caratheodory

•              Eigenschaften, fundamentale Grenzen und Ungleichungen (Jensen-, Log-sum-, Data processing-),

•              Kanäle und Transinformation, KL-Distanz, Cross-Entropie, Total Variation Norm, Eigenschaften und Beziehungen

•              Pinsker-, Cszisar-Körner-Ungleichung

•              Hypothesen-Tests, Fano-Ungleichung, Neyman-Pearson, optimale Tests

•              Typicality, Asymtoptic Equipartion Property, Methode der Types

•              Quellentheorem, Slepian Wolf, Konstruktion von optimalen Quellenkodes

•              Kanaltheorem, Kanalkodierung, Kapazität, Random Coding

•              Eigenschaften von Kodes (Hamming-Distanz, Fehlerkorrektur, ...), algebraische Ansätze mit endlichen Körpern

•              Rate-Distortion Theory

Qualifikationsziele:

Die Studierenden …

… erlernen Grundbegriffe wie Informationsgehalt von Quellen, Informationstransfer von Kanälen und deren Verankerung in der W-Theorie und im maschinelles Lernen

… erkennen grundlegende Grenzen und Beziehungen zwischen den Größen und können diese auf relevante Probleme der mathematischen Statistik (z.B. Hypothesentests) anwenden

… verstehen elementare Prinzipien der Kompression von Quellen, der Kanalkodierung, der Quantisierung

… erlernen Konstruktion von optimalen Quellenkodes und Kanalkodes mit algebraischen Mitteln

… können die erlernten Prinzipien auf praktische Fragestellungen in Kommunikationsnetzen, Datenschutz usw. anwenden

Lehr- und Lernformen

Umfang

Material

Formen aktiver Teilnahme

Vorlesung

2

Vorlesungsskript, Videos, Folien

Teilnahme wird empfohlen

Übung

2

Schriftliche Bearbeitung von Übungsaufgaben

Moderation einer Übung oder eines Teils davon

Teilnahmepflicht

Prüfungsart

Klausur (90 Minuten); mündliche Prüfung

5LP-Cybersicherheit und KI II: Erklärbarkeit

Hochschule/Fachbereich/Institut

FU Berlin, Fachbereich Mathematik und Informatik

Veranstaltungsnummer

19333101/19333102

Studiengang

Master Informatik

Art

Wahlpflichtfach

Teilnehmerzahl

25-40

Sprache

Deutsch/Englisch

Häufigkeit

Jedes 2. SS

Aufwand

5 LP

Inhalte:

Cybersecurity and AI ist ein viersemestriger Vorlesungszyklus, der alle wesentlichen Aspekte von Cybersecurity und KI abdeckt. Dieser Kurs vermittelt die Grundlagen von Erklärbarkeit von KI. Grundsätzlich ist es möglich, den Vorlesungszyklus zu jedem Semester zu beginnen. Das Curriculum ist:

•              Einführung, Motivation, Definitionen, Taxonomie und Annahmen, kurzer Überblick über die unterschiedliche Erklärungsansätze, Darstellung von Ergebnissen, Saliency Maps, Merkmalsextraktion, erste Anwendungen

•              Blackbox (Modell-agnostische) Erklärungen: Additive Feature Attribution (Methode und Eigenschaften), LIME und andere Varianten, SHAP, Shapley-Werte, von der lokalen Erklärung zum globalen Verständnis, Nachbarschaftskonstruktion (On-Manifold Erklärungen), Risiken von zufälligen Störungen

•              White-Box (Modell-spezifische) Erläuterungen: LRP, DTD, Integrated Gradient, DeepLIFT, Grad-CAM, Counterfactuals

•              Informationstheoretische Erklärungsmethoden: Grundbegriffe (Synergie, Exklusivität usw.), Information Decomposition, Graph-Repräsentation, Kausalität, Theorie des repräsentativen Lernens

•              Anwendung und Implementierung: Debugging, Modelextraktion, Herausforderungen, Tradeoffs (z.B. Erklärbarkeit vs. Datenschutz), Angriffe auf Erklärbarkeit

Lehr- und Lernformen

Umfang

Material

Formen aktiver Teilnahme

Vorlesung

2

Vorlesungsskript, Videos, Folien

Teilnahme wird empfohlen

Übung

2

Schriftliche Bearbeitung von Übungsaufgaben, vor allem Implementierung in Python

Moderation einer Übung oder eines Teils davon

Teilnahmepflicht

Prüfungsart

mündliche Prüfung

5LP-Cybersicherheit und KI IV: Robustheit und Angriffe

Hochschule/Fachbereich/Institut

FU Berlin, Fachbereich Mathematik und Informatik

Veranstaltungsnummer

19335301/19335302

Studiengang

Master Informatik

Art

Wahlpflichtfach

Teilnehmerzahl

25-40

Sprache

Deutsch/Englisch

Häufigkeit

Jedes 2. SS

Aufwand

5 LP

Inhalte:

Cybersecurity and AI ist ein viersemestriger Vorlesungszyklus, der alle wesentlichen Aspekte von Cybersecurity und KI abdeckt. Dieser Kurs vermittelt die Grundlagen für Angriffe auf- und mit KI. Grundsätzlich ist es möglich, den Vorlesungszyklus zu jedem Semester zu beginnen. Das Curriculum ist:

•              Einführung: KI & Cybersicherheit, Bedrohungsmodell, Bewertungsmetriken, Beispiele für Angriffe

•              Robuste KI: Definition und Grenzen des Deep Learning, Stärkung von Robustheit, robuste Optimierungsmethoden

•              Adversarial ML: Verteidigungsmechanismen, Adversarial-Training, Übertragbarkeit, Real-World Implikationen

•              Generative KI: Generative Modelle, Deepfakes

•              Federated ML: Sicherheitsherausforderungen, sichere Aggregationsprotokolle

Lehr- und Lernformen

Umfang

Material

Formen aktiver Teilnahme

Vorlesung

2

Vorlesungsskript, Videos, Folien

Teilnahme wird empfohlen

Übung

2

Schriftliche Bearbeitung von Übungsaufgaben, vor allem Implementierung in Python

Moderation einer Übung oder eines Teils davon

Teilnahmepflicht

Prüfungsart

mündliche Prüfung

5LP-Informationstheoretische Grundlagen von Datenschutz und Identität (bis SS 2022)

Hochschule/Fachbereich/Institut

FU Berlin, Fachbereich Mathematik und Informatik

Veranstaltungsnummer

19324501/19324502

Studiengang

Master Informatik

Art

Wahlpflichtfach

Teilnehmerzahl

25-40

Sprache

Deutsch/Englisch

Häufigkeit

Jedes SS

Aufwand

5 LP

Inhalte:

•              Introduction: Access control systems and biometrics, information-theoretic tools

•              Secret sharing with privacy constraints and impostors

•              Biometric authentication, zero leakage systems, generated and chosen secrets

•              Biometric identification, secret binding

•              Practical constraints, fuzzy commitment, limits

•              Fuzzy vault scheme, limits

Lehr- und Lernformen

Umfang

Material

Formen aktiver Teilnahme

Vorlesung

2

Vorlesungsskript, Videos, Folien

Teilnahme wird empfohlen

Übung

2

Schriftliche Bearbeitung von Übungsaufgaben

Moderation einer Übung oder eines Teils davon

Teilnahmepflicht

Prüfungsart

mündliche Prüfung