V+Ü Empirische Bewertung in der Informatik SS2006

Dies ist die Veranstaltungsseite zur Vorlesung und Übung "Empirische Bewertung in der Informatik".

Beschreibung

Die Informatik entwickelt als Ingenieurwissenschaft ständig neue Artefakte wie beispielsweise Methoden, Sprachen/Notationen oder konkrete Softwaresysteme. Die Funktionstüchtigkeit und Wirksamkeit dieser Lösungen für den angepeilten Zweck ist in aller Regel nicht offensichtlich -- schon gar nicht im Vergleich zu anderen, schon vorhandenen Lösungen für den selben oder einen ähnlichen Zweck.

Aus diesem Grund zählen Methoden zur Bewertung der Tauglichkeit solcher Lösungen zum wichtigen Grundinstrumentarium der Informatik -- eine Tatsache, die sich leider erst allmählich in den Köpfen festsetzt. Bewertung wird benötigt bei den Schöpfern neuer Lösungen (also in der Forschung und Entwicklung), aber ebenso bei den Anwendern, denn diese müssen den zu erwartenden Nutzen spezifisch für ihre Situation abschätzen. Solche Bewertungen müssen fast immer empirisch (also auf Beobachtung basierend) durchgeführt werden, denn für analytisches (also auf reinem Nachdenken basierendes) Vorgehen sind die Fragestellungen fast immer viel zu kompliziert.

Diese Veranstaltung stellt die wichtigsten Arten empirischer Bewertungsverfahren vor und erklärt, wo diese eingesetzt wurden (beispielhaft) und eingesetzt werden sollten, wie man sie einsetzt und was dabei zu beachten ist.


Organisatorisches

Veranstalter

Voraussetzungen/Zielgruppe, Einordnung, Leistungpunkte etc.

Siehe den Eintrag im KVV.

Anmeldung

Alle Teilnehmer müssen Mitglied in der Mailingliste SE_V_EMPIR sein. (Dort bitte auch den vollen Vor- und Nachnamen angeben.) Über diese Liste werden wichtige Informationen und Ankündigungen versendet. Jede/r bitte selbst dort eintragen.

Termine

Prüfungsmodalitäten

Die notwendigen Kriterien für die Vergabe des Leistungsnachweises zu dieser Veranstaltung sind


Inhalt

Stoffplan

Die Vorlesung besteht aus drei Abschnitten:

Die einzelnen Vorlesungen:
  1. Einführung - Die Rolle der Empirie:
    • Begriff "Empirische Bewertung"; Theorie, Konstruktion, Empirie; Status der Empirie in der Informatik
    • Hypothetische Anwendungsbeispiele
    • Qualitätskriterien: Glaubwürdigkeit, Relevanz
    • Hinweis: Skalentypen
    • Vorbereitung für die Übung: Installation von R (Version 2.2.1, siehe bei r-project.org). Als Bedienhilfe sehr empfohlen ist XEmacs mit ESS: Installationshinweise
  2. Die wissenschaftliche Methode:
  3. Wie man mit Statistik lügt:
    • Was ist überhaupt gemeint? Was genau? Wie können die das wissen? Was wird nicht gesagt?
    • Verzerrt das Maß, die bildliche Darstellung oder die Stichprobenauswahl das Ergebnis? etc.
    • Material: Buch zum Thema, Studie über Alternativ-Tinten, Artikel mit Argumenten gegen das Hypothesentesten: "The earth is round (p < 0.05)".
    • Übung: R üben, Teil 1 (PDF, Daten)

  4. Vorgehen bei Empirie:
    • Schritte: Ziel und Frage formulieren; Methode auswählen und Studie entwerfen; Beobachtungssituation herstellen; Daten sammeln; Beobachtungen auswerten; Ergebnisse interpretieren.
    • Beispiel: N-Versions-Programmierung (Artikel, interessanter Nachklapp)
    • Übung: R üben, Teil 2 (PDF ,MocFieHer02)
  5. Umfrage:
  6. Kontrolliertes Experiment:
    • Beispiel 1: Flussdiagramme versus Pseudocode (Artikel, kritisierte frühere Arbeit)
    • Methode: Kontrolle und Konstanz; Probleme beim Erreichen von Konstanz; Techniken zum Erreichen von Konstanz
    • Beispiel 2: Nutzen von Entwurfsmuster-Dokumentation (Artikel)
    • Übung: Fragebogen begutachten und Feedback geben; Fragebogen überarbeiten (PDF)
  7. Quasiexperiment:
    • Beispiel 1: Vergleich von 7 Programmiersprachen ( Artikel, detaillierter technischer Bericht)
    • Methode: wie kontrolliertes Experiment, aber mit unvollständiger Kontrolle (meist: keine Randomisierung)
    • Beispiel 2: Wirkung von Arbeitsplatzbedingungen auf die Produktivität (Artikel)
    • Übung: Fragebogen begutachten und Feedback geben; Fragebogen überarbeiten (Fortsetzung)
  8. Benchmarking:
    • Beispiel 1: SPEC CPU2000 (Artikel)
    • Benchmark = Maß + Aufgabe + Vergleich; Probleme (Kosten, Aufgabenauswahl, Überanpassung); Qualitätsmerkmale (Zugänglichkeit, Aufwand, Klarheit, Portierbarkeit, Skalierbarkeit, Relevanz) (Artikel)
    • Beispiel 2: TREC (Artikel)
    • Übung: Umfrageteilnehmer finden/anwerben (PDF)

  9. Grundbegriffe der Datenanalyse:
  10. Techniken der Datenanalyse:
    • Stichproben und Grundgesamtheiten; Mittelwert; Variabilität; Vergleich von Stichproben: Signifikanztest, Vertrauensbereich; Bootstrap; Beziehungen zwischen Variablen: Plots, lineare Modelle, Korrelation, lokale Modelle (loess)
    • Übung: Umfrage auswerten (PDF)

  11. Fallstudie:
    • Beispiel 1: Eingewöhnung in ein Software-Team (Artikel)
    • Methode: Eigenarten von Fallstudien; Was ist der 'Fall'?; Nutzung vieler Datenarten; Triangulierung; Gültigkeitsdimensionen
    • Beispiel 2: Ein unkonventionelles Verfahren für Anforderungs-Inspektionen (Artikel)
    • Übung: Umfrage auswerten (Fortsetzung)
  12. Sonstige Methoden:
    • Die Methodenlandschaft; Simulation; Software-Archäologie (Studien auf Basis existierender Datenbestände); Literaturstudie;
    • Beispiel Simulation: Skalierung von P2P-File-Sharing (Artikel)
    • Beispiel Software-Archäologie: Code-Verfall (Artikel)
    • Beispiel Literaturstudie: Ein Modell der Effektivität von Durchsichten (Artikel)
    • Übung: Umfrageergebnisse präsentieren (PDF)

  13. Zusammenfassung und Tipps:
    • Rolle der Empirie; Qualitätskriterien; Generische Methode; Vor- und Nachteile der Methoden; Praktische Hinweise (zur Datenanalyse; zum Schlussfolgern; zur Präsentation); Ausblick
    • Übung: Umfrageergebnisse präsentieren (Fortsetzung)

Ziele der Übung

Anzusprechende Mailinglisten und Interessengruppen der einzelnen Umfragen

In die nachfolgenden Tabelle tragen die einzelnen Gruppen aus der Übung die Mailinglisten und Interessengruppen ein, die sie mit ihrer Umfrage ansprechen möchten. Hierbei gilt, dass jede Zielgruppe (z.B. Mailingliste) nur von einer Gruppe angesprochen werden darf. Wer zuerst einträgt bekommt den Zuschlag! Details hierzu sind dem Übungsblatt 6 zu entnehmen.

Gruppennummer Mailingliste etc.
6 eBay: Marktplatz Deutschland , Marktplatz Österreich , Marktplatz Schweiz ; freenet: Computer - Computerfuntalk , Nachrichten & Politik - Allgemeines , www.sueddeutsche.de - Computer Forum, www.fritz.de - Interaktiv - Games und Multimedia
2 yahoo.de
1 gmane.comp.programming.test-driven-development, gmane.comp.java.junit.user, comp.software.testing, comp.programming.extreme-programming
7 Alle @yahoogroupXXXXs .com: scrumdevelopment, agileprojectmanagement, Agile_Experience_Group, agile-atlanta, embeddedprocess, scrumtoronto, agile-testing, deutschescrum, scrumwikidev
3 Uni Hannover, Uni Münster, Uni Bremen, Uni Oldenburg, Freie Universität Berlin, und andere
8 Universitäten und Fachhochschulen in Berlin, Uni Karlsruhe, Uni Tübingen (es folgen vermutlich noch weitere)
5 Magdeburger Computervisualistik, Dortmunder Informatik, Mainzer Informatik, Münsteraner Informatik, foren auf uni-protokolle.de
4 extremeprogramming@yahoogroups.com comp.programming XpForum@EgroupXXXXs .Com comp.software.extreme-programming

Stärken und Schwächen derzeit

Änderungen von Jahr zu Jahr

Literatur


(Kommentare)

Wenn Sie Anmerkungen oder Vorschläge zu dieser Seite haben, können Sie sie hier (möglichst mit Datum und Name) hinterlassen: