Einführung einer kontinuierlichen Integrationsumgebung und Verbesserung des Test-Frameworks
worked on by: Stefan RossbachOutline
Die Produktion großer Systeme erfordert in der Regel mehr als nur die Kompilierung durch eine IDE. Ab einer gewissen Anzahl von LOCs ist dieses durch eine IDE auch gar nicht mehr zu bewerkstelligen, so dass zwangsläufig nur die benötigten Teile aus dem Source Code Management System ausgecheckt werden. Hierbei kann es passieren das verschiedene Entwickler verschiedene Stellen in der Codebasis dermaßen ändern, dass der Code zwar möglicherweise sich in der eigenen IDE kompilieren lässt, spätestens jedoch bei der Produktion des Gesamtsystems es zu Fehlern kommt.
Um solche Probleme möglichst früh zu erkennen sollten Systeme kontinuierlich produziert werden. Hierfür stehen eine Reihe vorgefertigter Produkte zur Verfügung die man als CI Server bezeichnet.
Erfolgreich produzierte Komponenten eines Systems sagen jedoch weder etwas über deren Defektfreiheit noch über ihr Zusammenspiel mit anderen Komponenten des Systems aus. Dafür werden Testfälle benötigt die die Funktionalität der einzelnen Komponenten und deren Migration in das System testen.
Hierfür stehen je nach Programmiersprache diverse Frameworks bereit die es erlauben schnelle Tests für Komponenten in Isolation zu schreiben. Desweiteren wurden speziell für Saros Testframeworks entwickelt mit deren Hilfe es möglich ist Migrationstests zu schreiben.
Durch diese Unterstützung ist es möglich testgetriebenen Entwicklung zu betreiben. Hierbei werden zuerst die Tests für eine Spezifikation geschrieben und im Anschluss wird diese durch die Unterstützung der im Vorfeld geschriebenen Tests implementiert.
Thesis Requirements
Installation und Einführung eines Continuous Integration Server in den Saros Entwicklungsprozess.
Automatisierte Regression der JUNIT und STF Tests sowie eine Unterstützung für die Testlink Datenbank zur automatischen Ausführen von Testfällen im aktuellen Testplan.
Erzeugung von diversen Metriken z.B Code Coverage und statische Code Analyse.
Verbesserung der Code Coverage und erstellen neuer Testfälle für die Saros Funktionalität.
Milestones and Planning
| Milestone no. | Past |  |
CW | Goals  |
accomplished  |
|---|---|---|---|---|---|
| 1 |  |
- | CW 21 | refactor the package layout for STF and test cases | accomplished |
| 2 |  |
- | CW 22 | setup eclipse1 and eclipse 2 | accomplished |
| 2 | |
- | CW 22 | undeploy hudson and deploy jenkins to tomcat | accomplished |
| 3 | |
- | CW 23 | run STF via Jenkins | accomplished |
| 3 | |
- | CW 24 | script polishing for STF runs via Jenkins | in progress |
| 4 | |
- | CW 24 | creation of presentation slides | in progress |
| 5 | |
- | CW 24 | integration of Testlink into CI | in progress |
| 6 | |
- | CW 24 | scripts and Jenkins jobs polishing | in progress |
Weekly Status
Week 1 (CW 21)
Activities
- moved junit test cases to a new folder
- moved stf test cases to a new folder and changed the package names
- refactored the stf client implementation
- refactored the stf server implementation
Results
- commited changes to the SCM
Next Steps
- administer the saros vm cluster
Problems
- the stf client was full of hardcoded strings, e.g usernames, password etc.
Week 2 (CW 22)
Activities
- refactored stf
- created scripts for STF regression via Jenkins
Results
- scripts needs polishing e.g better cleanup and error recovery
Problems
- the stf can produce random results for each test