eprintid: 13190
rev_number: 4
eprint_status: archive
userid: 1
dir: disk0/00/01/31/90
datestamp: 2012-03-22 14:55:53
lastmod: 2014-04-03 23:53:48
status_changed: 2012-08-15 09:05:04
type: doctoralThesis
metadata_visibility: show
creators_name: Illes-Seifert, Timea Monika
title: Justified test foci definition an empirical approach
title_de: Systematische Auswahl des Testfocus ein empirischer Ansatz
ispublished: pub
subjects: 004
divisions: 110300
adv_faculty: af-11
keywords: Softwaretest , Testfokussoftware testing , test focus
abstract: Since complete testing is not possible, testers have to focus their effort on those parts of the software which they expect to have defects, the test foci. Despite the crucial importance of a systematic and justified definition of the test foci, this task is not well established in practice. Usually, testing resources are uniformly distributed among all parts of the software. A risk of this approach is that parts which contain defects are not sufficiently tested, whereas areas that do not contain defects attain too much consideration. In this thesis, a systematic approach is introduced that allows testers to make justified decisions on the test foci. For this purpose, structural as well as historical characteristics of the software’s past releases are analysed visually and statistically in order to find indicators for the software’s defects. Structural characteristics refer to the internal structure of the software. This thesis concentrates on the analysis of bad software characteristics, also known as “bad smells”. Historical characteristics considered in this thesis are the software’s change history and the software’s age. Simple and combined analyses of defect variance are introduced in order to determine indicators for defects in software. For this purpose, the defect variance analysis diagram is used to explore the relationship between the software’s characteristics and its faultiness visually. Then, statistical procedures are applied in order to determine whether the results obtained visually are statistically significant.  The approach is validated in the context of open source development as well as in an industrial setting. For this purpose, seven open source programs as well as several releases of a commercial program are analysed. Thus, the thesis increases the empirical body of knowledge concerning the empirical validation of indicators for defects in software. The results show that there is a subset of bad smells that are well suited as indicators for defects in software. A good indicator in most of all analysed programs is the “God Class” bad smell. Among the historical characteristics analysed in the industrial context, the number of distinct authors as well as the number of changes performed to a file proved to be useful indicators for defects in software. 
abstract_translated_text: Da vollständiges Testen nicht möglich ist, müssen Tester ihre Testaktivitäten auf die Bereiche der Software fokussieren, in denen sie Fehler erwarten. Diese Bereiche bilden den Testfokus. Obwohl ein systematischer und auf Fakten basierender Ansatz bei der Auswahl des Testfokus von herausragender Bedeutung ist, hat sich diese Vorgehensweise in der Praxis nicht etabliert. Vielmehr werden die Testaufwände gleichmäßig auf die zu testenden Software verteilt. Das Risiko einer solchen Vorgehensweise besteht darin, dass Bereiche der Software, die tatsächlich Fehler enthalten, zu wenig getestet werden, wohingegen Bereiche, die keine Fehler aufweisen, zu viele Testressourcen verbrauchen. In dieser Doktorarbeit wird ein Ansatz vorgestellt, der eine systematische und empirisch begründete Auswahl des Testfokus ermöglicht. Um Indikatoren für Fehler in der Software zu finden, werden unterschiedliche Merkmale der Vor-gängerversionen der zu testenden Software untersucht. Dabei werden strukturelle und historische Merkmale betrachtet. Strukturelle Merkmale beziehen sich auf den internen Aufbau der Software. Einen besonderen Schwerpunkt dieser Arbeit bildet die Analyse von schlechten Struktureigenschaften, den sogenannten „Bad Smells“. Historische Merkmale umfassen die Änderungshistorie sowie das Alter der Software. Als Bestandteil des empirischen Ansatzes zur Testfokusauswahl werden einfache und kombinierte Analysen der Fehlervarianz eingeführt. Dabei wird zuerst das Fehlervarianz-Analyse-Diagramm verwendet, um die Beziehung zwischen unterschiedlichen Merkmalen der Software und der Fehler visuell darzustellen. Anschließend werden statistische Verfahren angewendet, um die statistische Signifikanz der visuell erzielten Ergebnisse zu ermitteln. Ein wesentlicher Bestandteil dieser Arbeit stellt die umfassende Validierung des Ansatzes dar. Hierfür wurden empirische Studien zum einen im Bereich der Open Source Softwareentwicklung und zum anderen in einem industriellen Kontext durchgeführt. Somit trägt diese Arbeit zur Anreicherung der Wissensbasis über empirisch validierte Indikatoren für Fehler in Software bei. Die Ergebnisse der empirischen Studien zeigen, dass eine Teilmenge der untersuchten Bad Smells als Indikatoren für Fehler geeignet ist. Dabei erwies sich das „Gottklasse“ Bad Smell in allen untersuchten Softwareprogrammen als guter Indikator für Fehler. Unter den historischen Merkmalen haben sich die Anzahl der durchgeführten Änderungen sowie die Anzahl unterschiedlicher Autoren, die Änderungen durchgeführt haben, als die besten Indikatoren für Fehler erwiesen.  
abstract_translated_lang: eng
date: 2011
date_type: published
id_scheme: DOI
id_number: 10.11588/heidok.00013190
ppn_swb: 1651367108
own_urn: urn:nbn:de:bsz:16-opus-131906
date_accepted: 2011-11-22
advisor: HASH(0x556120a7d278)
language: eng
bibsort: ILLESSEIFEJUSTIFIEDT2011
full_text_status: public
citation:   Illes-Seifert, Timea Monika  (2011) Justified test foci definition an empirical approach.  [Dissertation]     
document_url: https://archiv.ub.uni-heidelberg.de/volltextserver/13190/1/Dissertation_Illes_Seifert.pdf