Directly to content
  1. Publishing |
  2. Search |
  3. Browse |
  4. Recent items rss |
  5. Open Access |
  6. Jur. Issues |
  7. DeutschClear Cookie - decide language by browser settings

Justified test foci definition an empirical approach

Illes-Seifert, Timea Monika

German Title: Systematische Auswahl des Testfocus ein empirischer Ansatz

[thumbnail of Dissertation_Illes_Seifert.pdf]
Preview
PDF, English
Download (3MB) | Terms of use

Citation of documents: Please do not cite the URL that is displayed in your browser location input, instead use the DOI, URN or the persistent URL below, as we can guarantee their long-time accessibility.

Abstract

Since complete testing is not possible, testers have to focus their effort on those parts of the software which they expect to have defects, the test foci. Despite the crucial importance of a systematic and justified definition of the test foci, this task is not well established in practice. Usually, testing resources are uniformly distributed among all parts of the software. A risk of this approach is that parts which contain defects are not sufficiently tested, whereas areas that do not contain defects attain too much consideration. In this thesis, a systematic approach is introduced that allows testers to make justified decisions on the test foci. For this purpose, structural as well as historical characteristics of the software’s past releases are analysed visually and statistically in order to find indicators for the software’s defects. Structural characteristics refer to the internal structure of the software. This thesis concentrates on the analysis of bad software characteristics, also known as “bad smells”. Historical characteristics considered in this thesis are the software’s change history and the software’s age. Simple and combined analyses of defect variance are introduced in order to determine indicators for defects in software. For this purpose, the defect variance analysis diagram is used to explore the relationship between the software’s characteristics and its faultiness visually. Then, statistical procedures are applied in order to determine whether the results obtained visually are statistically significant. The approach is validated in the context of open source development as well as in an industrial setting. For this purpose, seven open source programs as well as several releases of a commercial program are analysed. Thus, the thesis increases the empirical body of knowledge concerning the empirical validation of indicators for defects in software. The results show that there is a subset of bad smells that are well suited as indicators for defects in software. A good indicator in most of all analysed programs is the “God Class” bad smell. Among the historical characteristics analysed in the industrial context, the number of distinct authors as well as the number of changes performed to a file proved to be useful indicators for defects in software.

Translation of abstract (English)

Da vollständiges Testen nicht möglich ist, müssen Tester ihre Testaktivitäten auf die Bereiche der Software fokussieren, in denen sie Fehler erwarten. Diese Bereiche bilden den Testfokus. Obwohl ein systematischer und auf Fakten basierender Ansatz bei der Auswahl des Testfokus von herausragender Bedeutung ist, hat sich diese Vorgehensweise in der Praxis nicht etabliert. Vielmehr werden die Testaufwände gleichmäßig auf die zu testenden Software verteilt. Das Risiko einer solchen Vorgehensweise besteht darin, dass Bereiche der Software, die tatsächlich Fehler enthalten, zu wenig getestet werden, wohingegen Bereiche, die keine Fehler aufweisen, zu viele Testressourcen verbrauchen. In dieser Doktorarbeit wird ein Ansatz vorgestellt, der eine systematische und empirisch begründete Auswahl des Testfokus ermöglicht. Um Indikatoren für Fehler in der Software zu finden, werden unterschiedliche Merkmale der Vor-gängerversionen der zu testenden Software untersucht. Dabei werden strukturelle und historische Merkmale betrachtet. Strukturelle Merkmale beziehen sich auf den internen Aufbau der Software. Einen besonderen Schwerpunkt dieser Arbeit bildet die Analyse von schlechten Struktureigenschaften, den sogenannten „Bad Smells“. Historische Merkmale umfassen die Änderungshistorie sowie das Alter der Software. Als Bestandteil des empirischen Ansatzes zur Testfokusauswahl werden einfache und kombinierte Analysen der Fehlervarianz eingeführt. Dabei wird zuerst das Fehlervarianz-Analyse-Diagramm verwendet, um die Beziehung zwischen unterschiedlichen Merkmalen der Software und der Fehler visuell darzustellen. Anschließend werden statistische Verfahren angewendet, um die statistische Signifikanz der visuell erzielten Ergebnisse zu ermitteln. Ein wesentlicher Bestandteil dieser Arbeit stellt die umfassende Validierung des Ansatzes dar. Hierfür wurden empirische Studien zum einen im Bereich der Open Source Softwareentwicklung und zum anderen in einem industriellen Kontext durchgeführt. Somit trägt diese Arbeit zur Anreicherung der Wissensbasis über empirisch validierte Indikatoren für Fehler in Software bei. Die Ergebnisse der empirischen Studien zeigen, dass eine Teilmenge der untersuchten Bad Smells als Indikatoren für Fehler geeignet ist. Dabei erwies sich das „Gottklasse“ Bad Smell in allen untersuchten Softwareprogrammen als guter Indikator für Fehler. Unter den historischen Merkmalen haben sich die Anzahl der durchgeführten Änderungen sowie die Anzahl unterschiedlicher Autoren, die Änderungen durchgeführt haben, als die besten Indikatoren für Fehler erwiesen.

Document type: Dissertation
Supervisor: Paech, Prof. Dr. Barbara
Date of thesis defense: 22 November 2011
Date Deposited: 22 Mar 2012 14:55
Date: 2011
Faculties / Institutes: The Faculty of Mathematics and Computer Science > Department of Computer Science
DDC-classification: 004 Data processing Computer science
Uncontrolled Keywords: Softwaretest , Testfokussoftware testing , test focus
About | FAQ | Contact | Imprint |
OA-LogoDINI certificate 2013Logo der Open-Archives-Initiative