Vorschau

PDF, Englisch - Hauptdokument Download (13MB) | Nutzungsbedingungen

Abstract

The quality assurance of scientific software has to deal with special challenges of this type of software, including missing test oracles, the need for high performance computing, and the high priority of non-functional requirements. A scientific framework consists of common code, which provides solutions for several similar mathematical problems. The various possible uses of a scientific framework lead to a large variability in the framework. In addition to the challenges of scientific software, the quality assurance of a scientific framework needs to find a way of dealing with the large variability.

In software product line engineering (SPLE), the idea is to develop a software platform and then use mass customization for the creation of a group of similar applications. In this thesis, we show how SPLE, in particular variability modeling, can be applied to support the quality assurance of scientific frameworks.

One of the main contributions of this thesis is a process for the creation of reengineering variability models for a scientific framework based on its mathematical requirements. Reengineering means the adjustment of a software system to improve the software quality, mostly without changing the software’s functionality. In our research, the variability models are created for existing software and therefore we call them reengineering variability models. The created variability models are used for a systematic development of system test applications for the framework. Additionally, we developed a model-based method for test case derivation for the system test applications based on the variability models.

Furthermore, we contribute a software product line test strategy for scientific frameworks. A test strategy strongly influences the test activities performed. Another main contribution of this thesis is the design of a quality assurance process for scientific frameworks, which combines the test activities of the test strategy with other quality assurance activities. We introduce a list of special characteristics for scientific software, which we use as rationale for the design of this process.

We report on a case study, analyzing the feasibility and acceptance by developers for two parts of the design of the quality assurance process: variability model creation and desk-checking, a kind of lightweight review. Using FeatureIDE, an environment for feature-oriented software development as well as an automated test environment, we prototypically demonstrate the applicability of our approach.

Übersetzung des Abstracts (Deutsch)

Die Qualitätssicherung wissenschaftlicher Software muss sich mit den speziellen Herausforderungen dieser Art von Software befassen. Diese Herausforderungen beinhalten fehlende Testorakel, den Bedarf von Hochleistungsrechenmaschinen und die hohe Priorität von nichtfunktionalen Anforderungen. Ein wissenschaftliches Rahmenwerk besteht aus gemeinsamem Quelltext, der Lösungen für mehrere ähnliche mathematische Probleme bereitstellt. Die verschiedenen möglichen Verwendungen eines wissenschaftlichen Rahmenwerks führen zu einer großen Variabilität innerhalb dieses Rahmenwerks. Zusätzlich zu den Herausforderungen der wissenschaftlichen Software muss die Qualitätssicherung wissenschaftlicher Rahmenwerke einen Weg finden, um diese große Variabilität zu bewältigen.

Die Idee bei der Produktlinienentwicklung (SPLE) ist es, zunächst eine Softwareplattform zu entwickeln und dann individualisierte Massenfertigung zu verwenden, um eine Gruppe von ähnlichen Anwendungen zu erstellen. In dieser Dissertation werden wir zeigen, wie SPLE und insbesondere Variabilitätsmodellierung eingesetzt werden kann, um die Qualitätssicherung von wissenschaftlichen Rahmenwerken zu unterstützen.

Ein Hauptbeitrag dieser Dissertation ist ein Prozess für die Erstellung von Reengineering-Variabilitätsmodellen für ein wissenschaftliches Rahmenwerk, basierend auf den mathematischen Anforderungen des Rahmenwerks. Das Reengineering bedeutet die Umstellung eines Software-Systems, um die Softwarequalität zu erhöhen - meistens ohne die Funktionalität der Software selbst zu ändern. In unserer Forschung werden die Variabilitätsmodelle für eine existierende Software erstellt und deswegen nennen wir sie Reengineering-Variabilitätsmodelle. Die erstellten Variabilitätsmodelle werden für eine systematische Entwicklung von Systemtestanwendungen für das Rahmenwerk verwendet. Zusätzlich haben wir eine modellgestützte Methode für die Herleitung von Testfällen entworfen. Diese Methode verwendet die erstellten Variabilitätsmodelle.

Darüber hinaus entwickelten wir eine Produktlinien-Teststrategie für wissenschaftliche Rahmenwerke. Eine Teststrategie hat einen starken Einfluss auf die ausgeführten Testaktivitäten. Ein anderer Hauptbeitrag dieser Dissertation ist der Entwurf eines Qualitätssicherungsprozesses für wissenschaftliche Rahmenwerke. Dieser Entwurf verbindet die Testaktivitäten aus der Teststrategie mit weiteren Maßnahmen der Qualitätssicherung. Wir stellen eine Liste besonderer Eigenschaften von wissenschaftlicher Software vor, die wir als Begründung für den Entwurf des Prozesses verwenden.

Wir berichten über eine Fallstudie, die die Machbarkeit und die Akzeptanz von zwei Bestandteilen des Entwurfs für den Qualitätssicherungsprozess untersucht: die Erstellung eines Variabilitätsmodells und den Schreibtischtest, eine Art von leichtgewichtigem Review. Anhand der Verwendung von FeatureIDE, einer Umgebung für die Feature-orientierte Software-Entwicklung, und mittels einer automatisierten Testumgebung haben wir die Anwendbarkeit unseres Vorgehens nachgewiesen.