Testdaten und Testdatenmanagement - Vorgehen, Methoden und Praxis

Inhaltsverzeichnis

1 Einleitung

Teil I: Testdaten

2 Testdaten – ein Überblick

2.1 Begriffe Testdaten, ideale Testmenge, gute Testdaten

2.1.1 Testdaten

2.1.2 Gute Testdaten

2.1.3 Ideale Testmenge

2.2 Kategorien von Testdaten

2.2.1 Kategorien nach Reimann

2.2.2 Kategorien nach Chace

2.2.3 Testdatentypen nach Jagers und Kollegen

2.2.4 Definition Testdatenkategorien

2.3 Testdatenbestandstypen

2.4 Unterscheidung in Primär- und Sekundärdaten

2.5 Unterscheidung nach Testobjekt in Testdatentypen

2.6 Ergebnisse eines Testlaufs: Soll, Ist, Testergebnis

2.7 Metadaten für Testdaten

2.8 Testdaten, Testfälle, Testentwurfsverfahren und Testabdeckung

2.9 Zusammenfassung

3 Eigenschaften von und Anforderungen an Testdaten

3.1 Eigenschaften von Testdaten

3.2 Anforderungen an Testdaten – ein Überblick

3.3 Inhaltliche Anforderungen

3.4 Technische und organisatorische Anforderungen

3.5 Wirtschaftliche und rechtliche Anforderungen

3.6 Wunsch und Wirklichkeit

3.7 Erheben und Dokumentieren von Anforderungen an Testdaten

3.8 Zusammenfassung

4 Probleme mit Testdaten und Risiken

4.1 Häufige Probleme mit Testdaten

4.1.1 Probleme mit Testdaten, die auf den Faktor Mensch zurückzuführen sind

4.1.2 Probleme mit Testdaten, die in den Testdaten selbst liegen

4.1.3 Probleme aufgrund fehlerhafter, ungeeigneter oder vergessener Testdaten

4.1.4 Herausforderungen bei Gewinnung, Herstellung und Wartung von Testdaten

4.1.5 Organisatorische Problemstellungen

4.2 Risiken bei Testdaten

4.2.1 Fehlende und fehlerhafte Testdaten als Produktrisiko – unentdeckte Fehler

4.2.2 Fehlende und fehlerhafte Projektrisiko als Projektrisiko – Verzögerungen und spät entdeckte Fehler

4.3 Zusammenfassung

5 Gewinnen und Archivieren von Testdaten

5.1 Wege zum Gewinnen von Testdaten

5.1.1 Herkunft der Daten: Echtdaten versus synthetische Daten

5.1.2 Vorgehen: Ansätze zum Aufbauen von Testdatenbeständen

5.1.3 Vorgehen: Konstruktion von Testdaten

5.1.4 Zufallsdaten

5.1.5 Selbstbeschreibende Testdaten

5.1.6 Migrieren von Testdaten

5.2 Quellen für das Gewinnen von Testdaten

5.2.1 Ermitteln von Anforderungen an Testdaten oder Testdaten aus Artefakten des Softwareentwicklungsprojekts

5.2.2 Welche Art Information aus welcher Quelle kommen kann

5.2.3 Quellen für das automatisierte Generieren von Testdaten

5.3 Wie bekommt man die Testdaten in das zu testende System?

5.3.1 Direktes Eingeben über Systemschnittstellen

5.3.2 Kopieren und Editieren

5.3.3 Spezialisierte Testdatenmanagementlösung

5.3.4 Automatisieren von Testeingaben

5.4 Trennen der Testdaten von Testfällen

5.5 Trennen und Reservieren von Testdaten

5.6 Versionieren von Testdaten

5.7 Archivieren von Testdaten

5.7.1 Wozu archivieren?

5.7.2 Vor dem Archivieren: Bereinigung der Testumgebung

5.7.3 Wie archivieren?

5.7.4 Was archivieren?

5.7.5 Datenschutz für archivierte Testdaten

5.8 Zusammenfassung

6 Testdaten und Datenschutz

6.1 Regelungen zum Datenschutz

6.1.1 EU-Datenschutzrichtlinie

6.1.2 Europäische Datenschutz-Grundverordnung (DSGVO)

6.1.3 Bundesdatenschutzgesetz (BDSG)

6.1.4 Datenschutz auf Länderebene, branchen- oder unternehmensbezogene Vorgaben

6.1.5 Standards zum Datenschutz in der Cloud

6.2 Anonymisieren, Pseudonymisieren, Verfremden, Maskieren

6.2.1 Anonymisierung

6.2.2 Pseudonymisierung

6.3 Testdaten in der Cloud

6.3.1 Testumgebungen in der Cloud

6.3.2 Datenschutz nach DSGVO

6.3.3 Datenschutz nach ISO/IEC 27018

6.4 Zusammenfassung

Teil II: Testdatenmanagement

7 Testdatenmanagement – ein Überblick

7.1 Begriff Testdatenmanagement

7.1.1 Testdatenmanagement-Begriff nach ISTQB® – datenorientiert

7.1.2 Testdatenmanagement-Begriff nach Gawlik – Mischform, Erzeugung von Testdaten im Fokus

7.1.3 Testdatenmanagement-Begriff nach Kruse – managementorientiert

7.1.4 Testdatenmanagement-Begriff nach Haller – managementorientiert, Werkzeuge

7.1.5 Testdatenmanagement-Begriff nach Haber – prozessorientiert

7.1.6 Testdatenmanagement-Begriff nach German Testing Board – Mischform

7.1.7 Der Begriff Testdatenmanagement

7.2 Wozu Testdatenmanagement?

7.3 Ziele des Testdatenmanagements

7.4 Inhalte des Testdatenmanagements

7.4.1 Testdaten

7.4.2 Prozesse, Aktivitäten, Rollen, Artefakte, Standards

7.4.3 Organisationsstrukturen

7.4.4 Werkzeugunterstützung

7.4.5 Regularien

7.5 Wie ist das Testdatenmanagement in den Testprozess eingebunden?

7.5.1 Testplanung und -steuerung ® Testdaten als Testmittel, Werkzeuge

7.5.2 Analyse und Design ® Testdatenanforderungsermittlung, Testdatendesign

7.5.3 Testumgebung, Deployment ® Testdaten: Umgebungsdaten, Bestandsdaten

7.5.4 Realisierung und Durchführung ® Testdatenerstellung (Bestandsdaten, Eingabedaten u. a.)

7.5.5 Testauswertung und -bericht ® Aussage zu Testdaten

7.5.6 Abschluss der Testaktivitäten ® Archivierung der Testdaten, Übergabe an die Wartungsmannschaft

7.5.7 Testdatenmanagement ist überall

7.6 Der richtige Zeitpunkt

7.7 Abgrenzung Testdatenmanagement und Datenmanagement

7.7.1 Der Begriff Datenmanagement

7.7.2 Datenmanagement versus Testdatenmanagement

7.7.3 Konzepte und Techniken übertragbar

7.8 Abgrenzung Testdatenmanagement und Konfigurationsmanagement

7.8.1 Begriffe Konfigurationsmanagement, Konfiguration, Konfigurationsobjekt

7.8.2 Testdaten und Testdatenmanagement versus Konfiguration und Konfigurationsmanagement

7.8.3 Testdatenmanagement mit Konfigurationsmanagement

7.9 Zusammenfassung

8 Vorgehensweisen im Testdatenmanagement – Modelle

8.1 Prozess nach ASQF-Arbeitsgruppe Testdatenmanagement

8.1.1 Inhaltsüberblick (Begriff Testdaten & Testdatenmanagement, Rollen, Werkzeuge, Dokumentation)

8.1.2 Eignung/Einschränkung

8.1.3 Was bietet die Vorgehensweise?

8.1.4 Rollenkonzept

8.1.5 Das Vorgehen gemäß diesem Prozess

8.1.6 Methoden und Techniken

8.1.7 Dokumentation

8.1.8 Werkzeuge

8.1.9 Prozesse, Schnittstellen zu anderen Prozessen

8.1.10 In drei Sätzen

8.2 Framework von Samuel T. Redwine Jr.

8.2.1 Inhaltsüberblick (Begriff Testdaten & Testdatenmanagement, Rollen, Werkzeuge, Dokumentation)

8.2.2 Eignung/Einschränkungen

8.2.3 Was bietet die Vorgehensweise

8.2.4 Das Vorgehen gemäß dieser Best Practice

8.2.5 Methoden und Techniken

8.2.6 Dokumentation

8.2.7 Werkzeuge

8.2.8 Prozesse, Schnittstellen zu anderen Prozessen

8.2.9 In drei Sätzen

8.3 Test Data Management Framework von Borghers und Demey

8.3.1 Ansatz

8.3.2 Aufbau des Rahmenwerks

8.3.3 In drei Sätzen

8.4 Weitere Modelle im Überblick

8.4.1 Prozessrahmenwerk Test Data Management nach Nittur und Sengupta

8.4.2 Strategie nach Murthy und Channagiri

8.5 Zusammenfassung

9 Vorgehensweisen im Testdatenmanagement – Best Practices

9.1 Best Practice nach Chace

9.1.1 Inhaltsüberblick (Begriff Testdaten & Testdatenmanagement, Rollen, Werkzeuge, Dokumentation)

9.1.2 Eignung/Einschränkungen

9.1.3 Was bietet die Vorgehensweise

9.1.4 Das Vorgehen gemäß dieser Best Practice

9.1.5 Methoden und Techniken

9.1.6 Dokumentation

9.1.7 Werkzeuge

9.1.8 Prozesse, Schnittstellen zu anderen Prozessen

9.1.9 In drei Sätzen

9.2 Best Practice nach Haller

9.2.1 Inhaltsüberblick (Begriff Testdaten & Testdatenmanagement, Rollen, Werkzeuge, Dokumentation)

9.2.2 Eignung/Einschränkungen

9.2.3 Was bietet die Vorgehensweise

9.2.4 Werkzeuge

9.2.5 Rollenkonzept

9.2.6 Das Vorgehen gemäß dieser Best Practice

9.2.7 Methoden und Techniken

9.2.8 Dokumentation

9.2.9 Prozesse, Schnittstellen zu anderen Prozessen

9.2.10 In drei Sätzen

9.3 Weitere Best Practices im Überblick

9.3.1 Best Practice nach Schauber und Leimsner

9.3.2 Best Practice nach Govindasamy und Murugesan

9.3.3 Best Practice nach Madia

9.4 Zusammenfassung

10 Organisation – Rollen im Testdatenmanagement

10.1 Testdatenmanagement-Rollen

10.1.1 Der Testarchitekt als oberster Verantwortlicher (nach ISTQB®)

10.1.2 Der Testdatenarchitekt (Test Data Architect)

10.1.3 Testdatenmanager, Testdatenmodellierer, Testdatenrealisierer

10.1.4 Testdatenmanager und Testdatenteam

10.1.5 Testdaten-Consultant, Testdaten-Designer, Solution Implementer, Technical Operator

10.2 Test-Rollen ergänzt um Testdatenmanagementaktivitäten

10.2.1 Ergänzen vorhandener Tester-Rollen um Testdatenmanagementaktivitäten, eine optionale Testdatenmanagement-Rolle

10.2.2 Keine Testdatenmanagement-Rollen, stattdessen zu vorhandenen Rollen des Testteams zuordnen

10.2.3 Spezialisierung einer vorhandenen Rolle

10.3 Personalunion versus Eigenständigkeit

10.4 Zentrales oder dezentrales Testdatenmanagement?

10.5 Zusammenfassung

11 Werkzeuge für Testdaten & Testdatenmanagement: Anforderungen und Kategorien

11.1 Was Testdatenmanagement-Werkzeuge leisten sollen: Anforderungen an Testdatenwerkzeuge

11.1.1 Anforderungen an Werkzeuge zum Erstellen von Testdaten

11.1.2 Anforderungen Testdatenmanagement-Werkzeuge

11.1.3 Weitere Anforderungen

11.2 Kategorien von Testdatenmanagement- Werkzeugen

11.2.1 Analyse- und Data-Mining Werkzeuge

11.2.2 Werkzeuge für das Erstellen oder Bearbeiten von Testdaten

11.2.3 Werkzeuge für die Testdatengenerierung

11.2.4 Drei Klassen von Testdatengeneratoren

11.2.5 Unterscheidung der Funktionalitäten verschiedener Werkzeuge

11.2.6 Weitere Testdatenmanagement-Werkzeuge

11.3 Auswahl eines Testdatenwerkzeugs

11.3.1 Weitere Voraussetzungen für die Auswahl eines Werkzeugs

11.3.2 Testfälle für die Machbarkeitsstudie

11.4 Zusammenfassung

12 Metriken für Testdaten & Testdatenmanagement

12.1 Metriken im Softwaretest

12.1.1 Arten von Metriken

12.1.2 Aussagen über Testdaten möglich?

12.2 Kategorien von Metriken für Testdaten

12.2.1 Mengenbezogene Metriken

12.2.2 Qualitätsbezogene Metriken

12.3 Konkrete Metriken für Testdaten

12.3.1 Datenüberdeckungsmaße für Testdaten im Systemtest

12.3.2 Metriken zum Messen der Datenqualität von Testdaten

12.3.3 Metriken für das Testdatenmanagement

12.4 Zusammenfassung

13 Testdaten & Testdatenmanagement im Kontext

13.1 Testdaten und Fehlerkategorien als Hilfe zur Priorisierung der Testdatenbereitstellung

13.2 Testdaten im automatisierten Test

13.3 Testdaten beim Testen von Data-Warehouse- und Business-Intelligence-Systemen

13.3.1 Testumgebung

13.3.2 Gewinnen von Testdaten für den Test von Data-Warehouse- und Business-Intelligence-Systemen

13.3.3 Maßnahmen zum Schutz der echten Daten in den Testdaten

13.3.4 Vor- und Nachteile von Echtdaten als Testdaten

13.3.5 Weitere Quellen zum Ableiten von Testdaten

13.3.6 Besondere Gruppen von Daten

13.3.7 Überblick: Wie testet man Data-Warehouse- und Business- Intelligence-Systeme und was für Daten(bestände) benötigt man dafür?

13.3.8 Begriffe in Data-Warehouse- und Business-Intelligence- Systemen

13.4 Testdaten im Test von Embedded Systems

13.4.1 Besonderheiten beim Testen eingebetteter Systeme

13.4.2 Die Testdaten im Testen von Embedded Systems

13.4.3 Erfahrungsbericht: Testdaten im Test von Embedded Systems im Bereich Videotechnik

13.5 Testdaten in klassischen und in agilen Projekten

13.5.1 Klassisch

13.5.2 Agile, Scrum

13.6 Testdaten in Normen für Softwareentwicklung und/oder Softwaretest

13.6.1 Die neue Normenreihe ISO 29119

13.6.2 Welche Regelungen zu Testdaten und Testdatenmanagement finden sich in ISO-29119-Reihe?

13.6.3 Weitere relevante Normen: ISO/IEC 250xx

13.7 Testdaten in Bewertungsmodellen

13.8 Zusammenfassung

Teil III: Praxis

14 Vorgehen zum Verbessern eines Testdatenmanagements

14.1 Einsteigen in strukturiertes Testdatenmanagement

14.2 Etappe 1: Das Testdatenmanagement organisieren

14.2.1 Zentralen Testdatenmanagement-Verantwortlichen benennen und dessen Aufgabe definieren

14.2.2 Reife des Testprozesses prüfen & bei Bedarf verbessern

14.2.3 Bestandsaufnahme & Anforderungsanalyse durchführen: Testdatenmanagementprozess

14.2.4 Business Case für das Testdatenmanagement schreiben & entscheiden

14.2.5 Bei Bedarf: Übergang vom Testdatenmanagement- Verantwortlichen zum Testdatenmanager

14.2.6 Testdatenmanagement-Richtlinie erstellen (Testdatenmanagementstrategie)

14.2.7 Entscheiden: zentrales, dezentrales Testdatenmanagement oder Mischform?

14.2.8 Rollen definieren

14.2.9 Prozesse und Dokumentation definieren

14.2.10 Die Testdaten organisieren

14.2.11 Werkzeugeinsatz und Hardwareeinsatz prüfen und anpassen

14.2.12 Initiales Testdatenmanagementkonzept verfassen

14.2.13 Umsetzen des Testdatenmanagements in konkreten Testprojekten sowie Prüfen & Verbessern des Testdatenmanagements

14.3 Etappe 2: Die Testdaten organisieren – von der Analyse bis zur Archivierung

14.3.1 Bestandsaufnahme durchführen: Stand der aktuell in Gebrauch befindlichen Testdaten

14.3.2 Analyse: Testdatenanforderungen verstehen

14.3.3 Spezifizieren der Testdaten, Testdatenpakete (® Testdatenspezifikation)

14.3.4 Testdaten erstellen & bereitstellen

14.3.5 Daten nutzen, anpassen, archivieren

14.4 Zusammenfassung

15 Checklisten, Mustergliederungen, Fragenkataloge

15.1 Mustergliederung TDM-Business-Case

15.2 Checkliste zu Anforderungen an den TDM- Business-Case

15.3 Checkliste TDM-Richtlinie

15.4 Mustergliederung TDM-Konzept

15.5 Testdatenspezifikation

15.6 Checkliste Testdatenbereitstellungskonzept (nach TestSPICETM)

15.7 Checkliste zur Organisation der Testumgebung und der Testdaten

15.8 Checkliste Bestandsaufnahme zu Werkzeug- und Hardwareeinsatz

15.9 Fragenkatalog zur Bestandsaufnahme Testdatenmanagement

15.10 Fragenkatalog zur Bestandsaufnahme: Aktueller Testdatenbestand

15.11 Fragenkatalog für das Erheben von Anforderungen an Testdaten (initial)

15.12 Fragenkatalog zum Vervollständigen der Testdatenmenge

15.13 Empfehlungen zu Methoden und Techniken für das Ermitteln von Anforderungen an Testdaten

15.14 Relevante Informationen für die Auswahl der Testdaten

15.15 Checkliste zum Spezifizieren der Testdaten

15.16 Checkliste: Organisatorische Aspekte der Testdaten managen

15.17 Checkliste: Aktivitäten zum Bereitstellen der Testdaten

15.18 Empfehlungen zur Testdatengewinnung

15.19 Empfehlungen zur Testdatenverwaltung

Anhang

A Abkürzungen

B Glossar

C Literatur

Index

www.dpunkt.de