Kurzthesen zur Zukunft des Softwaretestens

Im Rahmen des GFFT Symposiums „Zukunft des Softwaretestens“ wurde ich gebeten meine Thesen einmal als „Kurzvortrag“ kund zu tun (5 Min.)…

Mindset statt Tools

Erst wenn auf allen Ebenen der Wertschöpfungskette verstanden worden ist, dass der Test, die Prüfung zum alltäglichen Geschäft gehört, haben auch wir in der Software „verstanden“. Andere, wie Lebensmittel- und Arzneimittelhersteller wissen um die Schlagkraft des einzelnen Mitarbeiters, darum bilden sie auch extrem gut aus. 

Vorgehen & Methodenkoffer anstatt Werkzeugkoffer

Test-Vorgehen und -Methoden müssen verinnerlicht werden wie das Einschalten des Rechners am Morgen. Es wird nach wie vor zu sehr auf ein Werkzeug geschaut, anstatt die Anforderungen zu ermitteln und dann eine Entscheidung zu treffen. Sicherheitstests sind beispielsweise nicht „On-Top“, sondern Basisbestandteil täglichen Arbeitens. Förderung des Wissens um die neuen Methoden der Sicherheitstests – von Anfang/Anforderung an.

Standards anstatt Abschottung

Schaut man auf die Industrien, wo die Standardisierung der Zubehörteile und tlw. auch der Software weit fortgeschritten ist, ändert sich natürlich die Testtiefe. Die Basis (Standards) werden durch alle gleichermaßen sichergestellt, während die Geschäftsprozesse meistens individuell sind und einer tieferen Betrachtung unterzogen werden. Geschäftsgetriebene Test(Automatisierung) wird so gefördert.

Speedport Smart 3 auf FRITZ!Box 7590-Umstieg lohnt sich

Geschichte eines treuen Kunden

Ich benutze den Service der Telekom gerne, denn der Service ist i.d.R. stabil und die Mitarbeiter:innen sind in ihrem Fach gut bis sehr gut. Wir haben unseren Anschluss seit 2001 hier im Ort mit einem Umzug und etwa seit 2/2005 wurde der Anschluss auch als „Teleworker“ (heute HomeOffice) regelmäßig genutzt. Beim Umzug haben wir alles mitgenommen. Zuvor waren wir zuvor in Hamburg mal zu MobilCom gewechselt und erschüttert wie schlecht alles laufen kann…

Heimarbeitsplatz von Sun Microsystems im Rahmen von Sar@h (noch vor iWork) (Quelle: J. Sievers, 24. Februar 2005)

Ich habe die Router der Telekom immer gerne eingesetzt, da sie i.d.R. stabil ihren Dienst taten und wenig Schnick-Schnack boten (ich möchte am Netz angeschlossen sein und nicht herum fingern).

oben CISCO VPN-Router, darunter Telekom Teledat DSL Router Komfort (Quelle: J. Sievers, 24. Februar 2005)

Die Speedport-Router waren nacheinander allesamt hier oder auch bei meiner Mutter im Einsatz, selbst die LTE-Versionen, wo ich mittels externer Antennen versucht hatte mehr rauszuholen. Insofern: Ich bezeichne mich als kompetent einige Qualitätsmerkmale dieser Produkte bewerten zu können.

Die Speedport Smart 3 war hier einige Zeit im Einsatz, aber überzeugt hat sie nie wirklich. Nachdem ich den optimalsten Platz des Routers gefunden hatte, hatten wir stabiles WLAN. Durch Mesh und Magenta TV Boxen (erste Version hatte ich auch getestet) und einiger Updates wurde alles richtig schlimm. Ich habe sogar die SmartHome-Funktionen getestet und allesamt wieder abgeschaltet, weil ich den Fehler dort ausschließen wollte:

  • Abbrüche der WLAN-Verbindung nahmen deutlich zu
  • Bestimmte Dienste, wie Jitsi, Microsoft Teams (Vermutung WebRTC oder UDP, da auch VPN-Verbindungen denselben Effekt hatten) ließen die Speedport in einem undefinierten, nicht mit dem Internet verbundenen Zustand zurück (Neustart notwendig). Es spielte keine Rolle ob kabelgebunden (alle meine Rechner) oder WLAN!
  • WLAN-Geschwindigkeit war nicht mehr von Vorteil, manche der Familienmitglieder sind auf LTE am mobilen Gerät umgeschwenkt

Da wir allesamt mehr oder weniger im HomeOffice seit knapp einem Jahr unser Dasein fristen und ich bei mehreren privaten und geschäftlichen Videokonferenzen immer abrupt unterbrochen wurde, platzte mir der Kragen.

Support der Telekom versucht zu helfen

Ich habe den Support bemüht und dieser hat sehr freundlich, schnell und kompetent die Stanmdardverfahren angewandt, damit wir Telekom-Netzprobleme ausschließen konnten. Leider half der Tausch des Gerätes nicht.

Das Problem habe ich nach 1 Woche auch dem zweiten Telekom-Supporter erklärt, aber leider ging der nicht auf meine Vermutung ein, das die letzten beiden Firmware-Updates diese Probleme verursachen und so habe ich dann die Entscheidung gefällt, selbst (wieder) Hand anzulegen. AVM war schon zu MailBox-Zeiten eine gute Adresse, da deren ISDN Adapter von MailBox-Betreibern gerne genutzt wurden.

Nachdem ich auf der AVM-Seite nach einem Partner vor Ort gesucht hatte rief ich den Telekommunikations-Profi meines Vertrauens an. Er ist seit 2001 immer stets bemüht unsere Wünsche zu erfüllen (selten, aber in diesen Zeiten Werbung für lokale Dienstleister und Shops: Ahrensburger:innen kennen World Of Phone sicherlich). Er hatte die Mesh-Version (ich muss durch zwei Stahlbetondecken stabiles WLAN in alle Etagen liefern) der AVM FRITZ!Box 7590 und Repeater 2400. Click & Collect und das Gerät war meins.

Einrichtung erfolgte nach dem Sieg des HSV über Eintracht Braunschweig und um 17h waren die Kabel neu verlegt (hatte ich eh vor um das Netz besser trennen zu können) und alles lief.

Neuverlegung LAN-Kabel (Quelle: J. Sievers, 23. Januar 2021)
Ersetzt und verkabelt… (Quelle: J. Sievers, 23. Januar 2021)

Erfahrungen seit der Installation

  • Seit 14 Tagen ohne einen einzigen Reboot mit mehreren Umstellungen im Heimnetz stabil
  • Adaption der Box an meinen Nummernraum war kein Problem. Dokumentation im Netz durch AVM ist sehr gut!
  • WLAN sehr stabil und Protokollinformationen sehr hilfreich um den 5 GHz Kanal optimal zu wählen!
  • 16-Port Switch, NAS, Firewall-Appliance, AirPrint-Drucker, VPN Arbeitgeber, eigenes VPN, selbst die Telekom Magenta TV Boxen laufen stabil (sind nun gekabelt, aber auch ok), alles läuft ohne Probleme

Die Telekom sollte sich wirklich mal Gedanken über ihre Hardwarelieferanten machen. Wenn selbst langjährige Kunden, sog. Fans/Fanboys/-girls, auf eigene Faust Hardware beschaffen, kommen wir wieder dahin wo wir einst waren als der Laden noch Deutsche Bundespost hieß und wir uns „vernünftige“ Hardware aus dem Ausland beschafft hatten….

GUI Testautomatisierung –50% Erstellungsaufwände sparen, wenn man Anforderungen analysiert

…war ein Vortrag auf der 43. TAV / SEUH 2019, 21.+22. Februar 2019, in Bremerhaven. Die Präsentation war schon länger auf meiner Seite online. Der Artikel ist nun in den Softwaretechnik-Trends der GI im Band 40, Heft 3 erschienen, aber dort noch nicht online.

Nettes Feedback aus dem Süden gab es auch schon – freut mich, wenn solche Themen auf Interesse stoßen!

Geschäftsgetriebene Testautomatisierung

Es muss nicht immer Selenium sein

Letztes Jahr auf der TACON hielt ich einen Vortrag über das Thema und versprach die Slides online zu stellen.

Asche auf mein Haupt, aber heute habe ich den Vortrag nochmals in kleinem Kreis gehalten und nun komme ich dem Versprechen nach.

Link zu der PowerPoint Präsentation.

Transzendente Qualität trifft transzendente Agilität

Prof. Dr. Jochen Ludewig hielt auf der TAV (Fachgruppe Test, Analyse und Verifikation von Software) Fachtagung im Jahre 2016 in Bremen mal einen Vortrag über Software-Qualität – Zwischen hohem Ziel und hohler Floskel.

Ich fand es sehr spannend in kurzen Ausflügen zu erfahren, dass eben die modelierte Qualität die unnatürlichere, aber eben die meßbare, kontrollierbare ist und die transzendente Qualität, nicht meßbar, aber dafür die ist, die uns begeistert. Er nahm das Beispiel der Schwarzwälderkirschtorte, die man nicht vermessen würde, sondern eben sagt, dass sie eben (oder eben nicht) ausgezeichnet war.

Wenn wir nun immer nur die meßbare Qualität nehmen, was verlieren wir dann?

Wir verlieren die unmittelbare Verbindung zur erlebten Qualität, damit auch den Blick auf denjenigen, der die Qualität erlebt (das Objektive verdrängt das – wichtigere – Subjektive.)

„Software Qualität – Zwischen hohem Ziel und hohler Floskel“ (2016)

Die Qualitätsprüfung, die wir benutzen, kann aber nur so gut sein, wie das unterliegende Modell und wird immer von dem natürlichen, was wir empfinden, (mehr oder weniger stark) abweichen.

Im agile Kontext wird die Meßbarkeit auch gerne vorne hin gestellt, also das Modell… Wie auch bei der Qualität…

Mit anderen Worten: Die modellierte Qualität bedarf stets der Kontrolle und Bestätigung durch die transzendente Qualität.

„Software Qualität – Zwischen hohem Ziel und hohler Floskel“ (2016)

Im agilen Kontext sehe ich dieselbe Herausforderung: Man muß sich im agilen Vorwärstkommen anhand von Kenngrößen auch bedenken, dass die Beteiligten „begeistert“ sein sollten, damit sie den Wandel mit tragen. Da spielen aber Kenngrößen keine Rolle, sondern das Empfinden und die Emotionen. Innerlich bewerten wir eben das Gefühl, ob man sich in der neuen Rolle und der gestellten Herausforderung wohlwollend gegenübersteht. Messen kann man das nicht, sondern die Schwarzwälder Kirschtorte muss schmecken, auch wenn es manchmal diverser Anläufe braucht.

„Agile Softwareentwicklung ist ein Vorgang, bei dem Projekte in Iterationen unterteilt werden. Das Ergebnis einer jeden Iteration wird beurteilt und dazu genutzt, den Zeitplan neu zu bewerten, Features werden nach ihrem Geschäftswert implementiert, damit die wichtigsten Dinge zuerst umgesetzt werden. Die Qualität sollte so hoch wie möglich sein. Der Zeitplan wird vornehmlich dadurch gemanaged, dass sich der Umfang des Projekts ändert.
Das ist agile Software Entwicklung.“

„Clean Agile, Die Essenz der agilen Softwareentwicklung“, Robert C. Martin „Uncle Bob“, 1. Auflage, 2020 S. 47

Der „Geschäftswert“ ist nicht immer in Geld auszudrücken, wenn es bspw. darum geht Kunden zu Fans zu machen1, denn dort kommt man über Emotionen. Natürlich ist das Endergebnis irgendwann meßbar (mehr treue, zahlende Kunden o.ä.), aber man muß manchmal auch „Umwege“ über nicht sofort meßbare Kennzahlen Wege gehen und diese sollten also nicht immer im Vordergrund stehen.

Mehr Ehrlichkeit (= Einsicht), Disziplin und Demut wären gut. Aber Disziplin bedeutet nicht, der Bürokratie zu dienen.

„Software Qualität – Zwischen hohem Ziel und hohler Floskel“ (2016)

Wenn also der reine Fokus auf die meßbare Qualität und meßbare Agilität gelenkt wird, glaube ich, verlieren wir die Verbindung zur erlebten [Lebens-] Qualität. Wir dienen dann der Bürokratie, weil jemand die Kennzahlen haben möchte.

Die Rückbesinnung auf ursprüngliche Formen (Qualität und Agilität) sollten wir am Softwareentwicklungsprozess beteiligten Menschen ab- und an mal mitgeben (Retrospektiven), denn das Produkt sollte nicht gut vermessen sein, sondern den Kunden und die am Erstellungsvorgang beteiligten Menschen begeistern…


1 Empfehlung: "Das Fan-Prinzip", Roman Becker, Gregor Daschmann, 2. Auflage, 2016

TACON20 – geschäftsgetriebene Testautomatisierung

Ich bin ja nicht so der Fan von virtuellen Meetings, da ich gerne mit Menschen zusammen bin und Smalltalks in der virtuellen Welt gehen zwar, aber eben nicht wie IRL.

Trotzdem freue ich mich an der TACON20 teilnehmen zu dürfen, denn man bekommt Einblicke mit was auch die Kolleg*innen zu kämpfen haben und fühlt sich nicht so alleine oder man bekommt sehr gute Anregungen, wie man an bestimmten Stellen weiter machen kann. Dieses Mal hat man mich gefragt, ob ich was beitragen kann und das habe ich gerne getan:

https://twitter.com/Softwareforen/status/1310912432152498177?s=20

Ich habe über geschäftsgetriebene Automatisierung gesprochen und auch eine Demo mit einem mir sehr bekannten Testwerkzeug gezeigt, die nochmals tiefer die Bedürfnisse der non-Coder*innen (also Fachabteilungen) berücksichtigt. Es geht mir um das Vorgehen und nicht um Tools und ich habe eben manchmal den Eindruck, wir wählen Tools aus und stricken dann unsere Prozesse darum.

Mache nicht aus jedem einen Coder!

Da wir in crossfunktionalen Teams arbeiten (werden), müssen wir eine gemeinsame Sprache finden, aber uns auch mit den Werkzeugen wohlfühlen, die wir tagtäglich einsetzen müssen. Superklasse ist, wenn das Tool beides bedienen kann.

Zusammen. Gemeinsam. Voneinander lernen.

Werkzeuge müssen zum Menschen passen und nicht umgekehrt!

Featurittisk(r)ampf Reloaded zzgl. Datenschleuder

Ich bin schon seit OS/2-Zeiten jemand, der eher auf Robustheit, gute Konzeption und Einfachheit anstatt „Featurewahn“ steht. Ich nutze heute noch Programme, die nur eine Sache sehr gut erfüllen, dafür aber genau das und für mich transparent.

Nun ist in der Pandemie wieder das alte Lied angeworfen worden, den die OS/2-Kämpfer/innen (Warp) schon gegen die Windows-Fraktion (Win) verloren hatten: Win war schicker und hatte vieles an Funktionen, die man auf Warp tlw. händisch nachpflastern musste, aber Warp war recht sicher, robust und transparent in dem was es tat. Win war anfälliger, unsicherer und Plug&Pray-Sprüche stammen aus dieser Zeit.

Heute wollen wir Videokonferenzen, virtuelle Tagungen, Inhalte kollaborativ nutzen und zwar schick und jetzt! Sicherheit? Privatsphäre? Profiling? Big Data-Analyse? „Mir doch egal!“ Selbst wenn es mal klappert, könnte man mit etwas manuellem Aufwand Datensammlerm von nachweislich schlampigen, aber weit genutzter Kollaborationssoftware durch Nichtnutzung in die Schranken weisen, aber…

…wer die Geschichte des „OS-Wars der 90er“ kennt, weiß wer sie „gewonnen“ hat. Schade, aber wir in der IT wollen oder können nicht aus der Vergangenheit lernen, auch wenn alle nun Linux oder Mac schreien, so ist der Anteil nach wie vor der, den die Warp-Kämpfer/innen noch in Erinnerung haben: Gering.

Statistik: Marktanteile der führenden Betriebssysteme in Deutschland von Januar 2009 bis Mai 2020 | Statista
Quelle: Statista

Die Schiffsbrücken-, Geldautomaten-, eben kritische… Software lief auf Warp, aber die Masse eben auf Win, gell, liebe Unixoider/innen?!

Bis heute ist mein Haushalt windowsfreie Zone, aber werde ich mich auch der reloadeten Version widersetzen können? Keine virtuelle Konferenz besuchen, wo ich mich daten-nackig mache? Bin ich wieder die Minderheit und muss mich fügen und Scott’s Losung „there is no privacy, get over it“ fügen?

Ich habe keine Antwort darauf, hoffe aber, wie in „The Day After“ , dass da noch jemand da draußen ist….

[UPDATE 26.7.2020]

Alle benutzen Zoom…. ahja… sehr spannend, wenn IT’ler einem Flöhe in die Ohren setzen… – die Umfrage ist während der Corona-Zeit (5/2020) gemacht worden 🙂

Statistik: Haben Sie schon einmal das Videokonferenz-Tool Zoom genutzt? | StatistaQuelle Statista

Korrektur: IAST basiert auf Java Instrumentation API und nicht dem Metadata Facility Framework (JSR 175)

Ich habe seit Ende 2016, auf Basis von Informationen, die hauptsächlich von Declan O’Riordan stammen, angenommen, die Grundidee der Interactive Application Security Testing Technik beruhe auf dem Metadata Facility Framework, welches unter dem JSR 175 in Java eingeführt wurde. Matthias Rohr hielt am 23. Oktober 2019 einen Vortrag im Rahmen des OWASP Stammtisches in Hamburg und war über meine Nachfrage, warum er dies unerwähnt gelassen habe, sehr verwundert, da er nur die Instrumentierung des Codes als Schlüssel zum Erfolg darstellte, und so habe ich Jeff Williams, Gründer und (Mit-) Erfinder der Technik und eines der IAST-Tools, direkt via LinkedIn angefragt und die korrigierende Aussage am 27. November 2019 bekommen:

„Hi Jogi – we don’t use JSR175. We use standard Java Instrumentation API. That’s the breakthrough innovation that enabled Contrast to exist. We use all our own sensors and analysis engine on top of that API. We had to invent different instrumentation techniques for .NET, .NET core, Node.js, Ruby and Python.“

Jeff Williams, Co-Founder and CTO at Contrast

Nun, an den Ergebnissen der Technik ist in meinen Präsentationen nichts falsch, da ich sie ja auch selber durchgeführt habe, nur ist es eben etwas anderes, wenn man durch Code-Instrumentierung Aktionen auslöst (Dtrace, den Tracer von Sun, den ich immer als Vergleich auf Betriebsystemebene herangezogen habe, macht dieses nämlich auch!) oder „mitlaufende“ Metadaten analysiert werden. Der Code wird zur Laufzeit in dem Application Container „angefasst“ (verändert) während das bspw. bei Ausnutzung der JSR 175 nicht unbedingt notwendig gewesen wäre, da die Metadaten ja „mitlaufen“.

Danke an Matthias Rohr für den Hinweis, der mich dazu nötigte meine unreflektierte Übernahme einer Aussage nun zu korrigieren. Ich werde die Dokumente, sofern sie unter meiner Kontrolle sind, entsprechend anpassen.