fredag den 13. april 2018

Syv testprincipper - men ikke fra ISTQB



Principle 1: Definition

To test a program is to try to make it fail.

Principle 2: Tests versus specs

Tests are no substitute for specifications.

Principle 3: Regression testing

Any failed execution must yield a test case, to remain a permanent part of the project’s test suite.

Principle 4: Applying oracles

Determining success or failure of tests must be an automatic process.

Principle 4 (variant): Contracts as oracles

Oracles should be part of the program text, as contracts. Determining test success or failure should be an automatic process consisting of monitoring contract satisfaction during execution.

Principle 5: Manual and automatic test cases

An effective testing process must include both manually and automatically produced test cases.

Principle 6: Empirical assessment of testing strategies

Evaluate any testing strategy, however attractive in principle, through objective assessment using explicit criteria in a reproducible testing process.

Principle 7: Assessment criteria

A testing strategy’s most important property is the number of faults it uncovers as a function of time.

mandag den 29. januar 2018

Fra Test Manager til QA Manager

I takt med den generelle udvikling i teknologier og udviklingsmetoder sker der også en afsmitning i forhold til de roller og titler der bruges inden for testverdenen. Da jeg startede i test var der ikke særskilte roller og titler, og slet ikke test manager.

I takt med udbredelsen af de mere dynamiske udviklingsmetoder som agile, DevOps, NEXUS og SAFe nævnes det oftere og oftere, at test manager rollen vil forsvinde eller i hvert fald ændre sig. Forandringen vil være fra udførende til rådgivende og støttende.

Det nævnes også ofte, at scopet/indholdet vil ændre sig, så den 'nye' test manager også har ansvaret for politikker og processer i bredere forstand.

Det er naturligvis en spændende udvikling vi går i møde - og måske skal du i den kommende tid have nye visitkort, og ikke mere tituleres test manger, men måske QA Manager, Test Master, Test Mentor eller Test Coach.

torsdag den 5. oktober 2017

Bliv opdateret på de nyeste trends indenfor test og kvalitet - World Quality Report 2017-18 er her nu

Hvorfor ændringen af QA og Test er en strategisk nødvendighed

Værdien af ​​test og kvalitet integreret i hele livscyklussen for softwareudvikling er åbenbar og en nødvendighed. Og mens vi alle ved, at kvaliteten i dagens it-løsninger er kritisk, ændres det, hvordan test og kvalitetssikringen udføres af nutidens QA og testpersonale, dramatisk. Men skifter det hurtigt nok?

Vi har netop offentliggjort World Quality Report for 2017-18, hvor 1.660 CIO'er og senior it-medarbejdere i 34 forskellige lande er udspurgt, herunder 165 fra de nordiske lande. 25 af disse fra Danmark. Der er en række interessante tendenser, og nogle skuffende udviklinger. Udgivelsen sker i et samarbejde mellem Sogeti, Micro Focus og Capgemini.

Et af årets hovedresultater viser et voksende behov for effektiv QA og test i vores hurtigt skiftende, digitale og komplekse verden. Hele organiseringen af ​​QA og test er ved at ændre sig som svar på dette behov. Fra centraliserede testteams til decentraliserende der bliver integreret i den agile og DevOps-cyklus. 


Kontinuerlig kvalitetssikring

Alligevel rejser denne decentralisering af QA og test spørgsmål, især med den kvalitet, der skal sikres. Den hurtigere frigivelsescyklus i en agil og DevOps-model sammen med et stadig mere komplekst applikationslandskab risikerer alvorlige fejl at blive introduceret i softwaren. Derfor skal det sikres, at der er en kontinuerlig kvalitetssikring af applikationer i hele udviklingsforløbet. Det er vigtigt at få indsigt i, hvilken del af en applikation der bruges, hvordan den bruges, og hvad dens indvirkning er på virksomheden.

Det er imidlertid klart, at mange organisationer mangler denne kontinuerlige kvalitetsvinkel, hvilket er bekymrende. Tanken om, at kvalitet er alles ansvar i den decentrale QA og test organiation inden for DevOps, udgør risikoen for, at det bliver ingens overordnet ansvar. Dette kan sætte hele virksomheden i fare.



En overskuelig online søgning giver en vis fornemmelse af den potentielle forretningsmæssige indvirkning af et kvalitetsproblem, post go live. Disse spænder fra tilbagekaldelse af køretøjer, flyforsinkelser og mislykkede bankbetalinger, til brud på data, butikslukninger og brugerfrustration med nye mobiltelefonfunktioner - alt som skyldes softwarefejl.

Svaret er at genoverveje, hvordan QA og test fungerer inden for udviklingscyklusen. Ved at anerkende behovet for en kontinuerlig kvalitetssyn, kan virksomhederne investere i et kvalitetsdashboard, der giver synlighed i hele produktudviklingscyklusen. De indsamlede oplysninger, som f.eks. brugerfeedback, kan sendes tilbage til QA og test, så de kan fokusere deres indsats på det rigtige, i stedet for at spilde tid på at teste irrelevante softwarekomponenter.


Automatisering er et af nøgleordene – og underforstået automatisering af alle processerne i udviklingsforløbet. Med algoritmisk analyse og dynamisk rapportering i dette dashboard er blot et aspekt af mere intelligensledet QA og test - hvor robotter, maskinindlæring og kunstig intelligens (AI) kan hjælpe med at styre beslutninger om, hvad man skal teste og hvor langt. Det samlede niveau for automatisering, der er registreret i årets World Quality Report er kun 16%, hvilket giver plads til massiv vækst i de kommende år.


En af de tilknyttede services i relation til dette område er et DevOps Readiness Scan, hvor det undersøges, hvor klar virksomheden er til DevOps, herunder anbefalinger for at øge paratheden. Kontakt os for nærmere information og eventuelt tilbud.


En smartere vej fremad


En mere kognitiv tilgang til QA og test med indførelsen af ​​smarte platforme og intelligent automatisering vil bidrage til at løse disse udfordringer. Med så mange flere frigivelser af software i dag bliver det stadig vanskeligere at styre QA og test uden at lave nogle organisatoriske ændringer og integrere smart QA i udviklingslivscyklussen.



Som samlet testindustri er vi ikke der endnu, men i betragtning af fremkomsten af ​​smartere applikationer og produkter, der kræver en integreret, intelligent og automatiseret tilgang til test, er der ikke tid til at vente.


Nordiske lande

Tendensen i de nordiske lande er også klar, og næsten alle adspurgte virksomheden anvender et eller flere af DevOps-principperne i deres udviklingsprocesser. En markant stigning, og fastholdelse af en flot nordisk position.

Anvendelsen af SAFe – altså Scaled Agile Framework – er også markant i de nordiske lande med en 7% anvendelse, hvilket gør de nordiske lande til førende inden for dette felt i forhold til øvrige adspurgte lande.

Anvendelsen af cloud-baserede løsninger er også markant større blandt de nordiske lande end i resten af de adspurgte, så der er en klar tendens om nye strømningerne inden for teknologi og metoder – de udbredes lidt hurtigere blandt de nordiske virksomheder.

Et af de testområder der har markant fokus er sikkerhed, og specielt markant er dette fokus i Danmark – både generelt og i forhold til testdata, hvor alene i Danmark har 60% svaret at det er en udfordring for dem at leve op til de regulatoriske krav (nuværende og kommende) inden for testdata.

Så set fra et nordisk synspunkt er vi godt med, og på en række områder også frontløbere, men har da også vores udfordringerne i en konstant foranderlig verden. World Quality Report 2017-18 kan downloades fra World Quality Report 2017-18 Download 

God fornøjelse med læsningen.

torsdag den 3. august 2017

Test i 30 år - er det ikke nok?

Netop i dag den 3. August 2017 er det præcis 30 år siden jeg startede med softwaretest - rent professionelt. Den 3. August 1987 havde jeg min første arbejdsdag hos LEC i Aarhus, og efter den traditionelle velkomst om formiddagen og frokosten med min daværende chef, skulle han finde på noget at lave til mig.

Projektleder skulle det ikke være endnu, da jeg jo ikke havde nogen erfaring. Udvikler heller ikke, da min baggrund er civiløkonom og ikke datalogi. Så det blev test - uden noget systemkendskab, intet domænekendskab, intet kendskab til test. Gode forudsætninger - eller hvad?

Det er nu blevet til 30 år - dog med et par svinkeærinder som udvikler, projektleder, systemanalytiker - men det er altid endt med test.

Der er dog blevet bygget en del teoretisk viden på siden da, og ikke mindst en masse erfaringer og gode oplevelser.

Men jeg får tit spørgsmålet: 'Ole har du ikke snart testet nok?' - NEJ - overhovedet ikke, det kan jeg blive ved med.

tirsdag den 27. juni 2017

Forbedring af testprocessen.......

Jeg læste en oversigt over tiltag der kan forbedre testprocessen, og dette var punkt 5:

"Keep developers away from test environments."

Er du enig?

fredag den 12. maj 2017

STAReast 2017 - The Testing & Quality Leadership Summit

Fredag var der det traditionelle 'The Testing & Quality Leadership Summit', hvor årets tema var 'Building Your Personal Leadership Skills'.

Typisk er der et par inspirationsindlæg - i år 'Agile Leadership to Empower Your Team' og 'Intentionality: Leading an Intentional Culture'.

Derefter var der en række rundbords-diskussioner om emnerne. Typisk i tre runder - Problem Definitions. Leadership Solutions. Presentation of Results.

En glimrende afslutning på en fantastisk uge på STAReast.

STAReast 2017 - Torsdagens Oplevelser

Så nåede jeg frem til afslutningen på selve konferencedelen af STAReast 2017.

Torsdagen startede med en keynote over temaet 'Step Aside: Stop Leading from the Front' med Bob Galen. Bob Galen er altid en fornøjelse, og meget engageret og levende i sine præsentationer, også denne gang. Hans gennemgående statement var 'We are all Leaders' - som jeg reflekterede noget over i sin keynote, og kom også ind på en række personlige oplevelser gennem sine mange år i branchen. En god start på dagen.

Derefter var der track sessions, og den første var 'Rediscover Exploratory Testing' med Ingo Philipp. Dette var helt klart et af de bedre indlæg - meget engageret, meget levende og meget lærerigt.

Han sammenlignede lidt Exploratory Testing (ET) med Teenage Sex:

Det vakte naturligvis lidt morskab blandt tilhørerne.

Ellers kom Ingo ind på de mange fordele og styrker der er ved ET, og kom også lige omkring Whittakers ET ture:


Ovenstående ET ture skal så anvendes som inspiration for den udforskende test.

Han kom også ind på, hvordan man kan bruge Six Thinking Hats til designet af sin ET. Spændende tanker blev sat igang.

Han sluttede også lige af med et Michael Bolton citat: 'Exploratory testing is not so much a thing that
you do, it’s far more a way you think'.

Efter endnu et besøg på EXPO-området drejede det sig om 'Test Data Management and Its Role in DevOps' med Sunil Sehgal. Et spændende og utroligt vigtigt emne - specielt når det gælder DevOps verdenen:


Ovenstående giver et meget godt overblik over indlægget. Ligesom følgende giver de fire key take aways:


Endnu et spændende indlæg, som var lige ved at kamme over til at være 'køb dette her hos os'.

Derefter var det om 'Infrastructure Testing: The Ultimate Shift Left' med Carl Delmolino and Hitesh Patel. Jeg blev fanget lidt at begrebet 'ultimate shift left' - det var vist lidt salgsgas - eller også havde de glemt hvad der stod i titlen. Et spændende emne ellers 'test af infrastruktur' - alene deres gennemgang, hvad det omfattede af komponenter, basis software, sikkerhed og en række kvalitetskarakteristikker, som vi ikke tænker over så tit.

Den sidste track session var om 'An Agile Testing Dashboard: Metrics that Matter' med Prachi Maini. Jeg har det med indlæg om testprocesforbedring som med metrikker - jeg skal bare se og høre mere og mere og mere - så det var naturligt at vælge dette. Hendes key points kan fremstilles på følgende overblik:



Et spændende statement var automatisering af metrikkerne via API'er. Det giver rigtig god mening, men ikke kun i agilt sammenhæng, men også. Jeg savnede personligt brugen af GQM-metoden - altså Goal, Question, Metric - som en god metode til at sikre at metrikkerne giver den indsigt man ønsker.

Konferencen sluttede af med en keynote 'Navigating the Nuances of Detailed Test Strategy Creation' med Randi Rice. En udemærket afslutning på konferencen - lidt blandede bolcher.

torsdag den 11. maj 2017

STAReast 2017 - Onsdagens Oplevelser

Så blev det tredje dagen på STAReast-konferencen, og dermed en dag med mange flere forskellige indtryk og oplevelser. Hvor mandagen og tirsdagen har været fyldt med halvdags tutorials, så er det om onsdagen, at der er track sessions. Ved track sesions kører der 6 parallelle faglige præsentationer og 3 tekniske præsentationer (sponsorerne) - så der skal tilvælges og fravælges. Udover dette kører der også nogle generelle sessioner kaldet Keynotes.

Morgenen startede med, at Lee Copeland officielt åbnede konferencen, og introducerede den første keynote.

Den første keynote var med emnet 'The Power of Doubt: Becoming a Software Skeptic' med Zeger Van Hese. Det var et indlæg om hans lidt personlige rejse mod skeptisisme og det lidt okulte. En meget god start på, da det var med lidt brede pensler, men alligevel ganske interessant og relevant. Hvis jeg skal uddrage nogen punkter om, hvordan skeptisisme kan hjælpe i test, så er det: (1) Stil spørgsmål, og udfordr svarene. (2) Afvis sikkerhed. (3) Accepter der er ting vi ikke ved. (4) Gør brug af styrken (force) ved skeptisismen.

Det er så populært at opstille manifester, og det skete også her:



Den anden keynote var med emnet 'What Really Happens When You Deliver Software Quickly' med Sally Goble (Head of QA). En spændende fortælling om The Guardian's rejse mod en ny leverancemodel med fokus på time-2-market - og med fokus på ændringen af QA-rollen. Først og fremmest drejede det sig om en holdningsændring, idet der ikke mere er beov for perfekt software - der sker kontinuerlig deploy til produktion, og med op til 100 releases i døgnet, er der mange muligheder for at få rettet fejl. De smed al automatiseret test ud, og begyndte hvad de kaldte 'light touch testing', og som kan udføres af alle i teamet. De havde også indført mottoet 'Not Wrong Long'. Hun nævnte følgende tre hovedindsatsområder:
  1. Gør det muligt for teams at forbedre kvaliteten: Nye og innovative værktøjer, sætte standarder og en væg med de mest anvendte devices.
  2. Find problemerne i produktion hurtigt: Tip værktøjer, overvågning og metrikker.
  3. Crowd source brugerne: Erstattet test med beta versioner, fejlrapporteringsværktøj i app'en og inddragelse af brugerhjælpteamet.
Efter de to keynotes var EXPO'et åbent med 39 stande med forskellige udbydere af værktøjer m.m., herunder en virksomhed som søgte testere (forskellige roller) - det var meget åbent med rekruttering.

Så begyndte de forskellige track sessions, og som før nævnt, dermed også en masse valg - til og fra.

Den første track session jeg valgte var 'AI and Machine Learning for Testers' med Jason Arbon. En spændende, men meget nørdet præsentation. Der var to dele i hans præsentation: Brug af AI i test og test af AI. Jason forsøgte at præsentere, hvordan man skriver kode der tester en app jeg ikke kender? Der var en masse konkrete visninger med eksempler, som var rigtig interessant, men også en række udtalelser - som 'AI erstatter automatiseret test, det sker i dag, det er ikke kun fremtiden, det er her nu'. Men også en udtalelse som var i relation til test af AI - nemlig at teste ved grænserne, altså udfordre udfaldsrummet. Så vi kan godt bruge nogle af testteknikkerne her også.

Derefter var det 'Continuous Context Driven Test Improvement' med Jeroen Mengerink. Når nu der er et emne der omhandler testprocesforbedring - så kan jeg bare ikke lade være. Jeroen opstillede i ny og anderledes måde, at gennemføre assessments på - det var rigtigt spændende, og jeg havde nogle gode diskussioner med ham - MEN MEN MEN: Der var ikke meget nyt. Det han siger kort og godt er, at man altid skal tilpasse sig til situationen - JAMEN, det gør jeg da altid, når jeg laver assessments. Nyt var det til gengæld at formulere forbedringsforslagene som user stories:

As senior IT-director,
I want to increase test efficiency,
so that the testing cost is reduced by 20%

As scrum team member,
I want to automate the regression tests,
so that the effort for regression testing is reduced

As product manager,
I want to increase the release frequency,
so that we will be more competitive.

Dagens sidste track session var med emnet 'The DevOps Challenge: Now Is the Time to Be a Champion of Quality' med Lisa Dronzek. Der er altid en smutter på disse konferencer, og den havde jeg valgt. Det var mere salg af nogle ydelser, og ikke præsentation der dækkede titlen. Skuffende.

Onsdagen sluttede af med 'Lightning Strikes the Keynotes' - hvor der kommer en række indlægsholdere op i 5 minutter, og præsenterer et emne - som sædvanligt både sjovt og interessant. 

onsdag den 10. maj 2017

STAReast 2017 - Tirsdagens Oplevelser

Så er jeg kommet igennem anden dagen af STAReast 2017, og dermed også de sidste 2 tutorials i denne omgang. Generelt vil jeg sige, at niveauet er højt, og dermed er der også et klart udbytte.

Tirsdagens program for mig var de 2 halvdags tutorials jeg valgte forud for konferencen - om formiddagen 'Agile Testing - Team Tactics that Deliver the Goods' og om eftermiddagen 'Requirements Engineering for Testers'.

Den første tutorial var med Bob Galen og Mary Thorn. Det er altid en fornøjelse at deltage hos dem. De er begge megen vidende om det agile. De lagde ud, som sædvanligt, med at definere de 3-Amigos i et agilt team: Product Owner, Tester og Developer. Det er ofte disse tre roller mange ting drejer sig om i det agile team, herunder user stories, backlog forfining m.m.

Nogle gang kommer der nogle statements der giver eftertanke: Kun 10% af PO'erne skriver gode user stories. Den kom meget pludseligt, og jeg nåede desværre ikke at spørge ind til 'kilden' til dette statement.

Risiko-baseret test er ved virkeligt at få sit fodfæste i den agile tænkning - bare for nogle år siden var det næsten 'forbudt' - dette indgik derfor også som en naturlig del af denne tutorial.

Derefter kom vi ind på generering af testideer - her er det vigtigt at tænke 'outside the box', og de kom ind på en række kilder til disse:
  • Capabilities
  • Failure Modes
  • Quality Factors
  • Usage Scenarios 
  • Creative Ideas
  • States
  • Data
  • Environments
  • White Box
  • Taxonomies
 Testideerne skal naturligvis også prioriteres efter den risikobaserede testtilgang. SÅDAN.

Derefter kom de ind på brugen af Mind Map til visuelt at organisere sit testdesign - jeg er helt enig - det er en god, smart og dynamisk måde at arbejde og dokumentere på. Så kom vi forbi brugen af Exploratory Test og Pairwise Test. Det glæder altid mit testerhjerte, når der nævnes testdesignteknikkerne i relation til agile test - igen igen, for få år siden var det nærmest forbudt. Men selvfølgelig kan de anvendes, og argumentet med at man ikke har tid til at bruge dem - den køber jeg ikke rigtigt - tværtimod - jeg har ikke tid til ikke at bruge dem.

En god tutorial - og jeg kan iøvrigt anbefale at besøge Bob's hjemmeside: www.rgalen.com

Dagens anden tutorial var 'Requirements Engineering for Testers' med Erik van Veenendaal. En fantastisk og meget relevant tutorial. Der er mange interessenter til udarbejdelse af krav - alle med forskellige mål.

Erik oplistede grundlæggende tre typer af krav:
  • Funktionelle krav - hvad skal systemet kunne gøre
  • Ikke-funktionelle krav - hvor godt skal systemet......f.eks. performance, brugervenlighed m.m.
  • Begrænsninger (constraints) - i forhold til systemets/produktets design eller scope.
Kravprocessen blev også gennemgået:

  1. Kick-Off phase
  2. Requirements gathering
  3. Requirements specification
  4. V&V
  5. Requirements management.
Ovenstående proces virker meget sekventiel, og fungerer også i det agile - dog nok ikke så lineær, men aktiviteterne gennemføres (og kaldes måske noget andet. Han præsenterede også et 'Requirements Card':

Det giver faktisk en god struktur, og vi prøvede dem også af.
 
Det blev også anbefalet at udarbejde regler til/om sine krav, og klart definere, hvilke felter der hører med - se kortet. Brug template. Brug SMART-konceptet. Brug INVEST-konceptet ved user stories.

INVEST står for I (Independent), N (Negotiable), V (Valuable), E (Estimable), S (Small) og T (Testable).

Alt i alt en god tutorial, og en god dag, med mange indtryk og oplevelser.




tirsdag den 9. maj 2017

STAReast 2017 - Mandagens Oplevelser

Så gik starten på årets STAReast 2017 i Orlando (Florida). Mandagens program bestod af 2 heldags tutorials og 12 halvdags tutorials - typisk udfordring for en tester - vil gerne det hele, men der er det problem, at man jo kun kan være et sted af gangen. Så der skal foretages et valg - og det sker typisk ved tilmeldingen - en heldags tutorial eller to halvdags - og emnet skal også vælges på forhånd. Mine valg for mandagen var om emnerne 'Influence Diagrams: A New Way to Understand Testing' med Isabel Evans og 'Applying Emotional Intelligence in Your Testing' med Julie Gardiner.

Den første tutorial var med Isabel Evans. I det følgende vil jeg omtale Influence Diagrams med forkortelsen ID. ID er en visuel repræsentation af hvad der sker og hvad der forventes at ske derefter. Her er vist en simpelt ID:

 
Ovenstående ID viser desto mere solskin desto flere turister, og jo flere turister desto færre ledige parkeringspladser vil der være. Det er selvfølgelig et simpelt eksempel, men det illustrerer meget godt hvad det drejer sig om. 

Basalt set har man behov for et whiteboard eller masser af papir, penne/tuscher, et par hjerner for at kunne konstruere. Med et par hjerner menes at to tænker bedre og anderledes end en.

Det viste sig dog i praksis, at det gav lidt flere udfordringer at lave disse ID'er - men øvelse gør vel mester, og i dette tilfælde.

Nedenstående ID viser softwaretest:

 
Jeg synes det er en spændende teknik, og min forventning da jeg valgte denne tutorial var, at det var en metode jeg kunne bruge når jeg arbejder med modenhedsvurdering og testprocesforbedring. Specielt når jeg skal analysere årsager m.m.

Så den første tutorial gav et godt udbytte. Som tester kan man jo altid finde kritikpunkter og detaljer man selv ville have gjort anderledes, men jeg kom helt sikkert fra denne tutorial med noget jeg kunne bruge og forventes at anvende fremover - skal nok lige øve mig før det kører gnidningsfrit.

Så var det den anden tutorial med Julie Gardiner. Emnet var Emotional Intelligence (herefter EI), Budskabet var at EI ofte blev vurderet til at være vigtigere end IQ. Det var en tutorial, hvor man skulle reflektere om og med sig selv - så hele tanken var det der blev sagt og gjort på denne tutorial forblev der. EI drejer sig om at bruge vor forståelse af følelser, både vor egne og andres, og gøre vor ageren endnu bedre for os selv og andre.

Der blev refereret forskning der viste at 70% af lederne lagte større vægt på EI end IQ. Julie omtalte Sheldon Cooper fra Big Bang Theory, som et godt eksempel på en person med (meget) høj IQ, men (meget) lav EI. Årsagerne til at foretrække høj EI er bl.a. at de personer forbliver rolige under pres, de er empatiske og agerer efter det, lead by example, beslutninger tages med forretningsmæssigt udgangspunkt, de håndterer konflikter effektivt.

Det var en god rejse gennem EI universet, og med meget selvreflektion.

EI har jeg stødt på flere gange - herunder på ISTQB Expert Kurserne - men dette var en meget levende og fantastisk tutorial - meget på grund af personen Julie Gardiner. 

Tutorial to var altså også en god oplevelse.