torsdag den 3. august 2017

Test i 30 år - er det ikke nok?

Netop i dag den 3. August 2017 er det præcis 30 år siden jeg startede med softwaretest - rent professionelt. Den 3. August 1987 havde jeg min første arbejdsdag hos LEC i Aarhus, og efter den traditionelle velkomst om formiddagen og frokosten med min daværende chef, skulle han finde på noget at lave til mig.

Projektleder skulle det ikke være endnu, da jeg jo ikke havde nogen erfaring. Udvikler heller ikke, da min baggrund er civiløkonom og ikke datalogi. Så det blev test - uden noget systemkendskab, intet domænekendskab, intet kendskab til test. Gode forudsætninger - eller hvad?

Det er nu blevet til 30 år - dog med et par svinkeærinder som udvikler, projektleder, systemanalytiker - men det er altid endt med test.

Der er dog blevet bygget en del teoretisk viden på siden da, og ikke mindst en masse erfaringer og gode oplevelser.

Men jeg får tit spørgsmålet: 'Ole har du ikke snart testet nok?' - NEJ - overhovedet ikke, det kan jeg blive ved med.

tirsdag den 27. juni 2017

Forbedring af testprocessen.......

Jeg læste en oversigt over tiltag der kan forbedre testprocessen, og dette var punkt 5:

"Keep developers away from test environments."

Er du enig?

fredag den 12. maj 2017

STAReast 2017 - The Testing & Quality Leadership Summit

Fredag var der det traditionelle 'The Testing & Quality Leadership Summit', hvor årets tema var 'Building Your Personal Leadership Skills'.

Typisk er der et par inspirationsindlæg - i år 'Agile Leadership to Empower Your Team' og 'Intentionality: Leading an Intentional Culture'.

Derefter var der en række rundbords-diskussioner om emnerne. Typisk i tre runder - Problem Definitions. Leadership Solutions. Presentation of Results.

En glimrende afslutning på en fantastisk uge på STAReast.

STAReast 2017 - Torsdagens Oplevelser

Så nåede jeg frem til afslutningen på selve konferencedelen af STAReast 2017.

Torsdagen startede med en keynote over temaet 'Step Aside: Stop Leading from the Front' med Bob Galen. Bob Galen er altid en fornøjelse, og meget engageret og levende i sine præsentationer, også denne gang. Hans gennemgående statement var 'We are all Leaders' - som jeg reflekterede noget over i sin keynote, og kom også ind på en række personlige oplevelser gennem sine mange år i branchen. En god start på dagen.

Derefter var der track sessions, og den første var 'Rediscover Exploratory Testing' med Ingo Philipp. Dette var helt klart et af de bedre indlæg - meget engageret, meget levende og meget lærerigt.

Han sammenlignede lidt Exploratory Testing (ET) med Teenage Sex:

Det vakte naturligvis lidt morskab blandt tilhørerne.

Ellers kom Ingo ind på de mange fordele og styrker der er ved ET, og kom også lige omkring Whittakers ET ture:


Ovenstående ET ture skal så anvendes som inspiration for den udforskende test.

Han kom også ind på, hvordan man kan bruge Six Thinking Hats til designet af sin ET. Spændende tanker blev sat igang.

Han sluttede også lige af med et Michael Bolton citat: 'Exploratory testing is not so much a thing that
you do, it’s far more a way you think'.

Efter endnu et besøg på EXPO-området drejede det sig om 'Test Data Management and Its Role in DevOps' med Sunil Sehgal. Et spændende og utroligt vigtigt emne - specielt når det gælder DevOps verdenen:


Ovenstående giver et meget godt overblik over indlægget. Ligesom følgende giver de fire key take aways:


Endnu et spændende indlæg, som var lige ved at kamme over til at være 'køb dette her hos os'.

Derefter var det om 'Infrastructure Testing: The Ultimate Shift Left' med Carl Delmolino and Hitesh Patel. Jeg blev fanget lidt at begrebet 'ultimate shift left' - det var vist lidt salgsgas - eller også havde de glemt hvad der stod i titlen. Et spændende emne ellers 'test af infrastruktur' - alene deres gennemgang, hvad det omfattede af komponenter, basis software, sikkerhed og en række kvalitetskarakteristikker, som vi ikke tænker over så tit.

Den sidste track session var om 'An Agile Testing Dashboard: Metrics that Matter' med Prachi Maini. Jeg har det med indlæg om testprocesforbedring som med metrikker - jeg skal bare se og høre mere og mere og mere - så det var naturligt at vælge dette. Hendes key points kan fremstilles på følgende overblik:



Et spændende statement var automatisering af metrikkerne via API'er. Det giver rigtig god mening, men ikke kun i agilt sammenhæng, men også. Jeg savnede personligt brugen af GQM-metoden - altså Goal, Question, Metric - som en god metode til at sikre at metrikkerne giver den indsigt man ønsker.

Konferencen sluttede af med en keynote 'Navigating the Nuances of Detailed Test Strategy Creation' med Randi Rice. En udemærket afslutning på konferencen - lidt blandede bolcher.

torsdag den 11. maj 2017

STAReast 2017 - Onsdagens Oplevelser

Så blev det tredje dagen på STAReast-konferencen, og dermed en dag med mange flere forskellige indtryk og oplevelser. Hvor mandagen og tirsdagen har været fyldt med halvdags tutorials, så er det om onsdagen, at der er track sessions. Ved track sesions kører der 6 parallelle faglige præsentationer og 3 tekniske præsentationer (sponsorerne) - så der skal tilvælges og fravælges. Udover dette kører der også nogle generelle sessioner kaldet Keynotes.

Morgenen startede med, at Lee Copeland officielt åbnede konferencen, og introducerede den første keynote.

Den første keynote var med emnet 'The Power of Doubt: Becoming a Software Skeptic' med Zeger Van Hese. Det var et indlæg om hans lidt personlige rejse mod skeptisisme og det lidt okulte. En meget god start på, da det var med lidt brede pensler, men alligevel ganske interessant og relevant. Hvis jeg skal uddrage nogen punkter om, hvordan skeptisisme kan hjælpe i test, så er det: (1) Stil spørgsmål, og udfordr svarene. (2) Afvis sikkerhed. (3) Accepter der er ting vi ikke ved. (4) Gør brug af styrken (force) ved skeptisismen.

Det er så populært at opstille manifester, og det skete også her:



Den anden keynote var med emnet 'What Really Happens When You Deliver Software Quickly' med Sally Goble (Head of QA). En spændende fortælling om The Guardian's rejse mod en ny leverancemodel med fokus på time-2-market - og med fokus på ændringen af QA-rollen. Først og fremmest drejede det sig om en holdningsændring, idet der ikke mere er beov for perfekt software - der sker kontinuerlig deploy til produktion, og med op til 100 releases i døgnet, er der mange muligheder for at få rettet fejl. De smed al automatiseret test ud, og begyndte hvad de kaldte 'light touch testing', og som kan udføres af alle i teamet. De havde også indført mottoet 'Not Wrong Long'. Hun nævnte følgende tre hovedindsatsområder:
  1. Gør det muligt for teams at forbedre kvaliteten: Nye og innovative værktøjer, sætte standarder og en væg med de mest anvendte devices.
  2. Find problemerne i produktion hurtigt: Tip værktøjer, overvågning og metrikker.
  3. Crowd source brugerne: Erstattet test med beta versioner, fejlrapporteringsværktøj i app'en og inddragelse af brugerhjælpteamet.
Efter de to keynotes var EXPO'et åbent med 39 stande med forskellige udbydere af værktøjer m.m., herunder en virksomhed som søgte testere (forskellige roller) - det var meget åbent med rekruttering.

Så begyndte de forskellige track sessions, og som før nævnt, dermed også en masse valg - til og fra.

Den første track session jeg valgte var 'AI and Machine Learning for Testers' med Jason Arbon. En spændende, men meget nørdet præsentation. Der var to dele i hans præsentation: Brug af AI i test og test af AI. Jason forsøgte at præsentere, hvordan man skriver kode der tester en app jeg ikke kender? Der var en masse konkrete visninger med eksempler, som var rigtig interessant, men også en række udtalelser - som 'AI erstatter automatiseret test, det sker i dag, det er ikke kun fremtiden, det er her nu'. Men også en udtalelse som var i relation til test af AI - nemlig at teste ved grænserne, altså udfordre udfaldsrummet. Så vi kan godt bruge nogle af testteknikkerne her også.

Derefter var det 'Continuous Context Driven Test Improvement' med Jeroen Mengerink. Når nu der er et emne der omhandler testprocesforbedring - så kan jeg bare ikke lade være. Jeroen opstillede i ny og anderledes måde, at gennemføre assessments på - det var rigtigt spændende, og jeg havde nogle gode diskussioner med ham - MEN MEN MEN: Der var ikke meget nyt. Det han siger kort og godt er, at man altid skal tilpasse sig til situationen - JAMEN, det gør jeg da altid, når jeg laver assessments. Nyt var det til gengæld at formulere forbedringsforslagene som user stories:

As senior IT-director,
I want to increase test efficiency,
so that the testing cost is reduced by 20%

As scrum team member,
I want to automate the regression tests,
so that the effort for regression testing is reduced

As product manager,
I want to increase the release frequency,
so that we will be more competitive.

Dagens sidste track session var med emnet 'The DevOps Challenge: Now Is the Time to Be a Champion of Quality' med Lisa Dronzek. Der er altid en smutter på disse konferencer, og den havde jeg valgt. Det var mere salg af nogle ydelser, og ikke præsentation der dækkede titlen. Skuffende.

Onsdagen sluttede af med 'Lightning Strikes the Keynotes' - hvor der kommer en række indlægsholdere op i 5 minutter, og præsenterer et emne - som sædvanligt både sjovt og interessant. 

onsdag den 10. maj 2017

STAReast 2017 - Tirsdagens Oplevelser

Så er jeg kommet igennem anden dagen af STAReast 2017, og dermed også de sidste 2 tutorials i denne omgang. Generelt vil jeg sige, at niveauet er højt, og dermed er der også et klart udbytte.

Tirsdagens program for mig var de 2 halvdags tutorials jeg valgte forud for konferencen - om formiddagen 'Agile Testing - Team Tactics that Deliver the Goods' og om eftermiddagen 'Requirements Engineering for Testers'.

Den første tutorial var med Bob Galen og Mary Thorn. Det er altid en fornøjelse at deltage hos dem. De er begge megen vidende om det agile. De lagde ud, som sædvanligt, med at definere de 3-Amigos i et agilt team: Product Owner, Tester og Developer. Det er ofte disse tre roller mange ting drejer sig om i det agile team, herunder user stories, backlog forfining m.m.

Nogle gang kommer der nogle statements der giver eftertanke: Kun 10% af PO'erne skriver gode user stories. Den kom meget pludseligt, og jeg nåede desværre ikke at spørge ind til 'kilden' til dette statement.

Risiko-baseret test er ved virkeligt at få sit fodfæste i den agile tænkning - bare for nogle år siden var det næsten 'forbudt' - dette indgik derfor også som en naturlig del af denne tutorial.

Derefter kom vi ind på generering af testideer - her er det vigtigt at tænke 'outside the box', og de kom ind på en række kilder til disse:
  • Capabilities
  • Failure Modes
  • Quality Factors
  • Usage Scenarios 
  • Creative Ideas
  • States
  • Data
  • Environments
  • White Box
  • Taxonomies
 Testideerne skal naturligvis også prioriteres efter den risikobaserede testtilgang. SÅDAN.

Derefter kom de ind på brugen af Mind Map til visuelt at organisere sit testdesign - jeg er helt enig - det er en god, smart og dynamisk måde at arbejde og dokumentere på. Så kom vi forbi brugen af Exploratory Test og Pairwise Test. Det glæder altid mit testerhjerte, når der nævnes testdesignteknikkerne i relation til agile test - igen igen, for få år siden var det nærmest forbudt. Men selvfølgelig kan de anvendes, og argumentet med at man ikke har tid til at bruge dem - den køber jeg ikke rigtigt - tværtimod - jeg har ikke tid til ikke at bruge dem.

En god tutorial - og jeg kan iøvrigt anbefale at besøge Bob's hjemmeside: www.rgalen.com

Dagens anden tutorial var 'Requirements Engineering for Testers' med Erik van Veenendaal. En fantastisk og meget relevant tutorial. Der er mange interessenter til udarbejdelse af krav - alle med forskellige mål.

Erik oplistede grundlæggende tre typer af krav:
  • Funktionelle krav - hvad skal systemet kunne gøre
  • Ikke-funktionelle krav - hvor godt skal systemet......f.eks. performance, brugervenlighed m.m.
  • Begrænsninger (constraints) - i forhold til systemets/produktets design eller scope.
Kravprocessen blev også gennemgået:

  1. Kick-Off phase
  2. Requirements gathering
  3. Requirements specification
  4. V&V
  5. Requirements management.
Ovenstående proces virker meget sekventiel, og fungerer også i det agile - dog nok ikke så lineær, men aktiviteterne gennemføres (og kaldes måske noget andet. Han præsenterede også et 'Requirements Card':

Det giver faktisk en god struktur, og vi prøvede dem også af.
 
Det blev også anbefalet at udarbejde regler til/om sine krav, og klart definere, hvilke felter der hører med - se kortet. Brug template. Brug SMART-konceptet. Brug INVEST-konceptet ved user stories.

INVEST står for I (Independent), N (Negotiable), V (Valuable), E (Estimable), S (Small) og T (Testable).

Alt i alt en god tutorial, og en god dag, med mange indtryk og oplevelser.




tirsdag den 9. maj 2017

STAReast 2017 - Mandagens Oplevelser

Så gik starten på årets STAReast 2017 i Orlando (Florida). Mandagens program bestod af 2 heldags tutorials og 12 halvdags tutorials - typisk udfordring for en tester - vil gerne det hele, men der er det problem, at man jo kun kan være et sted af gangen. Så der skal foretages et valg - og det sker typisk ved tilmeldingen - en heldags tutorial eller to halvdags - og emnet skal også vælges på forhånd. Mine valg for mandagen var om emnerne 'Influence Diagrams: A New Way to Understand Testing' med Isabel Evans og 'Applying Emotional Intelligence in Your Testing' med Julie Gardiner.

Den første tutorial var med Isabel Evans. I det følgende vil jeg omtale Influence Diagrams med forkortelsen ID. ID er en visuel repræsentation af hvad der sker og hvad der forventes at ske derefter. Her er vist en simpelt ID:

 
Ovenstående ID viser desto mere solskin desto flere turister, og jo flere turister desto færre ledige parkeringspladser vil der være. Det er selvfølgelig et simpelt eksempel, men det illustrerer meget godt hvad det drejer sig om. 

Basalt set har man behov for et whiteboard eller masser af papir, penne/tuscher, et par hjerner for at kunne konstruere. Med et par hjerner menes at to tænker bedre og anderledes end en.

Det viste sig dog i praksis, at det gav lidt flere udfordringer at lave disse ID'er - men øvelse gør vel mester, og i dette tilfælde.

Nedenstående ID viser softwaretest:

 
Jeg synes det er en spændende teknik, og min forventning da jeg valgte denne tutorial var, at det var en metode jeg kunne bruge når jeg arbejder med modenhedsvurdering og testprocesforbedring. Specielt når jeg skal analysere årsager m.m.

Så den første tutorial gav et godt udbytte. Som tester kan man jo altid finde kritikpunkter og detaljer man selv ville have gjort anderledes, men jeg kom helt sikkert fra denne tutorial med noget jeg kunne bruge og forventes at anvende fremover - skal nok lige øve mig før det kører gnidningsfrit.

Så var det den anden tutorial med Julie Gardiner. Emnet var Emotional Intelligence (herefter EI), Budskabet var at EI ofte blev vurderet til at være vigtigere end IQ. Det var en tutorial, hvor man skulle reflektere om og med sig selv - så hele tanken var det der blev sagt og gjort på denne tutorial forblev der. EI drejer sig om at bruge vor forståelse af følelser, både vor egne og andres, og gøre vor ageren endnu bedre for os selv og andre.

Der blev refereret forskning der viste at 70% af lederne lagte større vægt på EI end IQ. Julie omtalte Sheldon Cooper fra Big Bang Theory, som et godt eksempel på en person med (meget) høj IQ, men (meget) lav EI. Årsagerne til at foretrække høj EI er bl.a. at de personer forbliver rolige under pres, de er empatiske og agerer efter det, lead by example, beslutninger tages med forretningsmæssigt udgangspunkt, de håndterer konflikter effektivt.

Det var en god rejse gennem EI universet, og med meget selvreflektion.

EI har jeg stødt på flere gange - herunder på ISTQB Expert Kurserne - men dette var en meget levende og fantastisk tutorial - meget på grund af personen Julie Gardiner. 

Tutorial to var altså også en god oplevelse.

 

mandag den 8. maj 2017

STAReast 2017 - Det Hele Starter Om 2 Timer

Så skal vi til det igen - en uge med en masse nye indtryk, oplevelser og ny lærdom.

Stedet er Orlando i Florida, emnet er softwaretest, konferencen er STAReast, året er 2017.

Konceptet følger de andre års - mandag og tirsdag er der hel- eller halvdags tutorials, onsdag og torsdag keynotes og de kortere konferenceindlæg, og fredag sluttes af med en heldags session om ledelse i test og kvalitet.

Jeg vil på denne blog skrive indlæg hele ugen om de forskellige præsentationer, indlæg og indtryk. Mandag deltager jeg i 2 halvdags tutorials, og det samme tirsdag. De er valgt på forhånd, og heldigvis var jeg i lidt god tid med reservationen, da de godt kan være 'udsolgt'.

De to tutorials mandag er 'Influence Diagrams: A New Way to Understand Testing' med Isabel Evans og 'Applying Emotional Intelligence in Your Testing' med Julie Gardiner. Tirsdag deltager jeg i 'Agile Testing: Team Tactics that Deliver the Good' med Bob Galen og Mary Thorn og 'Requirements Engineering for Testers' med Erik van Veenendaal.

Jeg har store forventninger til ugen, og glæder mig utroligt meget, og også denne gang har jeg lovet mig selv at skrive mindst et blogindlæg pr. dag om indtryk, oplevelser og reflektioner.

torsdag den 9. februar 2017

World Quality Report 2016-17

Ventet med længsel - så kom den endelig - årets World Quality Report 2016-17 i samarbejde med HPE, Sogeti og søsterselskabet Capgemini. Ventet med længsel fordi rapporten opsummerer tilstanden for test- og kvalitetsområdet. Denne rapport er udarbejdet med baggrund i 1.600 interviews fra 21 lande og fordelt på 10 forskellige brancher/sektorer.

De fem vigtigste key-findings er:
  1. Digital Transformation continues to drive IT strategy and make itself felt in the QA and Testing function.
  2. Agile and DevOps continue to grow in adoption, with QA making a corresponding move.
  3. The emergence of Internet of Things functionality i a disrupting force with the potential to increase the impact of failure.
  4. The challenges around managing and driving down the cost of test environment management are growing.
  5. The continued requirement to find efficiencies at every level in QA and Testing remains evident despite this year's success in containing costs.
Dette har resulteret i følgende key-recommendations:
  1. Invest in intelligent self-learning QA and Testing platforms for all areas of the application landscape.
  2. Adopt a QA approach for DevOps, agile and traditional - powered by enablement teams that help to truly shift left quality.
  3. Invest in as-a-service solutions for test environment management, test data management and test execution.
  4. Develop Internet of Things-specific test strategies.
  5. Manage quality with simple balanced scorecards per Line of Business and per application or process.
Årets World Quality Report kan downloades her:

https://www.capgeminisogeti.dk/om-os/publikationer/rapporter/world-quality-report-2016-2017/

søndag den 20. november 2016

10 bedste teststyringsværktøjer

Jeg har fundet denne oversigt over de 10 bedste teststyringsværktøjer - det er baseret på en undersøgelse/vurdering ud fra en række kriterier om, hvor godt det enkelte værktøjer understøtter teststyring, testplanlægning, testafvikling, rapportering, opgavestyring, herunder fejlhåndtering og øvrige features som import/export, integrationer m.m.

Listen er følgende:
  1. TestRail
  2. TestLink
  3. JIRA + Zephyr
  4. PractiTest
  5. qTest
  6. TestCollab
  7. TestLodge
  8. QACoverage
  9. TestCaseLab
  10. EasyQA
Kender du disse værktøjer og er du enig/uenig i vurderingen - så hører jeg gerne nærmere.

lørdag den 20. august 2016

PSQT - Fredagens Workshop og Oplevelser

Så kom jeg til konference ugens sidste dag. En hård uge, men udbytterig. Fredagens indhold er workshops - og jeg havde tilmeldt mig 'Leading an Effective Test Organization with a High Performance Test Team' med Thomas Staab som instruktør. Denne workshop var også modul 4 i IIST's certificeringsprogram CTM (Certified Test Manager).

Thomas Staab indledte med at pointere, at der var nogle nøgleord i titlen på workshoppen: Team, High Performance og Lead. Derefter fulgte en diskussion om disse nøgleord, herunder forskellige typer af teams: Permanente, Virtuelle, Midlertidige.

Så diskuterede vi de forskellige stadier i teamets udvikling med udgangspunkt i FORM, STORM, NORM, PERFORM:


Instruktøren havde dog udvidet den til også at omfatte MOURN, som var en anderledes og spændende udvidelse - idet det ofte hænder når der sker ændringer i teamet.

Derefter diskuterede vi 'the ideal team player' - og han præsenterede tre typer The Pawn (Humble), The Bulldozer (Hungry) og The Charmer (People Smart), herunder forskellige kombinationer af disse. En spændende diskussion fulgte, og forsøgte at sætte os selv ind i typerne.

Så var det tid til at gennemgå Team Building, og der blev de 12 C'er gennemgået:

  1. Clear Expectations
  2. Context
  3. Commitment
  4. Competence
  5. Charter
  6. Control
  7. Collaboration
  8. Communications
  9. Creative Innovation
  10. Consequences
  11. Coordination
  12. Culture Change
Derefter fulgte en gennemgang af udfordringerne ved at lede virtuelle teams, og de er jo rimeligt velkendte - men altid interessant at kigge på i en mere og mere distribueret hverdag.

Så kom emnet 'Resource Management', og herunder emnet 'Multi-Generation Workforce'. Instruktøren præsenterede fire generationer: Traditionalists (Født 1909 - 1945), Baby Boomers (Født 1946 - 1964), Generation X (Født 1965 - 1980) og Generation Y (Født efter 1980). Herefter blev karakteristika for disse fire generationer præsenteret med tilhørende relevante billeder fra musikkens verden. Derefter en god drøftelse af udfordringerne med disse generationer, og deres styrker/svagheder, og selvfølgelig sat ind i kontekst af teamwork.

Så kom diskussion om 'Multi-Cultural Workforce', hvilket åbenbart er meget forskellige i USA i forhold til Danmark - så det vil jeg ikke behandle yderligere.

Så kom vi til 'High Performance Teams' og indledningen var:

  1. Has defined what success looks like
  2. Actions are guided by specific values
  3. Made up of the right people
  4. People in the right places
  5. Identified barriers to success
  6. Planned to eliminate or minimize barriers
  7. Conduct periodic progress evaluations
Karakteristikken af et High Performance Team kan illustreres som følger:


Følgende 'trust model' blev også diskuteret, og sat ind i konteksten:


Nogle rigtige spændende drøftelser, og det har sat gang i nogle ideer og tanker hos mig, som jeg lige skal have 'efterbehandlet'.

Derefter diskuterede vi 'Leadership vs Management', 'Politics' og 'Ethics'.

En god og lang dag om teams, men absolut udbytterig.

fredag den 19. august 2016

PSQT - Torsdagens Oplevelser

Så nåede vi til den anden dag med track sessions, og dermed en række til- og fravalg. Men det viser også noget om både bredden og dybden inden for testområdet.

Dagen startede med et hot emne nemlig sikkerhed i form af key noten 'Best Practices for a Mature Application Security Program' med Kevin Poniatowki. Et spændende indlæg der klart viser, at dette område bør jeg nok sætte mig mere ind i - dette skal ses i lyset af tidligere kommentarer/indlæg på denne blog om IoT m.m.

Derefter fulgte track sessions, og den første jeg deltog i var 'Zero SAP Application Defects' med David Pickrell.

Han startede med et statement, som han ofte oplever hos forskellige kunder - 'Jamen, vi har da købt et standardsystem, og SAP laver vel al testen......' - et udsagn som er set og hørt før - både om SAP men også om alle andre leverandører af standardsystemer.

SAP ændres konstant - ABAP/Java ændringer, konfigurationsændringer, ændringer i roller og autorisationer og master data. Han viste et eksempel på en af de seneste opgraderinger fra SAP, som omfattede 948 service packs og 3.953.759 objects - dette viser klart,at effektanalysen af disse ændringer (impact analysis) er utrolig stor.

Så de store udfordringer er bl.a. effektanalysen, testdækning, testgaps, og hvad skal vi teste? Dette illustrerede han i følgende oversigt:


Derefter viste han et værktøj, som kunne hjælpe med disse udfordringer i forbindelse med opgradering af SAP, og som i nogle tilfælde havde fået testen til at blive reduceret med 85%. Dette værktøj kan også integreres med Solution Manager i SAP. Et interessant indlæg, som viste håndteringen af et helt praktisk problem.

Det næste indlæg jeg deltog i var 'An Enterprise Test Strategy for Success' med Susan Schanta. Hun havde et indlæg om en case, hvor hun skulle udarbejde en organisatorisk teststrategi, og i stedet for at tage et traditionelt udgangspunkt - så tog hun udgangspunkt i en mission om, at formålet skulle være at reducere virksomhedens kvalitetsomkostninger, og fokus skulle skifte fra test til kvalitet.

Hendes udgangspunkt var denne figur (Juran et al.), som viser noget om de forskellige kvalitetsomkostninger og det samlede minimum:


Denne figur er faktisk god som dialog værktøj, og som jeg ofte selv bruger når jeg skal i dialog med en ledelse omkring begrebet kvalitetsomkostninger. Figuren viser den principielle sammenhæng mellem kvalitet og omkostninger. Prevention cost er omkostninger til forebyggelse og fejlfinding, og failure cost er omkostninger til interne og eksterne afvigelser. Ved stigende kvalitetsniveau vil failure cost falde og samtidig ved prevention cost stige - figuren viser også det optimale kvalitetsniveau - nemlig der hvor de samlede omkostninger har et minimum - helt traditionelt sund økonomisk tænkning.

Hendes udgangspunkt var spændende, og som hun sagde - dette 'change the conversation'. Strukturen af den organisatoriske teststrategi lignede meget den traditionelle (ISO 29119), men indholdet er helt sikkert anderledes.

Hun omtalte også noget anden spændende - nemlig en 'Productivity Loss Log' - hver gang der var forsinkelser, ændringer m.m. som påvirkede testen - så blev det noteret på denne log, herunder også hvad det kostede. Hun havde også etableret nogle 'Governance Councils' dækkende Automation, Performance, Test Data og Test Environments - med deltagere fra relevante interessenter, og der blev det løbende behandlet hvad der skulle til for at få disse ting til at fungere og være optimale i situationen. En spændende ide, som jeg har noteret mig.

Dagens tredje track session var over emnet 'Test Management by Entities' med Jim Trentadue. Jeg havde valgt dette emne forbi jeg ganske enkelt ikke forstod titlen. Indlægget var et forsøg på at strukturere test inden for nogle 'entiteter' som han kaldte det - altså kombinere roller, ansvar og aktiviteter. Det faglige indhold var ikke særlig stort, men hans form - med utrolig meget dialog og diskussion var til gengæld spændende, og det mestrerede han ganske godt. En af konklusionerne var, at der ikke inden for IT er en disciplin med så meget koordinering som test.

Den sidste track session var 'Driving Ambiguities Out of Requirements through Stronger Test Analysis Techniques' med Susan Schanta. Dette indlæg omhandlede i korte træk - brug vore kendte testteknikker allerede som en del af review. Dårlige krav koster, og derfor bør der være en stor interesse i at forretningsanalytikere og testere samarbejde - deres job er to sider af samme mønt.

Krav drejer sig om 'WHAT (WHO WHEN WHERE WHY), but NOT HOW'. WHAT er forretningen og HOW er IT. Hun kom med en række eksempler på 'dårlige krav' - og hvad konsekvensen havde været for projekterne.

Alt i alt et spændende indlæg, som klar viser at der bør være et højere grad af partnerskab mellem BA og QA, herunder ved udarbejdelsen af tjeklister m.m. Et af budskaberne var også, at kvalitetsomkostningerne kunne reduceres ved at tage krav alvorligt - man betaler altid, nu eller senere, men ved at betale nu kan det ofte være billigere i det lange løb.

Dagens sidste aktivitet var en key note over emnet 'Quality Challenges in the Internet of Things Era' med Phillip Lew. Dejligt med en afsluttende key note over et emne jeg har behandlet nogle gange - derfor henviser jeg bare til disse.

Det var så fjerde dagen af det samlede konferenceforløb. Fredagen venter med en workshop der varer hele dagen.


torsdag den 18. august 2016

PSQT - Onsdagens Oplevelser

Så blev det onsdag her i San Diego på PSQT-Konferencen, og dermed den første dag med track sessions - i dette tilfælde 5 parallelle spor, som der skal vælges mellem. Dagen startede og sluttede med key notes, hvor der kun er den ene mulighed.

Dagen startede med åbningsseancen, som var relativ kort og ganske uformel, hvorefter ordet blev givet til Jennifer Bonine til key noten 'Testing Leadership in the Age of Digital Transformation - Are You Adapting?'.

Key noten var indledningsvis en sjov tur ned af 'memory lane', hvor der blev kigget på nogle af de teknologiske fremskridt der var sket de sidste 20 år, herunder også hvornår de skete - nogle gange oplever man jo at den-og-den ting 'altid' har været der, og så viser det sig, at den kun har været på markedet i 8, 9 eller 10 år, eller måske kortere tid.

Jeg fik også fastslået, at jeg er en uddøende race, idet jeg faktisk foretrækker 'fysiske' bøger frem for digitale - jeg bruger digitale versioner af mange af mine bøger, og kan da sagtens se fordelen - vægt, plads m.m. - men jeg foretrækker nu engang de fysiske.

Men ellers gik det over en karakteristik af den moderne 'connectede' menneske, som ikke kan være væk fra de sociale medier et kort øjeblik, herunder de udfordringer der kommer når den 'connectede' generation kommer fuldt ud på arbejdsmarkedet.

Derefter fortsatte key noten over i en drøftelse af IoT, og den påvirkning det giver, og vil give, på vores verden. Men nu skal det jo også handle om test - og der nåede Jennifer frem til at security er noget vi alle skal kende noget til i IoT-verdenen.

I en verden, hvor man 3D printer reservedele til fly - prøv at tænke på, hvis nogle 'onde' personer kunne ændre indstillingerne - så øges risikoen for ulykker. Eller pacemakeren, som kan indstilles via netværket - f.eks. af konen - så betyder det også at den 'sure' kone kan slukke den - så SECURITY er fremtidens fokusområde, sammen med alt det andet.

Men netop med sådanne udfordringer er læring og uddannelse vigtig - og det skal vi huske inden for test. Vi skal altid være villige til at lære nyt - nye teknologier, nye trusler, nye vinkler. Og specielt, hvis man er 'vant' til at teste funktionalitet, og ikke så meget de ikke-funktionelle kvalitetskarakteristikker - så skal man være vågen over for det nye. For disse må forventes at blive vigtigere og vigtigere i en connected verden.

Så begyndte track sessions, og den første jeg valgte var 'No DevOps without Continuous Testing' med Arthur Hicken. Han startede med at henvise til sin IoT-Hall-of-Shame (www.bit.ly/iotshame), hvor han opsamler eksempler inden for IoT til 'ikke-efterfølgelse'. Han startede også med den teknologiske udvikling, og introducerede Sneaker-Net - altså dengang man flyttede data på et fysisk medie og iført sine Sneakers gik til den person der skulle have filerne - en meget sjov indledning. Han fremførte at test må gen-opfinde sig selv. Tiden er, at 'straffen' for softwarefejl er stigende - det påvirker ens brand og mange brancher er udfordret i forbindelse med disse nye ting der kommer på markedet (disrupt eller dø). Vi går fra den traditionelle vinkel og spørgsmål: Er vi færdige med at teste? Til det nye: Har releasekandidaten et acceptabelt niveau af risiko? Men continuous testing kræver og forudsættter automatiseret test - men husk her: det er afviklingen af testen der tales om - selv analysen og designet kræver fortsat brain-ware. Hans synspunkt var også, at vi skal gå fra at være testere til QA'ere. Altså fra at finde fejl til at få et JA, og ellers er det tilbage til udviklerne. Vi skal i højere grad, som del af denne ændring, spørge: Hvorfor har dette nået QA? - Altså når der er fejl - og dermed skal vi også i meget højere grad måle kvaliteten af udviklertesten - tester de det rigtige - både positivt og negativt. Derefter gennemgik han en række cases fra bank, telecom, media, børsmægler.

Den næste track session var 'Metrics Drive Testing Strategy' med Jann Thomas. Efter sædvane blev jeg trigget af metrikker, og hun havde en meget god indledning 'begin with the end in mind' - altså find ud af hvad du skal rapportere - altså metrikker.

Hun introducerede det hun kaldte et 'Test Strategy Map' - se billedet:



Alle metrikkerne blev skaleret til denne oversigt, og alt blev relateret til hendes target, som i diagrammet var 3. Skalaen gik fra 0 til 6, og det initielle arbejde var selvfølgelig at fastlægge target og de andre værdier for alle metrikkerne. Test Strategy Map giver dermed et hurtigt over blik over hvad der er på target, over og under. En spændende tilgang, og en jeg på et tidspunkt må få prøvet af - enten selv eller via en kollega.

Så fulgte en lang pause til dels frokost og dels at besøge expo'et - det følger jo med - runden til de forskellige stande, herunder at modtage forskellige gadgets m.m.

Eftermiddagens første track session jeg gik til var 'Scaling Agile Testing using the TMMi' med Thomas M. Cagley Jr. Det der triggede mig her var selvfølgelig min store interesse for forbedring af testprocessen og brugen af de forskellige modeller til dette - i dette tilfælde TMMi. Det var en glimrende gennemgang af Agile og TMMi - men han nåede desværre ikke helt ud over rampen, og casen han præsenterede var desværre ikke helt forståelig - og det var ikke kun mig :-)

Den sidste track session var over emnet 'Best Practices for Delivering Quality Responsive Web Apps Across All Digital Platforms' med Svetlana Kostinsky. Hun startede med en meget pædagogisk og synlig gennemgang af RWD (Responsive Web Design), med flere gymnastiske præstationer - der måske kunne udvikles til en ny OL disciplin - men hun vækkede klar begejstring hos deltagerne. Men ellers fortalte hun om en undersøgelse af udbredelsen af disse mange devices og operativsystemer, og ikke mindst kombinationen af disse - og præsenterede deres koncept med en dækning ESSENTIAL (Top 10), ENHANCED (Top 25) og EXTENDED (Top 32). Jeg har medtaget undersøgelsen, og der er noget til de af mine kollegaer der arbejder med dette. Godt indlæg - og gode gymnastiske øvelser.

Onsdagen sluttede af med en key note 'Beyond Productivity and Toward Market Dominance - What's Next for Agile as the Great Disrupter' med Michael Mah. En meget levende præsentation med en masse indhold om sin egen person - ganske spændende, og en god afslutning på en lang dag.

En god onsdag med mange spændende input - en enkelt svipser - men nu er der lagt op til torsdagens oplevelser.

onsdag den 17. august 2016

PSQT - Tirsdagens Workshop og Oplevelser

Så blev det tirsdag her i San Diego til Practical Software Quality & Testing konferencen. Her havde jeg tilmeldt mig en workshop over emnet 'Managing the Test Process in Agile and Semi-Agile Projects' med Mike Ennis. Igen en ret 'intim' oplevelse, idet der til denne kun var syv deltagere - men igen, det lave antal af deltagere er ikke nødvendigvis dårligt - nærmest tværtimod.

Vi syv deltagere repræsenterede meget forskellige brancher og roller: Bilproduktion, dyrefoderproduktion, offentlig administration, bank, forsvaret og konsulent. Dette gav en række forskellige vinkler og nuancer på emnet, og alle kom til orde med spørgsmål, kommentarer og erfaringer.

Efter en noget lang 'indflyvning' med gennemgang af agile, inkrementielle og iterative udviklingsmodeller, og sammenligning af (primært) vandfaldsmodellen med den agile metode, begyndte der at ske noget.

En af de interessante ting var 'udvidelsen' af det agile manifest - jeg har i hvert fald ikke set dette før. Vi kender selvfølgelig de fire første værdier i det agile manifest, men her blev præsenteret en femte:

'Thorough testing at each time-box over comprehensive effort at end of development'

og det blev kommenteret med følgende: 'An effective agile test strategy must identify the key user stories and test all scenarios as part of each sprint as opposed to waiting until the end to test end-to-end. An automated test suite will allow testers more time to test thoroughly during each iteration'.

En interessant 'udvidelse' af manifestet, som jeg ikke skal forholde mig til juridisk og moralsk her, men det kom til udtryk på workshoppen fra min side.

En anden god ting var, at de fire oprindelige værdier blev italesat i forhold til test.

De agile testing quadrants indgik også i workshoppen (Crispin og Gregory):


Denne model er god når test i agile projekter skal italesættes, men ligeså interessant er det faktisk - synes jeg - at præsentationen af testprocessen i forhold til det agile blev demonstreret ved hjælp af TMap tilgangen og synsvinklen.

Udover dette blev der præsenteret nogle case-eksempler med hensyn til sprintplanlægning, estimering, risikobaseret test og distribueret testorganisation i Scrum.

Det var en god workshop med god dialog med de øvrige deltagere, men den får ikke top-karakter fra min side. Der var ikke så meget 'managing the test process.......' i workshoppen, som titlen havde lagt op til.

Foran står onsdagen, hvor der er keynotes og track sessions. Det er her der typisk skal foretages en række valg..............




tirsdag den 16. august 2016

PSQT - Mandagens Workshop og Oplevelser

Så begyndte PSQT-testkonferencen her i San Diego, og mandag havde jeg tilmeldt mig en workshop i 'Risk-Based Testing - Analysis and Strategy Development' med Clyneice Chaney som instructor. En præsentator som jeg overhovedet ikke kendte noget til. Det var en lidt 'intim' oplevelse, idet vi kun var 10 deltagere i denne workshop, hvilket til gengæld havde den fordel, at ingen kunne 'gemme' sig.

Det viste sig, at workshoppen faktisk var modul 5 (Risk Management) af IIST's certificering for Test Managers (CTM - Certified Test Manager). En lidt interessant og anderledes model - at en konference faktisk indeholder undervisningsmoduler fra et kursus.

Workshoppen dækkede følgende seks områder - defineret i CTM BOK (Certified Test Manager - Book of Knowledge):
  1. Risk Management & Testing
  2. Risk Testing Process: Identification
  3. Risk Testing Process: Analysis
  4. Risk Testing Process: Response Planning
  5. Risk Testing Process: Test Strategy Documentation
  6. Risk Testing Process: Risk Based Reporting
Indledningsvis blev der gjort meget ud af, at få risici opdelt i tre kategorier: Process Risks, Project Risks og Product Risks. De to første risikokategorier håndteres i testplanlægningen, mens Product Risks håndteres i forbindelse med design og afvikling af testen. En fornuftig opdeling, som giver god mening.

Der blev gennemgået en række metoder og teknikker til identification af produktrisici, herunder involvering af interessenterne. Metoderne var bl.a. tjeklister (en med udgangspunkt i de forskellige kvalitetskarakteristika og en med udgangspunkt i nogle generiske produktrisici, som var opsamlet retrospektivt), product assessment med at stille en række spørgsmål til produktet - både ved nyudvikling og forvaltning. Brugen af interessenternes 'benefit' ved produktet blev også inddraget i vurderingen - spændende betragtning. Formuleringen af produktrisici blev også diskuteret, og der blev der taget udgangspunkt i et IF-statement: IF.....det og det sker THEN kan det få denne negative konsekvens eller resultat.

Så kom selve analysen, hvor der skulle sættes rating på konsekvens og sandsynlighed. Når dette skal ske er der selvfølgelig altid denne diskussion om det skal være kvalitativt eller kvantitativt. Jeg har i en årrække været fortaler for den kvalitative (f.eks. HØJ, MEDIUM, LAV) tilgang, idet jeg altid har syntes det var svært at sætte kroner på konsekvensen og en reel sandsynlighed i procent. Alt dette skal jo anvendes til at nå frem til risikoeksponeringen (exposure) - vi havde nogle gode diskussioner, og selvom jeg fik nogle gode eksempler med, så vil jeg nok fortsat hælde mest til den kvalitative vurdering. Men jeg er da blevet mere åben overfor den kvantitative metode - selvom jeg fastholder at det er ofte meget vanskeligt at fastlægge en ÆGTE kvantitativ værdi på konsekvens og sandsynlighed.

Der blev også præsenteret en anden model til prioritering af testen, hvor der blev inddraget kvalitetskarakteristikker og vigtigheden af disse, og så skulle der gives en rating og denne blev vægtet - dette resulterede så i en samlet risiko pr. område. En spændende metode, som jeg vil se om jeg kan få afprøvet fremover.

Så kom vi til 'Reponse Planning', og her blev der stated klart, at formålet med alt dette er 'find important problems early'. Det der blev behandlet her var beslutningen af teststrategien, hvilket overordnet skulle inkludere et 'statement of minimum level of testing for every area of the product' og en beskrivelse af testdybden: Mainstream (normal use), Guerilla testing, Formally planned testing og Planned regression testing. Her blev også omtalt testteknikkerne, og her kunne det godt mærkes, at det var testmanagere og ikke testanalytikere der var flest af i lokalet. Det udviklede sig til en spændende og noget anderledes del af workshoppen. Der kom, for mig, et nyt begreb ind - nemlig 'Incremental Testing'.

Så kom vi til dokumentationsdelen af strategien - og her kom der en række gode eksempler for 'letvægtsmodeller' og skabeloner. En anden god ting var disse ni punkter der skal huskes ved en god teststrategi:
  1. Testing should be optimized to  find important problems fast, rather than finding all problems equal urgency
  2. Test strategy should focus most effort areas of potential risks, with some effort on low risk areas
  3. Test strategy should address test platform configuration, how the product will be operated and observed
  4. Test strategy should be diversified in terms of test techniques and perspectives. Need multiple dimensions of coverage
  5. Test strategy should specify how test data will be designed and generated
  6. Test strategy should incorporate reasonable variations (exploratory), nog all pre-specified
  7. The test schedule should be represented and justified to demonstrate dependencies on progress of development, testability of products, time to report problems and project teams risk assessment
  8. Try to keep test process off critical path - extend possible parallel testing and finding problems worth fixing faster than developers fix them
  9. Tight feedback loop with development
Afslutningsvis blev forskellige former og modeller for rapportering af produktrisici præsenteret. Der var et par spændende og nye imellem - og jeg glæder mig til at 'dyrke' dette noget mere, idet der til workshoppen og hører et bibliotek af skabeloner - herunder også til rapportering.

Samlet set en spændende første dag - meget intensivt med en workshop med kun 10 deltagere, men dette har selvfølgelig også den fordel, at man kommer tættere på emnet og diskussionerne.


mandag den 15. august 2016

PSQT - Testkonferencen - Starter om få timer

PSQT Testkonferencen i San Diego starter om få timer, og varer hele ugen. PSQT står for Practical Software Quality & Testing. Og det er netop ordet 'Practical' der har trigget min deltagelse i denne konference. Jeg har aldrig deltaget i denne konference før, og mine forventninger er derfor store.

De to første dage er der workshops: Mandag deltager jeg i 'Risk-Based Testing: Analysis and Strategy Development', tirsdag i 'Managing the Test Process in Agile and Semi-Agile Projects'. Onsdag og torsdag er der keynotes og concurrent track presentations. Fredag er der igen workshop, hvor jeg deltager i 'Leading an Effective Test Organization With a High Performance Test Team'.

Jeg glæder mig til at opleve hvad denne konference kan give os, og ikke mindst om der er en forskel i forhold til STAR-konferencerne.

PSQT arrangeres af IIST - International Institute for Software Testing (www.testinginstitute.com). Udover træning og konferencer har de faktisk også deres eget certificeringsprogram.

Traditionen tro 'rapporterer' jeg mindst en gang om dagen i ugens løb fra konferencen - og husk: Der er 9 timers forskel.



fredag den 6. maj 2016

STAReast 2016 - The Testing & Quality Leadership Summit

Fredag deltog jeg i 'The Testing & Quality Leadership Summit', hvor årets tema var 'Leading the Change within Your Organization'.

Der var et par spændende indlæg om 'Creative Leadership for Creative Teams' og 'Leading through Change' - og det er altid spændende at få lidt input, som er baseret på egne oplevelser og synspunkter.

Derefter var der en række rundbords-diskussioner om emnerne. Diskussioner som typisk bærer præg af, at deltagerne kommer fra vidt forskellige kulturer. Danmark med en meget lav magtdistance, modsat USA med en meget høj.

Men det blev en glimrende afslutning på en fantastisk uge på STAReast.