Werkt u aan de ontwikkeling van een gezondheidstechnologie? Een belangrijke voorwaarde hiervoor is dat het ontwerp van de technologie goed aansluit bij de doelgroep. Is het product wel gebruiksvriendelijk? Begrijpt de doelgroep hoe het werkt, ook zonder gebruiksaanwijzing? En zijn ze tevreden over uw technologie? En hoe worden deze factoren gemeten? 

Het uitvoeren van usability testen is een cruciale activiteit binnen het ontwerp en de ontwikkeling van een gezondheidstechnologie. Het kan de kwaliteit van een innovatie verbeteren door problemen aan het licht te brengen die het gebruik, de gebruikerservaring en het effect te belemmeren, en die vervolgens kunnen worden opgelost in een herontwerp. Hiermee bespaart uw organisatie tijd, geld en moeite, doordat uw technologie beter aansluit bij de behoeften van de eindgebruiker.  
Daarnaast is het uitvoeren van een usabiliy test een voorwaarde voor het beoordelen van de veiligheid van een gezondheidstechnologie, een gestandaardiseerd onderdeel in de CE-markering binnen de Medical Device Regulation (MDR) voor een medische hulpmiddel. 

 

Onze Methode

RRD heeft ruime ervaring met het testen van usability, user experience en usability benchmarking van uw prototype of al geïmplementeerde technologie. Afhankelijk van de volwassenheid van uw technologie (TRL niveau) en uw wens selecteren wij de meest geschikte usability test en testen uw gezondheidstechnologie bij potentiële eindgebruikers in de juiste context.  

Graag ontzorgen wij u volledig indien wij u onderstaande totaal oplossing aanbieden. Natuurlijk kunnen we bepalen of RRD alle stappen voor u uitvoert of dat uw organisatie zelf stap 1, 2 en/of 3 voor haar rekening neemt. 

 

  1. Testvoorbereiding (het stellen van doelen, het selecteren van kritieke prestatie indicatoren, en het schrijven van het testprotocol);
  2. Ethische goedkeuring (het schrijven van de documentatie voor het verkrijgen van medisch-ethische toestemming, of een vrijstelling en het afhandelen van het gehele ethische proces);
  3. Werving van deelnemers (waaronder patiëntengroepen, oudere volwassenen en zorgprofessionals);
  4. Uitvoering van de test (in ons eigen usability lab of bij u op locatie);
  5. Analyseren en rapporteren van de wetenschappelijk onderbouwde resultaten, waarmee u vervolgens zelf uw CE-documentatie (usability engineering file) compleet kunt maken.

 

Usability testen

De 'klassieke' usability test

Een groep eindgebruikers interacteert met uw technologie terwijl ze hardop denken, wij observeren, en we inventariseren en prioriteren de usability issues, met als doel aanbevelingen te formuleren om uw gezondheidstechnologie te optimaliseren;

Peer discovery

Wordt uw technologie ontwikkeld voor gebruikers met beperkte (digitale) vaardigheden? Dan kan het verstandig zijn om paren eindgebruikers te laten interacteren met uw technologie voor een rijkere evaluatie. Wij analyseren hun gedeelde interactie en inventariseren en prioriteren de usability issues;

Expert beoordelingen

Hebt u behoefte aan een gespecialiseerde evaluatie van uw gezondheidstechnologie, bijvoorbeeld op het gebied van toegankelijkheid, gebruik door laaggeletterden, of om potentiële ethische kwesties te beoordelen? Dan zal een van onze experts met plezier uw technologie grondig beoordelen.

User experience

U wilt dat uw gezondheidstechnologie werkt, maar ook dat het een positieve ervaring oplevert? Wij kunnen de user experience van uw technologie beoordelen op factoren die u relevant acht (bv. betrokkenheid, vertrouwen, controle, plezier).

Usability benchmarking

Wij kunnen de usability van uw gezondheidstechnologie benchmarken met behulp van de System Usability Scale (SUS) of het speciale eHealth UsaBility Benchmarking instrument (HUBBI), welke factoren scoort als taak-technologie fit en begrijpelijke informatie en terminologie.

 

Weet u niet zeker wat de beste test is voor uw situatie? Wij analyseren graag samen uw situatie en komen met een op maat gesneden oplossing voor u.

 

Praktijkvoorbeeld van een 'klassieke' usability test

 

Om inzicht te krijgen in de usability en gebruikersacceptatie van een handexoskelet prototype (GRIP; figuur 1), welke als doel heeft de lateraalgreep bij dwarslaesie patiënten te ondersteunen, heeft RRD een klassieke usability test uitgevoerd. De meest belangrijke functionaliteiten van het prototype werden getest bij potentiële eindgebruikers, bestaande uit dwarslaesie (n=5) en CVA patiënten (n=2). Hen werd gevraagd zeven taken volgens de hardop denk methode uit te voeren, terwijl wij hen observeerden. De uitkomsten richtten zich op het identificeren en prioriteren van de usability issues, het meten van kwantitatieve taak metrics en enkele vragenlijsten waarmee de benchmarking en de acceptatie van de technologie werd gemeten.

Figuur 1. GRIP hand exoskelet

 

Taak metrics

Figuur 2 laat radardiagrammen zien van de taak metrics, waarbij een volledig gevuld diagram de best mogelijke prestatie aangeeft op alle uitkomsten. Taak 3 werd het beste uitgevoerd door de deelnemers, gevolgd door taak 2 en taak 7. De uitvoering van taak 4 was zeer slecht.

Figuur 2. Radardiagrammen van taak metrics

 

Benchmarking vragenlijsten

Om het GRIP hand exoskelet te benchmarken werd de System Usability Scale (SUS)1 en de Usefulness, Satisfaction, and Ease of Use Questionnaire (USE)2 vragenlijst afgenomen. De SUS bestaat uit 10 stellingen, waarbij deelnemers werden gevraagd elke stelling te scoren op een 5-punts Likert-schaal. De USE meet de subjectieve bruikbaarheid van een product of dienst. Middels het invullen van 30 items werden vier dimensies van usability onderzocht: nut, gebruiksgemak, leergemak en tevredenheid. De vragenlijst maakt gebruik van een 7-punts Likert-schaal, welke gericht is op de ervaring met en de feedback over het GRIP hand exoskelet.

 

Twee deelnemers scoorden een beneden gemiddelde SUS-score (score < 68; figuur 3). De laagste en hoogste SUS-score waren respectievelijk 55 (deelnemer 3) en 97,5 (deelnemer 2). De gemiddelde SUS-score was 79,3 (sd 14,1), welke staat voor een goede usability.

Figuur 3. SUS scores

 

De scores op de USE staan samengevat in tabel 1. De laagst gemiddelde score (4,5) werd gevonden voor nut. Vooral beide CVA patiënten (deelnemer 5 en 7) scoorden laag op dit aspect van usability. De hoogst gemiddelde score (6,46) werd gevonden voor leergemak. Ook scoorden deelnemers bovengemiddeld op de aspecten gebruiksgemak en tevredenheid.

 

 
Acceptatie

De acceptatie van het GRIP hand exoskelet werd geëvalueerd met het Technology Acceptance Model (TAM)3. TAM stelt dat het waargenomen nut, het waargenomen gebruiksgemak en de gebruiksintentie de meeste invloed hebben op de adoptiegraad van een nieuw product. Het waargenomen nut is de mate waarin een gebruiker de toegevoegde waarde of het nut van het product ziet en het waargenomen gemak is het ervaren gebruiksgemak. De TAM-vragenlijst gebruikt een 7-punts Likert-schaal en bestaat uit 12 items.

Tabel 2 toont de gemiddelde resultaten op alle items. De gemiddelde scores voor waargenomen nut, waargenomen gebruiksgemak en gebruiksintentie waren respectievelijk 4,3 (sd 1,9), 6,2 (sd 0,8) en 4,7 (sd 2,0). De lagere scores op waargenomen nut en gebruiksintentie waren wederom het gevolg van de lage scores gegeven door beide CVA patiënten (deelnemer 5 en 7). De dwarslaesie populatie scoorde goed op alle aspecten van technologie acceptatie.

Conclusie

Het GRIP hand exoskelet lijkt een geschikt hulpmiddel voor met name de dwarslaesie populatie. Het huidige prototype scoort goed op usability en acceptatie en deelnemers waren bovengemiddeld tevreden over de technologie. Echter zijn aanpassingen wenselijk aan de besturing van het huidige prototype, welke momenteel plaatsvindt via software op een smartphone of smartwatch. Vooral het omdoen (taak 4) en de besturing via de smartwatch (taak 5 en 6) lieten veel usability issues en een verminderde prestatie op de taak metrics zien. Besturing via spraak zou een geschikte oplossingsrichting kunnen bieden.

 

Referenties

1 Brooke, J. (1996). SUS - A quick and dirty usability scale. In and I. L. M. (Eds. . P.W. Jordan, B. Thomas, B.A. Weerdmeester (Ed.), Usability evaluation in industry (pp. 189–194). Taylor & Francis.

2 Lund, A. M. (2001). Measuring usability with the USE questionnaire. Usability Interface, 8(2), 3-6

3 Davis FD. Perceived usefulness, perceived ease of use, and user acceptance of information technology. Mis Q. 1989;13:319.