Een evaluatiemethode die continue activiteiten in een dagelijkse leefomgeving omvat, werd ontwikkeld voor Draagbare Mobiliteitsbewakingssystemen (WMMS) die proberen gebruikersactiviteiten te herkennen. Deelnemers voerden een vooraf bepaalde reeks dagelijkse leefhandelingen uit binnen een doorlopend testcircuit dat mobiliteitsactiviteiten (lopen, staan, zitten, liggen, trappen op/af stappen), dagelijkse taken (haar kammen, tanden poetsen, eten bereiden, eten, afwas doen) en subtiele omgevingsveranderingen (deuren openen, lift gebruiken, op hellingen lopen, trappen oversteken, buiten lopen) omvatte.
Om de prestaties van WMMS op dit circuit te evalueren, voltooiden vijftien niet-gehandicapte deelnemers de taken terwijl ze een smartphone aan hun rechtervoorste bekken droegen. De WMMS-applicatie gebruikte smartphone-versnellingsmeter- en gyroscoopsignalen om activiteitstoestanden te classificeren. Een vergelijkende dataset met gouden standaard werd gemaakt door elke proef op video op te nemen en de begintijden van de activiteiten handmatig vast te leggen. Gouden standaard en WMMS-gegevens werden offline geanalyseerd. Drie classificatiesets werden berekend voor elke circuit: (i) mobiliteit of immobiliteit, (ii) zitten, staan, liggen of lopen, en (iii) zitten, staan, liggen, lopen, trappen beklimmen of kleine staande beweging. Gevoeligheden, specificiteiten en F-Scores voor activiteitscategorisatie en veranderingen van toestand werden berekend.
De mobiele versus immobiele classificatieset had een gevoeligheid van 86,30% ± 7,2% en een specificiteit van 98,96% ± 0,6%, terwijl de tweede voorspellingsset een gevoeligheid van 88,35% ± 7,80% en een specificiteit van 98,51% ± 0,62% had. Voor de derde classificatieset was de gevoeligheid 84,92% ± 6,38% en de specificiteit 98,17 ± 0,62. F1-scores voor de eerste, tweede en derde classificatiesets waren respectievelijk 86,17 ± 6,3, 80,19 ± 6,36 en 78,42 ± 5,96. Dit toont aan dat de prestaties van WMMS afhankelijk zijn van het evaluatieprotocol naast de algoritmen. Het aangetoonde protocol kan worden gebruikt en aangepast voor het evalueren van systemen voor herkenning van menselijke activiteit in revalidatiegeneeskunde waar mobiliteitsbewaking nuttig kan zijn bij klinische besluitvorming.