Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.

Onderzoeksartikel

Geautomatiseerd raamwerk voor het prototypen van gebruikersinterfaces dat cognitieve en visuele ontwerpprincipes integreert om de bruikbaarheid en lay-outhelderheid te verbeteren

119 weergaven

⸱

DOI:

10.3791/71071

⸱

14 augustus 2026

 , 

In dit artikel

Samenvatting

Deze studie presenteert een geautomatiseerd framework voor het prototypen van gebruikersinterfaces, waarin cognitieve ontwerpprincipes, perceptuele kleuremodellering en deep learning zijn geïntegreerd. Het systeem verbetert de toegankelijkheid, de duidelijkheid van de lay-out, de kleurharmonie en de consistentie over verschillende schermen, wat resulteert in coherente, gebruikersgerichte interfaceontwerpen.

Samenvatting

Effectief ontwerp van gebruikersinterfaces (UI) vereist een harmonieuze balans tussen visuele aantrekkingskracht, cognitieve bruikbaarheid en consistentie in de lay-out. Huidige benaderingen voor automatische UI-generatie richten zich echter primair op het visuele uiterlijk of componentdetectie en missen een uniform raamwerk dat cognitieve principes, kleurintelligentie en structurele redenering integreert. Bovendien kampen bestaande methoden met beperkte generalisatie van lay-outs, een gebrekkige interpreteerbaarheid, statische kleurselectie en inconsistent gedrag over verschillende schermen heen. In deze context stelt dit werk een geautomatiseerd UI-prototypingraamwerk voor dat componentdetectie op basis van het Faster region-based convolutional neural network (Faster R-CNN) en perceptuele kleurmodellering aangestuurd door de CIECAM02 uniforme kleurruimte (CAM02-UCS) integreert, verrijkt met cognitieve en visuele ontwerpprincipes. Faster R-CNN wordt gebruikt om UI-componenten te identificeren en hiërarchische structuren af te leiden uit grootschalige interface-datasets. Een verbeterde kleurgeneratiemodule analyseert merk- of referentieafbeeldingen om met behulp van CAM02-UCS perceptueel uniforme, harmonieuze en gebruiksvriendelijke kleurthema's te waarborgen. Deze outputs worden verder geoptimaliseerd via cognitieve ontwerpregels, waaronder Gestalt-groepering, de wetten van Fitts en Hick, op aandacht gebaseerde spatiëring en visuele hiërarchie-modellering, om automatisch verfijnde, taakgerichte UI-lay-outs te genereren. Experimenten uitgevoerd op de RICO-, ENRICO- en Guo's UI Color Datasets laten zien dat het voorgestelde systeem een nauwkeurigheid van 92,4% bij de componentdetectie behaalt, de duidelijkheid van de lay-out en de nauwkeurigheid van de leesvolgorde met 18,7% verbetert en kleurenpaletten produceert die door ontwerpers 24,5% harmonieuzer worden beoordeeld in vergelijking met referentiemethoden. Gebruikersbeoordelingen wijzen daarnaast op een afname van 31% in de waargenomen cognitieve belasting en een toename van 28% in ontwerpconsistentie over schermen heen. Deze bevindingen tonen aan dat de combinatie van deep learning-gebaseerd structureel begrip met perceptueel gefundeerde kleurmodellering en cognitieve ontwerpprincipes UI-prototypes oplevert die zeer efficiënt, esthetisch coherent en gebruiksvriendelijk zijn. Dit raamwerk vestigt een nieuwe, end-to-end benadering voor intelligente en mensgerichte geautomatiseerde UI-prototyping.

Inleiding

Grafische gebruikersinterfaces (GUI's) dienen als een fundamenteel communicatiemiddel tussen mensen en computersystemen en beïnvloeden de bruikbaarheid, toegankelijkheid en de algehele gebruikerservaring (UX) aanzienlijk1,2. Moderne softwaresystemen vertrouwen op intuïtieve en visueel aantrekkelijke interfaces om gebruikers aan te trekken en te behouden. Traditioneel omvat UI-ontwerp het creëren van grafische lay-outs die later door engineers worden vertaald naar front-endcode. Verschillen in platformspecifieke protocollen tussen besturingssystemen vereisen echter herhaaldelijke aanpassingen, wat de ontwikkeli....

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Protocol

Deze studie maakt gebruik van openbaar beschikbare datasets en omvat geen menselijke of dierlijke proefpersonen.

Het voorgestelde geautomatiseerde framework voor UI-prototyping integreert deep learning-gebaseerd structureel begrip, perceptueel uniforme kleurmodellering en cognitieve ontwerpprincipes om coherente en gebruikersgerichte interfaceprototypes te genereren. De methodologie begint met een Faster R-CNN-architectuur die is getraind op de RICO- en ENRICO-datasets om UI-componenten te detecteren en hun hiërarchische relaties te extraheren, wat een nauwkeurige interpretatie van diverse schermlay-outs mogelijk maakt. De gedetecteerde com....

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Resultaten

Het voorgestelde geautomatiseerde UI-prototypingframework werd beoordeeld met behulp van een geïntegreerde dataset van 5.128 UI-schermen uit drie bronnen: 4.0 RICO-afbeeldingen, 1.00 ENRICO-schermen en 128 kleur-geannoteerde UI-monsters uit de UI Color Dataset van Guo. Deze gecombineerde dataset biedt een goed gebalanceerde benchmark voor het evalueren van de nauwkeurigheid van componentdetectie, de structurele helderheid van de lay-out, de consistentie over meerdere schermen en de perceptuele kleurharmonie.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Discussie

De resultaten tonen statistisch significante verbeteringen in bruikbaarheid, structurele organisatie en perceptuele kwaliteit (p < 0,05), waarmee de effectiviteit van het integreren van cognitieve ontwerpprincipes in geautomatiseerde UI-prototyping wordt bevestigd. In tegenstelling tot traditionele UI-generatiesystemen die primair vertrouwen op visuele detectie of regelgebaseerde heuristieken, integreert het voorgestelde framework Gestalt-groepering, hiërarchie-modellering, spatiëringsbeperkingen en perceptuele leesb.......

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Openbaarmakingen

De auteurs hebben geen belangenconflicten.

Dankbetuigingen

De auteurs erkennen de academische en institutionele ondersteuning verleend door het Wuhan College of Foreign Languages & Foreign Affairs, Keimyung University en het Shanghai Institute of Commerce and Foreign Languages tijdens de voltooiing van dit onderzoek.

....

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
CPU (processor)AMD Ryzen 9 7950X (16-core, 32-thread, 4.5–5.7 GHz)Advanced Micro Devices (AMD), USARyzen 9 7950X
CUDA ToolkitVersie 11.8NVIDIA Corporation, USACUDA Toolkit 11.8
cuDNNVersie 8.9NVIDIA Corporation, USAcuDNN v8.9
Faster R-CNNModel voor objectdetectie (met Region Proposal Network)Meta AI Research / Detectron2Detectron2-framework
MatplotlibVersie 3.7Matplotlib Development Teamv3.7.0
NVIDIA RTX 4090 GPU24 GB GDDR6X videokaartNVIDIA Corporation, Santa Clara, CA, USARTX 4090
NumPyVersie 1.24NumPy Developersv1.24.0
OpenCVVersie 4.8OpenCV Foundationv4.8.0
PyTorchVersie 2.0PyTorch Foundation (Meta AI)v2.0.0
ResNet-50 met FPNBackbone CNN met Feature Pyramid NetworkMicrosoft Research / Detectron2ResNet-50-FPN
Scikit-learnVersie 1.3Scikit-learn Developersv1.3.0
SciPyVersie 1.10SciPy Communityv1.10.0
Systeemgeheugen (RAM)64 GB DDR5Corsair / Kingston (of equivalent)DDR5 64GB Kit
Besturingssysteem UbuntuVersie 22.04 LTSCanonical Ltd., UKUbuntu 22.04 LTS

Referenties

  1. Weingerl P. Automated image-based user interface color theme generation. Appl Sci. 2024;14:2850.
  2. Feng Z, Fang J, Cai B, Zhang Y. Guis2Code: Computer vision tool to generate code automatically from graphical user interface sketches. In: Proc Int Conf Artif Neural Netw; 2021; p. 53–65.
  3. Chen C, Zhang X, Yang Y, Li Y. GalleryDC: Design search knowledge discovery through auto-created GUI component gallery. Proc ACM Hum Comput Interact. 2019;3:1–22.
  4. Chen J, et al. Object detection for graphical user interface: Old-fashioned deep learning combination. In: Proc ACM Eur Softw Eng Conf Symp Found Softw Eng; 2020; p. 1202–1214.
  5. Xie M, ....

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Herprints en machtigingen

Meer artikelen verkennen

Geautomatiseerd UI-prototypingcognitieve ontwerpprincipesFaster R-CNNcomponentdetectieperceptuele kleurmodelleringCAM02-UCSGestalt-groeperingbruikbaarheid van gebruikersinterfaces