이 프로토콜은 인터랙티브 디지털 아트에서 시각적 주의를 정량화하는 포괄적인 프레임워크를 설명합니다. 이 문서는 시선 추적 데이터와 상호작용 로그를 동기화하는 시스템 아키텍처, 동적 관심 영역(AOI) 매핑 방법, 그리고 주의 역학을 사용자 경험 결과와 연결하는 분석 파이프라인을 상세히 설명합니다.
Method Article
이 프로토콜은 인터랙티브 디지털 아트에서 시각적 주의를 정량화하는 포괄적인 프레임워크를 설명합니다. 이 문서는 시선 추적 데이터와 상호작용 로그를 동기화하는 시스템 아키텍처, 동적 관심 영역(AOI) 매핑 방법, 그리고 주의 역학을 사용자 경험 결과와 연결하는 분석 파이프라인을 상세히 설명합니다.
이 글은 인터랙티브 디지털 아트 경험 중 시각적 주의력을 정량화하고 주의 역학을 경험적 결과와 연결하기 위해 설계된 시선 기반 측정 프레임워크를 제시합니다. 전통적인 정적 예술 감상과 달리, 인터랙티브 디지털 아트는 동적 미디어, 다중 출처 정보, 지속적인 피드백 루프를 포함하며, 이는 기존의 시선 추적 방법론에 도전합니다. 제안된 시스템은 시선 추적 획득, 상호작용 기록, 타임스탬프 동기화, 동적 관심 영역(AOI) 매핑, 그리고 지표 계산을 통합하여 통합된 파이프라인을 만듭니다. 프로토콜은 시선 데이터를 특정 상호작용 이벤트와 정렬하여 주의 할당, 전환 비용, 탐색적 엔트로피를 정밀하게 계산할 수 있도록 재현 가능한 데이터 워크플로우 개발을 설명합니다. 실험 설계는 자유 탐색과 목표 지향 과제를 모두 포함하며, 37명의 참가자를 대상으로 한 연구에서 입증되었습니다. 이 프로토콜 적용 결과는 높은 사용자 친화성과 만족도를 나타내며, 측정 모델링은 사용성과 만족도의 두 가지 개념 모델을 지지합니다. 더불어, 결과 모델링은 인지된 사용성이 전체 사용자 만족도의 기초 예측 변수임을 확인시켜 주었으며, 단일 사례 시연은 맥락 인식 주의 이동을 정량화하는 파이프라인의 능력을 검증합니다. 이 프로토콜은 피드백 지연, 가이드 강도와 같은 상호작용 설계 요소가 몰입형 디지털 환경에서 사용자 주의력과 주관적 경험을 어떻게 형성하는지 분석할 수 있는 엄격하고 재현 가능한 도구 세트를 연구자와 디자이너에게 제공합니다.
인터랙티브 디지털 아트는 몰입형 공간 설치부터 화면 기반 인터랙티브 플랫폼에 이르기까지 다양한 양식을 포괄합니다. 완전 몰입형 환경이 이 진화의 최전선을 나타내지만, 화면 기반 인터랙티브 아트는 공간 확장에 앞서 엄격하고 표준화된 평가 방법론이 시급히 필요한 기초 매체로 남아 있습니다. 이 방식은 관객의 역할을 수동적 관찰에서 능동적 공동 창조로 효과적으로 재정의하며,참여가 작품의 의미를 직접 형성합니다. 예술 심리학의 고전적 틀, 특히 비엔나 통합 예술 인식 모델(VIMAP)은 미적 만남 중 상향식 인지 통제와 하향식 지각 처리 간의 상호작용을 이해하는 정교한 렌즈를 제공합니다. 하지만 이 모델들이 정적 관측의 견고한 기반을 제공하긴 하지만, 최신 응용 분야를 인터랙티브 디지털 환경으로 확장하려면 고급 측정 기법이 필요합니다. 이러한 이론적 구조를 인터랙티브 애플리케이션으로 전환하기 위해서는 사용자 입력과 시스템 반응 간의 연속적인 피드백 루프를 객관적으로 포착하기 위한 실시간 생리학적 지표가 필요합니다. 따라서 정적 시청에서 능동적 상호작용으로의 전환은 사용자 경험 평가에 상당한 복잡성을 더합니다. 현재 이 분야의 주류 평가 방법은 주로 이벤트 후 설문지, 회고 인터뷰, 그리고 시청자의 시청 습관, 순서, 체류 시간에 관한 현장 관찰에 의존합니다. 이들은 종종 체류 시간 총, 클릭 빈도5와 같은 거친 행동 지표로 보완됩니다. 이러한 방법들은 일반적인 선호도와 전반적인 만족도를 포착하는 데 효과적이지만, 경험 중 발생하는 실시간적이고 미시적인 주의 전환을 추적하는 데는 근본적으로 어려움을 겪습니다. 지연 회상에 의존해 인지 편향에 취약한 회고적 설문지와 달리, 제안된 시선 추적 프레임워크는 연속적이고 실제적이며 객관적인 생리학적 데이터를 제공합니다. 더 나아가, 총 머무는 시간이나 피상적인 클릭 주파수와 같은 거친 행동 지표와 비교할 때, 이 시선 기반 방법론은 망설임의 순간, 시각적 탐색 전략, 시스템 피드백에 대한 즉각적인 지각 반응과 같은 미시적 인지 과정을 포착합니다. 이를 통해 전통적인 평가 방법이 근본적으로 부족하다는 반복적 상호작용 설계에 대한 실행 가능하고 세분화된 증거를 제공합니다. 이 기술은 인터랙티브 아트에서 주의 할당, 유지 및 전환을 이해하기 위한 프로세스 수준의 지표를 제공하며, 사용자의 인지 상태에 대한 객관적인 생리학적 지표를 제공합니다 7,8,9. 사용자가 특정 요소를 언제, 어디서, 얼마나 오래 바라보는지 분석함으로써, 연구자들은 전시 최적화와 인터랙티브 디자인에 대한 객관적인 지원을 제공할 수 있습니다. 하지만 인터랙티브 디지털 아트 경험에서 눈 추적을 구현하는 것은 표준 사용성 테스트나 정적 이미지 보기와는 구별되는 다수의 기술적·방법론적 도전 과제를 제시합니다.
인터랙티브 환경은 종종 동적 미디어, 다중 정보 출처, 복잡한 다단계 작업을 포함합니다. 시각적 자극은 고정되어 있지 않으며; 사용자의 입력에 따라 진화합니다. 시각적 자극과 시스템 피드백의 끊임없는 변화는 움직이는 물체와 인터페이스 영역 간의 빠른 주의 전환을 일으킵니다. 이러한 역동성은 전통적인 정적 인터페이스 기반 세분화 및 측정 해석을 왜곡에 취약하게 만듭니다10,11. 예를 들어, 한 시점에 관련 있는 관심 분야(AOI)가 다음 순간에는 사라지거나 의미적 의미가 바뀌어 정적인 히트맵이 부족해질 수 있습니다.
또한, 실제 상호작용에서는 머리 움직임, 가림, 화면과의 거리 변화 등 자연스러운 물리적 행동이 자주 포함되어 보정 드리프트12,13이 발생합니다. 이러한 품질 추적의 변동은 누락값과 잡음을 유발하여 피험자 간 비교 가능성과 통계 검정의 안정성을 감소시킵니다. 표준 실험실 프로토콜은 종종 엄격한 안정화(예: 턱받침)를 요구하는데, 이는 예술 감상에 필요한 자연주의적 경험을 저해합니다14. 따라서 효과적인 프로토콜은 엄격한 데이터 품질 관리와 사용자 태도의 생태적 타당성 균형을 이루어야 합니다. 원격 화면 기반 시선 추적을 활용함으로써, 제안된 프레임워크는 자연스럽고 제한 없는 상체와 머리의 미세 움직임을 허용하며, 방해적인 물리적 제약 없이 미적 반응을 포착하는 실용적인 기준선이 됩니다.
특히 안구 운동 데이터와 상호작용 기록 간의 시간적 동기화는 인과 해석에 직접적인 영향을 미칩니다. 정적 시청 과제에서는 자극 시작이 유일한 관련 시간 지표입니다. 인터랙티브 아트에서는 모든 터치, 제스처, 시선 트리거가 새로운 시간적 사건 참조를 시작한다. 통합된 시간 기준과 이벤트 정렬 메커니즘이 없으면, 주의 변화가 시스템 피드백에 의해 촉발되는지, 아니면 개별 탐색 전략에 의해 유발되는지 판단하기 어려워집니다. 디지털 아트를 포괄적으로 평가하기 위해 연구자들은 일반적으로 두 가지 서로 다른 데이터 소스에 의존합니다: 상호작용 로그(사용자 입력과 시스템 상태 포착)와 생리학적 신호(시각 주의를 위한 시선 추적 등)입니다. 하지만 이러한 기법들은 종종 단독으로 분석됩니다. 분석 파이프라인 초기에 이들을 통합하는 것은 개념적, 실용적으로 매우 중요한데, 이는 본질적으로 상호 보완적이기 때문입니다: 상호작용 로그는 정확한 맥락적 '트리거'(시스템 피드백의 무엇과 시기)를 제공하고, 연속적인 시선 데이터는 해당 인지적 '반응'(주의 할당의 위치와 방식을 드러냅니다)을 제공합니다. 통합된 시간, 벤치마크, 다중 모드 이벤트 정렬이 없으면, 주의 전환이 시스템 피드백(예: 시각적 파급 효과)에 의해 촉발되는지, 아니면 개별 탐색 전략에 의해 유발되는지 판단하기 어려워집니다. 이 데이터 흐름들을 융합함으로써 이 프레임워크는 인터랙티브 디자인 기능과 사용자 인지 사이의 인과적 고리를 닫는 이론적 이점을 제공합니다.
따라서 인터랙티브 아트를 위한 시선 추적 연구를 발전시키려면 단순히 고정 지점을 포착하는 것 이상이 필요합니다; 엄격한 품질 관리, 동기화된 정렬, 재현 가능한 데이터 처리 워크플로우가 필요합니다. 기존 솔루션의 한계는 이러한 연구 동기를 더욱 강조합니다. 예술적 맥락에서 기존의 시선 추적 연구들은 주로 정적인 감상 과제에 집중하거나 텍스트 설명과 투어 가이드를 외부 변수로 취급하여 상호작용 메커니즘과의 통합이 부족하다16,17. 정보 제시 방법과 안내 전략이 시청자의 주의 경로와 초점을 크게 변화시킬 수 있다는 증거가 있지만, 대부분의 연구 결과는 단일 개입 상관관계 수준에 머물러 있어 상호작용 피드백 루프가 경험 지속 기간 동안 주의 전략을 어떻게 형성하는지는 설명하지 못합니다.
반대로, 인터랙티브 아트 실천은 시선을 자연스러운 상호작용 입력으로 활용하는 프로토타입 시스템을 개발해 관람객을 수동적인 관찰자에서 능동적 참여자로 변화시키는 방식을 강조하지만, 이러한 노력은 종종 설치 시연이나 기술적 검증에 초점을 맞추고 있습니다18,19. 이들은 종종 통일된 주의력 지표, 재현 가능한 실험 패러다임, 그리고 주의 역학과 경험적 결과 사이에 검증 가능한 연관성을 확립하는 폐쇄 루프 연구 모델이 부족합니다. 이 격차는 특정 디자인 선택(예: 시각적 전환 속도)이 사용자의 몰입감이나 사용성에 어떤 영향을 미칠지 신뢰성 있게 예측할 수 있는 전이 가능한 설계 원칙 개발을 방해합니다.
중요한 점은, 기존 문헌에는 시각적 주의를 실시간 상호작용 시스템과 근본적으로 일치시키는 일관된 틀이 부족하다는 점입니다. 동적 AOI 매핑과 시선-이벤트 동기화의 발전은 일반적인 HCI 맥락에서 탐구되었지만, 디지털 아트의 유동적이고 매우 가변적인 환경에 통합되는 경우는 드뭅니다. 근본적인 연구 공백은 현재의 단일 양식 평가가 시스템 피드백과 사용자 인지 사이의 인과적 고리를 설명하지 못한다는 데 있습니다. 멀티모달 데이터를 조기에 통합함으로써—특히 연속 시선 좌표와 밀리초 단위 상호작용 로그를 융합하는 것—연구자들은 기본적인 사용성 지표를 초월할 수 있습니다. 이 통합은 특정 미시적 주의 전환(예: 탐색 전략 vs. 안정화된 집중)을 특정 상호작용 설계 선택에 직접 귀속시키는 이론적 이점을 제공하여, 경험적 흐름을 주관적 감정에서 정량화 가능한 인지 상태로 전환시킵니다.
이러한 격차를 해소하기 위해 본 프로토콜은 화면 기반 인터랙티브 디지털 아트에 특별히 제한된 시선 추적 기반 주의력 측정 프레임워크를 제안합니다. 기본 기술 파이프라인은 일반적인 인간-컴퓨터 상호작용(HCI) 테스트와 구조적 유사성을 공유하지만, 이 프레임워크는 비실용적 미적 과제(예: 생성 미디어의 자유로운 시각적 탐색)를 목표 지향적 행동과 독특하게 통합합니다. 이러한 통합은 예술 감상의 유동적이고 탐색적인 성격을 표준 실용주의적 소프트웨어 평가 접근법과 명확히 구별합니다. 이론적으로 이 연구는 인터랙티브 디지털 아트, HCI, 그리고 눈동추적 분석의 교차점에서 진행됩니다. 이 연구는 디지털 예술 평가에서 연속적인 경험적 흐름을 객관적으로 특성화하는 지속적인 도전과 상호작용 입력과 주의 출력 간의 상관관계를 규명하는 데 모두 다룹니다.
이 연구 범위는 인터랙티브 디지털 아트의 경험적 맥락뿐만 아니라, 시선 추적 데이터와 상호작용 로그를 통합하여 경험적 입력부터 주의력 지표, 궁극적으로 결과 변수에 이르기까지 체계적인 증거 사슬을 구축하는 데 초점을 맞춥니다. 시스템 수준에서는 안구 움직임 캡처, 상호작용 기록 기록, 시간 동기화를 통합한 통합 아키텍처로 재현 가능한 데이터 파이프라인을 구축합니다. 이 프레임워크는 전처리, 영역 매핑, 주의력 지표 생성을 표준화하면서 추적 가능한 데이터 구조와 분석 스크립트를 제공합니다.
개념적 틀(그림 1)은 상호작용 디자인이 시청자의 시각적 주의 과정을 변화시켜 주관적 결과에 어떻게 영향을 미치는지 설명합니다. 핵심 논리는 피드백 지연 및 안내 강도 같은 상호작용 요소들을 제어 가능한 입력으로, 시각적 주의 역학을 핵심 프로세스 변수로, 경험 결과(몰입성, 사용성, 만족도)를 출력으로 취급합니다. 개인차가 조절 요인으로 반영됩니다. 실험 설계에서는 자유로운 탐색과 목표 지향적 목표의 균형을 이루는 인터랙티브 과제가 개발됩니다. 모델링 수준에서는 주의 역학과 결과 변수를 연관시켜 상호작용 설계 요소가 시각적 주의를 통해 사용자 경험에 어떤 영향을 미치는지 연구합니다. 이 프로토콜은 이 프레임워크를 복제하기 위한 상세한 방법론적 단계를 제공하여 사용자, 시스템, 예술 간의 복잡한 상호작용을 과학적 엄밀함으로 측정할 수 있도록 보장합니다.
Access restricted. Please log in or start a trial to view this content.
이 연구는 마카오 시립대학교 혁신 및 디자인 학부의 기관 지침을 준수하여 수행되었습니다. 모든 참가자는 데이터 수집 전에 사전 동의를 제공하였습니다.
1. 시스템 개발 및 아키텍처 구성
2. 자극과 상호작용 설계
3. 참가자 모집 및 선별
4. 실험적 절차
5. 데이터 처리 및 분석 파이프라인
(1)Access restricted. Please log in or start a trial to view this content.
표본 특성 및 데이터 품질
이 프로토콜 적용으로 43명의 학생이 모집되었으며, 이 중 37명이 최종 분석에 포함되었습니다(포함율: 86.0%). 표 3에 자세히 설명된 바와 같이, 6명의 참가자 제외는 데이터 품질 프로토콜 준수 때문이었습니다: 손실 추적/보정 불량(n=2), 과도한 샘플 누락(n=2), 상호작용 단계 중 자기보고 멀미로 인한 미완료 과제(n=1), 설문 완료 전 개인 일정 충돌로 인한 자발적 철회(n=1). 포함된 표본은 평균 보정 오차가 0.74 ± 0.18°, 유효 시선 표본 비율은 91.6± 4.8%로 높은 데이터 품질을 보였습니다. 매핑되지 않은 중간 고정률은 12.7%로, 허용 임계값 내에 충분히 포함되어 동적 AOI 매핑 전략의 효과를 입증했습니다.
제안된 기술 파이프라인은 데이터 ...
Access restricted. Please log in or start a trial to view this content.
이 연구는 인터랙티브 디지털 아트에 특별히 맞춘 검증된 시선 추적 측정 프레임워크를 확립합니다. 핵심적으로, 연구 결과는 동적 관심 영역(AOI) 매핑과 밀리초 단위 다중 모달 동기화를 결합하여 이전에 유체 매질에서 가려졌던 미시적 시각 주의 전환을 성공적으로 정량화한다는 것을 보여줍니다. 이론적으로 본 연구는 기능적 사용성을 상호작용 맥락에서 주관적 만족의 정량적 상류 예측변수로 확립함으로써 수동적 관찰과 능동적 참여 모델 간의 개념적 간극을 메우고 있습니다. 실질적으로 제안된 파이프라인은 디자이너들에게 객관적이고 지속적인 평가 도구 세트를 제공하여 피드백 지연 시간과 시각적 안내를 최적화하여 상호작용 설계를 직관에서 근거 기반 실천으로 전환시킵니다. 결과는 방법론과 인터랙티브 경험의 광범위한 성격 모두에 관한 중요한 통찰을 강조합니다.
첫째, 실험 조건에서 기록된 높은 사용성과 만족도 점수는 제안된 시스템 실행 루프...
Access restricted. Please log in or start a trial to view this content.
저자들은 이해 상충을 선언할 필요가 없습니다.
저자들은 이번 연구에 참여해 준 마카오 시립대학교 혁신디자인학부 학생들에게 감사의 뜻을 전합니다. 또한 시선 추적 장비 설치에 도움을 준 기술 지원 직원들에게도 감사의 뜻을 전합니다. 이 연구는 공공, 상업, 비영리 부문의 어떤 자금 지원 기관으로부터 별도의 보조금도 받지 않았습니다.
Access restricted. Please log in or start a trial to view this content.
| Name | Company | Catalog Number | Comments |
|---|---|---|---|
| 눈 추적기 | 토비이 AB | 프로 나노 | 60Hz 화면 기반 시선 캡처; 5/9점 보정 |
| 모니터 | ASUS | VP249QGR | 23.8인치, 1920년 이후; 1080; 시청 거리 ~65cm |
| 인터랙션 PC | 델 | 옵티플렉스 7010 | 윈도우 10; Runs Interface + 로그입니다 |
| 동기 시계 | 관습 | v1.0 | 시선과 일치 상호작용 타임스탬프 |
| 고정 파서 | 오픈 소스 | I-VT | 고정 임계값 80 & ndash; 120ms. |
| AOI 매퍼 | 관습 | 2D 점-인-폴리곤 | 맵은 정적/동적 AOI를 응시합니다 |
Request permission to reuse the text or figures of this JoVE article
Request Permission