증강 현실을 사용한 경피적 대동맥 판막 치환술의 자동 수술

Summary

이 기사에서는 증강 현실(AR) 기반 3D 재구성을 기반으로 하는 자동 수술 모듈의 설계 및 구현을 소개합니다. 이 시스템은 외과의가 복원된 특징을 검사하고 마치 가까운 거리에서 수술을 수행하는 것처럼 수술의 손 움직임을 복제할 수 있도록 하여 원격 수술을 가능하게 합니다.

Abstract

증강 현실(AR)은 의료 응용 분야에서 수요가 많습니다. 이 논문의 목적은 경피적 대동맥 판막 치환술(TAVR)을 위해 AR을 사용한 자동 수술을 제공하는 것입니다. TAVR은 심장 절개 수술을 위한 대체 의료 시술입니다. TAVR은 카테터를 사용하여 손상된 판막을 새 판막으로 교체합니다. 기존 모델에서는 원격 안내가 이뤄지고, AR 기반의 수술은 자동화되지 않는다. 이 기사에서는 수술 환경에서 이미지 캡처를 자동화하기 위해 모터에 연결된 공간적으로 정렬된 카메라를 배포했습니다. 카메라는 카테터 테스트베드와 함께 환자 심장의 2D 고해상도 이미지를 추적합니다. 이렇게 캡처된 이미지는 모바일 앱을 사용하여 심장학 전문가인 원격 외과의에게 업로드됩니다. 이 이미지는 2D 이미지 추적에서 3D 재구성에 사용됩니다. 이는 랩톱의 에뮬레이터처럼 HoloLens 표시됩니다. 외과의는 회전 및 크기 조정과 같은 추가 변형 기능을 사용하여 재구성된 3D 이미지를 원격으로 검사할 수 있습니다. 이러한 변형 기능은 손 제스처를 통해 사용할 수 있습니다. 외과의의 안내는 수술 환경으로 전송되어 실시간 시나리오에서 프로세스를 자동화합니다. 수술 분야의 카테터 테스트베드는 원격 외과의의 손 제스처 안내에 의해 제어됩니다. 개발된 프로토타입 모델은 AR을 통한 원격 수술 지도의 효과를 보여줍니다.

Introduction

AR은 실제 환경에서 3D 모델을 중첩할 수 있습니다. AR을 향한 기술 발전은 교육¹, 의료², 제조업³, 엔터테인먼트⁴ 등 많은 분야에서 패러다임의 변화를 가져왔다. AR 기술은 매우 안정적인 저지연 통신과 함께 의료 분야에서 불가피한 역할을 입증합니다. 인체 해부학의 학습 단계부터 수술 지도에 이르기까지, AR 기반 소프트웨어^5,6 및 하드웨어를 사용하여 학습 단계를 시각화할 수 있습니다. AR은 수술 환경에서 의사에게 중요하고 신뢰할 수 있는 솔루션을 제공합니다 ^7,8.

대동맥 판막 협착증은 인류에게 가장 흔한 심장 판막 질환입니다⁹. 이 질병의 근본 원인은 잘못된 식습관과 불규칙한 일상 생활에 있습니다. 이 질병의 증상과 결과는 심장 판막이 좁아지고 혈류가 감소하는 것입니다. 이 문제는 인간의 심장에 손상이 발생하기 전에 해결되어야 합니다. 따라서 심장은 혈류를 처리해야 하는 부담이 과도하게 가중됩니다. 따라서 손상이 발생하기 전에 수술을 수행해야 하며, 최근 기술 발전으로 인해 TAVR 절차를 사용하여 수술을 수행할 수도 있습니다. 이 절차는 환자의 심장 및 기타 신체 부위의 상태에 따라 채택할 수 있습니다. 이 TAVR^10,11에서는 손상된 심장 판막을 대체하기 위해 카테터를 삽입합니다. 그러나 판막을 교체하기 위해 카테터 위치¹²를 배치하는 것은 시술자에게 지루한 일입니다. 이 아이디어는 AR^13,14를 기반으로 하는 자동 수술 모델을 설계하도록 동기를 부여했으며, 이는 외과의가 교체 과정에서 판막을 정확하게 배치하는 데 도움이 됩니다. 또한 원격 위치에서 캡처한 외과의의 움직임을 로봇 팔에 매핑하는 모션 매핑 알고리즘으로 수술을 수행할 수 있습니다.

기존 작업 15,16,17에서 TAVR ¹⁸ 절차의 시각화는 형광 투시를 통해 모니터링됩니다. 따라서 심장 판막을 분석하기 어렵고 교체 위치를 찾는 것이 지루합니다. 이것은 카테터를 인간의 심장에 배치하는 데 장벽을 설정합니다. 또한 원격 모션을 수술 필드에 매핑하여 프로세스를 자동화합니다. 그러나 연구 격차를 극복하기 위해 AR 보조 기술을 사용하여 판막 치환술을 위한 자동화된 로봇 기반 수술을 제안합니다.

이 프로토콜은 모든 수술 환경에 적용할 수 있는 일반 모델입니다. 작업 초기 단계에서는 가장 자유도가 높은 최대 공간 해상도로 수술 환경 곳곳에서 2D 이미지를 캡처합니다. 이는 3D 재구성⁽¹⁹ ) 목적을 위해 충분한 이미지가 캡처된 후 손 제스처 추적⁽²⁰)을 통한 모션 매핑이 뒤따른다는 것을 의미한다.

Protocol

1. 수술 환경

1. 그림 1과 같이 수술 환경을 설계합니다. 환경에 물체를 운반하는 플래터, 로봇 팔, 측면으로 매달린 두 개의 암이 있는지 확인하고, 하나는 카메라 플레이스홀더를 고정하고 다른 하나는 저울을 위한 계량 모듈과 함께 일관된 흰색 배경을 갖도록 합니다.
2. 2.1 - 2.10 단계에서 언급 한 것처럼 실제 수술 환경의 스냅 샷을위한 드라이버와 3.1 - 3.4 단계에서 언급 한 것처럼 360 ° 감시를 지원하는 회전 메커니즘을 제어하기 위해 두 개의 드라이버를 개발합니다.
3. 위의 두 모듈을 구현하기 전에 외과 의사의 HoloLens 에뮬레이터 역할을 하는 모바일 장치와 노트북의 Bluetooth를 활성화합니다.
4. 중단 없는 이미지 전송을 위해 장치를 페어링합니다.

2. 두 개의 매달린 팔을 제어하도록 드라이버 설정

1. 행잉 암이 360°의 완벽한 회전을 위해 그림 2 와 같이 배열된 스테퍼 모터로 제어되는지 확인하십시오.
2. TB 6600 드라이버를 사용하여 모터를 마이크로 컨트롤러 보드에 연결합니다. 모터를 실행하려면 브라우저에서 마이크로 컨트롤러 IDE를 설치하십시오.
3. 다운로드 버튼을 클릭하여 소프트웨어를 다운로드합니다. 그런 다음 마이크로 컨트롤러 IDE에서 파일 > 새 스케치 열기로 이동하여 코드를 작성합니다.
4. 전용 연결 포트(예: COM 4)를 통해 새 스케치와 인터페이스하도록 마이크로 컨트롤러 보드를 연결해야 합니다. Com 포트를 확인하고 마이크로 컨트롤러 보드가 표시되는지 확인합니다.
5. 스테퍼 모터 드라이버 TB 6600의 하드웨어 스위치 설정을 확인하십시오. 전류 흐름이 SW2 ON과 SW4 및 SW5 및 SW6 OFF로 설정할 수 있는 6A가 되도록 설정되어 있는지 확인하십시오.
6. SW1, SW2 및 SW3의 스위치 위치가 요구 사항에 따라 회전 단계를 달성하기 위해 마이크로 단계가 1/8 단계가 되도록 설정되어 있는지 확인합니다. TB1에서 설정이 SW2 OFF, SW3 ON 및 SW6600 OFF인지 확인합니다.
7. RTC 3231을 마이크로 컨트롤러와 연결하여 실시간 글로벌 시간 동기화를 수행합니다. 회전 단계 크기가 12°이고 실시간 단위, 즉 RTC 모듈에서 읽은 초가 홀수일 때만 모터 단계 증가가 트리거되는지 확인하십시오.
8. 마이크로 컨트롤러 보드의 5V 핀을 RTC VCC에 연결하고 마이크로 컨트롤러의 GND를 RTC의 GND에 연결합니다.
9. RTC의 SCL 핀을 A0 핀에 연결하고 SDA를 마이크로 컨트롤러의 A1 핀에 연결합니다. 이 모듈은 12°의 스텝 크기를 보장할 수 있어 한 회전에 30스텝을 만들 수 있습니다. 걸음 수 증가가 홀수 초마다 발생하는지 확인합니다. 이 소프트웨어 모듈이 스테퍼 모터²¹을 구동하도록 하십시오.
10. GitHub 페이지 https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR 에서 사용할 수 있는 코드를 실행하여 설정이 올바르게 작동하는지 확인합니다.
11. Android 스튜디오를 다운로드하여 자동 카메라 앱을 개발합니다. 시스템 요구 사항이 충족되었는지 확인한 다음 웹 사이트에서 소프트웨어를 다운로드합니다.

3. 모바일 기반 장면 감시 및 영상 전송을 위한 드라이버를 클라이언트 모듈로 개발

1. Android 운영 체제에서 특히 초가 홀수인 경우 2초마다 스냅샷을 찍을 수 있는 카메라 애플리케이션을 개발합니다.
2. 휴대폰을 시스템에 연결합니다. Android 스튜디오에서 New > New Project 를 클릭하고 Empty Views Activity를 선택합니다. 다음을 클릭하여 https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR 에서 사용할 수 있는 Android 코드를 개발합니다.
3. 앱이 이미지를 자동으로 캡처하고 원격 장치로 일관되게 전송하는지 확인합니다.
4. 스냅샷을 촬영한 직후 모바일 앱에서 페어링된 장치로, 즉 Bluetooth를 통해 원격 외과의의 시스템으로 스냅샷을 전송합니다.
   참고: 섹션 2와 3에 언급된 모듈이 시간 동기화에서 실행되는지 확인하고, 하나는 짝수 초마다, 다른 하나는 홀수 초마다 실행합니다.

4. 감시 이미지를 수신하고 처리하기 위한 클라이언트 모듈 개발

1. 그래픽 사용자 인터페이스인 서버 모듈을 엽니다.
2. 텍스트 필드 VVID에 VVID 포트 번호를 입력합니다. 기본값은 94f39d29 7d6d 437d 973b fba39e49d4ee입니다.
3. Create Socket 을 클릭하여 소켓을 생성하고 바인딩합니다. Connect(연결)를 클릭하여 모바일 앱과 연결합니다.
4. Capture( 캡처 )를 클릭하여 현장 감시 이미지를 캡처하고 로컬 폴더에 저장합니다.
5. 언급된 기본 폴더 이름 이외의 다른 이름이어야 하는 경우 필드 폴더 이름에 로컬 폴더 이름을 입력합니다.

5. 로봇 팔 작동

1. 클라이언트 모듈에 로봇 팔도 포함되도록 합니다. 팔의 밑부분, 어깨, 팔꿈치, 손목 및 손가락이 회전 움직임을 갖도록 디자인합니다.
2. MG 996R 서보가 베이스, 숄더 및 엘보우의 회전 운동을 제어하는 데 사용되는지 확인하십시오. SG 90 서보 모터를 사용하여 엘보우와 핑거의 회전 운동을 제어해야 합니다.
3. 마이크로컨트롤러 IDE에서 https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR 제공된 코드를 컴파일하여 원격 외과의로부터 받은 명령에 따라 로봇 팔을 구동합니다.

증강 현실을 위한 6. 3D 재구성

1. 로컬 폴더에서 한 번에 두 개의 이미지를 하나씩 순서대로 읽어 두 이미지 간의 가능한 겹침(이미지가 가까운 거리에서 수집되므로 연속된 이미지 간에 겹침이 있음)을 얻습니다.
2. DITF(Tertiary Filtering²² ) 알고리즘을 사용하여 Directional Intensified Feature Description의 요구 사항에 따라 3차 필터를 설계하여 그래디언트와 방향을 얻습니다.
3. 그림 3과 같이 DITF 방법²²를 사용하여 특징을 추출합니다.
4. SFM²³을 사용하여 수집된 특징에서 3D 이미지를 재구성합니다.

7. 외과 의사의 위치에서 손 제스처 인식

1. 외과의가 손 제스처 기반 회전 및 재구성된 특징의 확대/축소를 제공하여 모든 관점에서 환경을 시각화할 수 있도록 하여 외과의가 3D로 재구성된 이미지 특징을 검사할 수 있도록 합니다.
2. 외과 의사의 엄지 손가락 끝과 오른손 검지 사이의 거리를 정규화하고 해당 회전 각도로 매핑합니다. 최소 거리가 0°에 해당하고 최대 거리가 180°에 해당하도록 정규화를 수행합니다.
3. Bluetooth를 통해 손 제스처 제어를 원격 수술 환경으로 전송하고 물체 플래터의 회전을 위해 물체 플래터를 회전시켜 3D 재구성된 기능이 외과의의 끝에서 회전할 때 플레이트가 축을 따라 회전하도록 합니다.
4. 외과 의사의 왼손 끝과 엄지 사이의 거리를 찾아 로봇 팔의 손가락 움직임을 제어합니다.
5. 외과 의사의 왼손 엄지 끝과 검지 사이의 공간적 거리에서 가상의 x-y 지표면을 기준으로 상승 각도를 측정하여 상승 각도를 결정합니다. 이 각도를 로봇 팔이 x-y 평면으로 만들 수 있는 고도각에 매핑합니다.
6. 외과 의사의 손이 가상 y-z 평면의 손과 만드는 방위각을 찾으십시오. 손 제스처 기반 인식을 통해 이러한 각도를 식별합니다.
7. 거리, 고도 및 방위각을 매핑하여 로봇의 손가락 움직임과 팔 회전을 제어하며, 둘 다 고도 및 방위각에 해당합니다.
8. 외과의가 확대/축소 및 회전을 통해 재구성된 특징을 검사하도록 합니다. 외과의가 로봇 팔에 명령을 전송하여 원격 위치에서 수술을 수행할 수 있도록 합니다.
9. 수술 명령이 문자열 concurrence로 시작하는 시퀀스의 제어 문자열로 전송되고 그 뒤에 플래터 회전 및 로봇 팔 컨트롤러를 제어하는 값이 오는지 확인하십시오. [θ_b, θ_s, θ_e, θ_w, θ_f]를 로봇 팔의 베이스, 어깨, 팔꿈치, 손목 및 손가락에 해당하는 제어 신호에 해당하는 값으로 구성된 벡터의 각도라고 합니다.
   참고: GitHub 링크는 수술 분야에서 손 제스처 제어를 활성화하는 코드를 제공합니다. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Results

이 프로토콜은 하트 팬텀 모델로 테스트되었습니다. 그림 2 는 공간적으로 분산된 카메라를 사용하여 수술 현장을 실시간으로 감시하기 위한 예상 설정을 보여줍니다. 그림 2에서 볼 수 있듯이 분산된 카메라는 효과적인 3D 재구성을 위해 필드의 공간 해상도를 높이는 데 도움이 됩니다. 그러나 다양한 공간 위치에 이러한 카메라를 물리적으로 배치하는 것을 실현하는 것은 복잡성을 수반합니다. 그래서 우리는 설정 설계를 최적화하고 TB6600 드라이버로 구동되는 NEMA 모터를 중심으로 하는 공간적 자기 지향 카메라 배치 솔루션을 고안했습니다. 이 구조는 실현 가능하며 모델에서 구현되며 그림 1에 나와 있습니다.

그림 1에서 자동 카메라 스냅샷과 블루투스 프로토콜을 통한 전송은 Android 코드에 의해 관리됩니다. 모듈은 섹션 3에서 언급한 것처럼 캡처가 홀수 초에 한 번씩 발생하고 전송이 짝수 초에 한 번씩 수행되는 방식으로 구성됩니다. NEMA 모터를 인터페이스하는 마이크로컨트롤러 모듈은 흐릿하지 않은 사진 캡처를 위한 충분한 시간을 보장하기 위해 1초에 한 번씩 구조를 회전시킵니다. 따라서 총 30장의 사진이 360° 회전하여 촬영되고 블루투스를 사용하여 전송됩니다.

또한 그림 1에는 수술 환경의 DITF 설명자에 대한 3D 재구성 보기가 표시되어 있습니다. 이러한 설명자 기반 재구성은 외과의가 수동 모션 매핑을 통해 확대/축소 및 회전을 통해 검사할 수 있다는 점에 유의해야 합니다. 또한 이러한 동작은 수술 환경으로 전송되어 수술을 모방하여 카테터를 실제 필드에 삽입할 수 있습니다. 모션 매핑은 로봇 부품, 즉 베이스, 어깨, 팔꿈치, 손목, 그리퍼, 손가락을 제어하기 위해 6개의 다른 각도로 매핑되는 방식으로 수행됩니다. 이러한 각도는 [θ_b, θ_s, θ_e, θ_w, θ_f]와 같은 벡터 형태로 표시됩니다. 주어진 벡터에서 값 θ_p는 인간 물체의 플래터를 회전시키기 위한 모션 매핑에 해당합니다. 동일한 θ_p는 외과 의사 측에서 HoloLens 에뮬레이터에 표시되는 설명자의 방향을 지정하는 데에도 사용됩니다.

그림 3은 3D 재구성을 위한 필수 단계인 팬텀 모델의 DITF 기능을 보여줍니다. 추출된 특징을 기반으로 이미지 일치에서 대응이 식별됩니다. 참조 이미지와 45° 회전의 다양한 결과 간의 대응은 그림 4에 나와 있습니다. 서로 다른 색상에 대한 대응은 이미지가 다른 보기 방향에 있는 경우에도 유사한 기능을 식별하고 일치시키는 효과를 명확하게 나타냅니다. 그림 5에는 모션 매핑의 정확도가 포함되어 있으며, 이는 두 손가락 사이의 거리가 낮을 때 정확도가 높다는 것을 나타냅니다. 그러나 손가락 사이의 거리가 멀어지면 정확도가 떨어지기 시작합니다.

반면에 AR에서는 모델이 데이터를 처리하는 데 걸리는 시간이 필수적입니다. 따라서 이 매개변수는 제안된 모델의 검증을 위해 포함되고, 이미지를 처리하기 위한 시간 지연을 측정하며, Oriented FAST 및 ROTEDD BRIEF(ORB)²⁴ 및 BEBLID(Boosted Efficient Binary Local Image Descriptor)²⁵와 같은 기존 알고리즘으로 결과를 검증합니다. 결과는 그림 6과 같이 DITF가 대기 시간 측면에서 ORB 및 BEBLID와 같은 기존 모델을 능가한다는 것을 보여줍니다. 그 외에도 3D 재구성 모델은 재구성 오류로 검증되며 그림 7 에 표시된 그림은 히스토그램이 좁다는 것을 나타내며 이는 재구성 오류가 최소화되었음을 의미합니다. 제안된 알고리즘의 재구성이 검증되고 검증되었음을 보여줍니다. 그림 8 은 제안된 모델에 대한 3D 재구성의 출력을 보여줍니다. 이는 시각화의 선명도를 반영하며 이미지의 정량적 결과도 플롯을 사용하여 검증됩니다. 이러한 결과는 제안된 모델이 3D 모델을 재구성하기 위해 회전 변환을 통해 필요한 모든 기능을 추출했음을 증명합니다. 따라서 원격 전문가는 수술 현장을 정밀하게 시각화하고 제어할 수 있습니다.

그림 1: 증강 현실을 사용한 경피적 대동맥 판막 치환술 자동 수술을 위한 하드웨어 설정 구현. (A) 실시간 모니터링 시스템이 있는 수술 분야. (B) 증강 현실 기반 시각화. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 2: 수술 환경의 예상 모델. 표시된 모델은 공간적으로 분산된 카메라 센서를 사용하여 수술 환경을 실시간으로 감시하는 기능을 갖추고 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 3: 수술 테스트베드에 배치된 인간 심장 모델과 특징 설명자 알고리즘을 사용하여 추출된 특징. (A) 입력 하트 팬텀 모델. (B) 심장 팬텀 모델의 3차 필터링 기능 추출을 사용한 방향성 강화 기능 설명. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 4: 두 이미지 특징 간의 특징 일치. (A) heart phantom 모델에 대한 3차 필터링 특징 추출을 사용한 방향성 강화 기능 설명. (B) 45° 회전된 심장 팬텀 모델의 3차 필터링 기능 추출을 사용한 방향성 강화 기능 설명. 선은 두 개의 서로 다른 방향에서 유사한 이미지의 특징 간의 일치를 나타냅니다. 선 색상은 선택한 다양한 기능을 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 5: 손 제스처 추적의 정확도. 그림은 백분율 정확도를 보여줍니다. 표본 수(N)는 500으로 선택됩니다. 모션 매핑은 500번 수행되며 그 중 올바른 맵의 수가 발견됩니다. 그런 다음 정확도는 올바른 매핑과 총 샘플 수 간의 비율로 계산됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 6: Oriented FAST 및 rotated BRIEF 및 Boosted Efficient Binary Local Image Descriptor Algorithm과 함께 3차 필터링을 사용한 방향성 강화 기능 설명의 지연 시간. 이미지에서 특징을 추출하는 데 걸리는 시간인 지연 시간이 플롯됩니다. N을 500으로 선택했는데, 이는 시간 지연 계산이 500번 이상 수행된 다음 평균을 낸다는 것을 의미합니다. 이 절차는 세 가지 알고리즘에 대해 수행되고 플로팅됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 7: 제안된 모델의 재구성 오류 분포. 재구성 오류는 해당 피처에서 복원된 3D 이미지와 원본 이미지 사이의 오류입니다. 오류 플롯은 특정 이벤트의 발생 횟수를 나타내는 히스토그램입니다. 오차가 0일 때 개수가 최대이며 어느 한쪽에서 감소합니다. 이것은 원하는 결과입니다. 그림은 히스토그램의 분산(정규 밀도)이 더 작으므로 평균(0)의 오차가 어느 방향으로든 크게 퍼져 있지 않다는 것을 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 8: 심장 모델의 3D 재구성. 색상이 지정된 각 점은 해당 피처에서 3D로 재구성된 점을 나타냅니다. 현재로서는 피처 재구성 알고리즘이 색상을 정규화하고 이에 따라 다른 피처에 색상이 지정됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

Discussion

기존 작업⁽¹⁵)에서는 심장에서 카테터를 찾기 위해 X선 및 CT 스캔을 검사합니다. 그러나 AR TAVR 대체는 3D 재구성을 사용한 자동 모델의 구현으로 TAVR¹⁸ 수술 절차의 새로운 가능성을 제시합니다. 프로토콜 섹션에서 언급했듯이 이 작업은 5단계로 설계해야 합니다. 이전 작업²²에서 제안한 섹션 6에서 언급한 DITF²²의 첫 번째 단계는 의료 애플리케이션에 모델을 포함하는 방식으로 향상되었습니다. 3D 재구성의 두 번째 단계는 2D 점에서 3D 모델을 구성하는 어려운 작업입니다. 모델을 검증하기 위해 다양한 입력 이미지로 모델을 테스트했습니다. 이미지를 재구성하기 위해 SFM²³이 채택되었습니다. 이미지의 일치는 보정 매트릭스와 함께 DITF²²의 도움으로 측정됩니다. 다음 단계는 손 제스처 추적입니다. 3D 재구성에서 손 제스처 제어의 인터페이스는 실시간으로 진행되는 또 다른 어려운 작업입니다. 크기 조정 제어 및 회전 변형에는 원격 전문가가 3D 모델에 쉽게 액세스할 수 있도록 손 제스처가 포함되어 있습니다. 네 번째 단계는 자동 이미지 캡처에 대한 섹션 3에 명시된 모바일 앱 생성입니다. 이 앱은 데이터를 3D 모델로 원격 전문가에게 로드합니다. 마지막 단계는 하드웨어 설정으로, 그림 1과 같이 로봇 팔이 있는 심장 팬텀 모델을 사용하여 시연되며, 로봇 팔은 카테터를 삽입하여 손상된 심장 판막을 교체합니다.

개발된 방법은 증강현실 및 특징 추출을 이용하여 수술 환경의 현장 감시에서 원격 수술을 수행하는 것을 목표로 한다. 이 기사에서 제안된 중요한 기여는 우리가 가장 잘 알고 있는 한 문헌에서 볼 수 없습니다. 개발된 방법은 특징에서 3D 이미지를 재구성하는 데 짧은 대기 시간을 갖습니다. 또한 이 방법은 재구성된 피처와 원본 이미지 간의 오차가 매우 적습니다. 이 대기 시간과 오류는 각각 그림 6 과 그림 7에 나와 있습니다. 이 수치는 또한 다른 알고리즘, 즉 ORB²⁴ 및 BEBLID²⁵ 가 제안된 방법보다 표준 이하임을 보여줍니다.

이 방법을 개발할 때 직면한 과제는 모바일 앱과 원격 서버 간의 Bluetooth 프로토콜 기반 전송입니다. 장면 캡처 및 전송은 2초마다 완료되어야 하기 때문에 초고속 통신이 필요했습니다. 소켓이 깨지는 경우가 많았고 원활한 처리를 위해 많은 예외 처리와 병렬 루틴 관리가 필요했습니다. 그 외에도 방법의 개발 및 구현 중에 몇 가지 문제에 직면했습니다.

그러나 이를 해결하기 위한 몇 가지 문제 해결 기술이 있습니다. Bluetooth 통신에는 올바른 채널 또는 VVID 포트 번호를 선택하는 작업이 포함됩니다. 또한 더 이상 진행하기 전에 양쪽 끝에서 Bluetooth 장치를 전환해야 합니다. 로봇 암과 행잉 회전 암을 구동하기 위한 마이크로프로세서 기반 루틴과 관련하여, 시리얼 통신을 위한 포트 번호가 보장되어야 합니다. NEMA와 서보 모터를 고려한 모터 드라이버 연결이 적절하게 보장되어야 합니다. 제대로 수행되지 않으면 드라이버에 대한 연결만 잘못되어도 NEMA 모터가 원치 않는 방식으로 회전합니다. NEMA 모터의 두 코일 리드를 올바르게 식별해야 합니다. 그렇지 않으면 드라이버와의 연결이 원치 않는 방식으로 회전하거나 모터가 손상될 수 있습니다. 무게가 약 1kg인 회전 암을 걸 수 있도록 커플러를 설계하는 것은 어려운 일이었습니다. 이 문제를 해결하기 위해 모터 샤프트에 직경 1mm의 구멍을 뚫었습니다. 모바일 장치의 무게를 포함하여 팔의 양쪽 균형을 맞추는 것도 어려운 일입니다. 그렇지 않으면 구조물이 지면에 끌려 모터 샤프트에서 구조물이 찢어지거나 당겨질 수 있습니다. 로봇 팔의 베이스, 어깨, 팔꿈치, 손목 및 손가락을 적절하게 조여야 합니다. 그렇지 않으면 회전하여 무게를 들어 올릴 때 부품이 떨어질 수 있습니다. 두 모듈의 병렬 실행은 원활한 작업을 위해 서로 다른 스레드가 병렬로 실행되는 적절한 Python 환경을 설정하여 처리해야 합니다.

그 결과, 제안된 Automatic TAVR¹⁸ 모델이 AR의 수술 지도를 위한 효과적인 방법이라는 결론을 내렸습니다. 이 제안 된 모델은 의료 전문가의지도에 따라 의료 분야의 모든 수술에이 프로토 타입을 유연하게 적용 할 수 있습니다. 학습 기반 모델은 3D 재구성을 개선할 수 있습니다. 3D 모델을 재구성하려면 좋은 조명 이미지가 있는 여러 뷰를 입력으로 제공해야 합니다. 그러나 이 문제는 나중에 해결할 수 있습니다. 또한 미래에는 5G 통신 기반 전송을 개발하여 낮은 대기 시간과 매우 안정적인 통신을 보장하여 무고장 및 원활한 작동을 보장하고자 합니다. 또한 현재 사용중인 에뮬레이터 대신 자체 AR 장치를 개발하고 싶습니다. 이를 통해 실제 수술 환경에서 3D 모델의 시각화를 개선할 수 있습니다.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
안드로이드 IDE	소프트웨어	https://developer.android.com/studio	소프트웨어는 이 링크에서 다운로드할 수 있습니다
Arduino 보드	Ardunio Uno	Ardunio Uno	처리하기 위한 마이크로컨트롤러
		.	소프트웨어는 이 링크에서 다운로드할 수 있습니다.
인간의 심장 팬텀 모델	생물학 실험실 장비 제조 업체 및 수출	B071YBLX2V (8B-ZB2Q-H3MS-1)	심장의 깊은 분석에 3 부분의 경량 모델.
모바일 홀더	겸손한 범용 모노 포드 홀더	B07S9KNGVS	수술 분야에서 모바일을 휴대하려면
pycharm IDE	소프트웨어	https://www.jetbrains.com/pycharm/	소프트웨어는이 링크에서 다운로드 할 수 있습니다
로봇 팔	인쇄 봇	B08R2JLKYM (P0-E2UT-JSOU)	팔은 제어를 통해 제어 할 수 signal.it 액세스 자유도는 5 자유도입니다.
서보 모터	Kollmorgen Co-Engineers Motors	MG-966R	고 토크 서보 모터, 서보 펄스 범위는 500에서 2500 마이크로 초 (µ s), 주파수는 50Hz에서 333Hz입니다.
서보 모터	Kollmorgen 공동 엔지니어	SG-90R	서보에는 1.8kg-cm에서 2.5kg-cm 부하의 모터를 SG-90R 서보에 적용할 수 있습니다.
스테퍼 모터	28BYJ-48	28BYJ-48	스테퍼 모터, 5V DC, 100Hz 주파수, 토크 1200 Gf.cm
스테퍼 모터	Nema 23	Nema	스테퍼 모터, 9V - 42V DC, 100Hz 주파수