札幌医科大 竹政伊知朗教授と天馬諮問、高画質・低遅延でダ・ヴィンチ手術を遠隔指導

カテゴリ

協業・共同研究

情報提供元

天馬諮問株式会社

大腸がん手術の権威、札幌医科大学消化器・総合、乳腺・内分泌外科、竹政伊知朗教授と、映像データの圧縮・伝送・配信をコア技術とし、救急車映像や病院の手術室術野映像をリアルタイム伝送するシステムを開発・提供する天馬諮問株式会社は、共同でコロナ禍における、ロボットアシスト手術遠隔指導をめざすリアルタイム映像伝送実証実験を行った。

da Vinci Surgical System（Intuitive Surgical社）の3D術野映像および2D映像双方向会話システムにアノテーション（手書き）機能を搭載したTeleProctoring（テレプロクタリング：遠隔による立会施術指導）を、院内LANおよび一般インターネット回線を介して限りなく遅延のない（ディレイ実測平均東京・札幌間0.027秒、最速0.0135秒）通信を達成した。

研究・実証実験成果のポイント

・手術アシストロボットda Vinci Surgical Systemの3D術野映像を札幌医科大学の院内LANを通して、別棟にある医局にてリアルタイム3D閲覧を行った。

・講義用内視鏡術野映像を一般インターネット回線で、東京から札幌にリアルタイム配信、双方向通話を行いながら、アノテーション(指導目的での動画上ラベリング)を行った。

・東京、札幌間のインターネットを介したリアルタイム双方向通話映像・音声およびアノテーションの映像遅延は0.0135秒となり、実用的かつ医療現場で運用可能であると評価された（500回平均0.027秒）。

・指導医の数が限られるプロクタリング（立会施術指導）では、オンサイトの指導は非効率。国内移動制限のコロナ禍ではさらに困難。オンラインでの遠隔プロクタリングは、この課題に対応できる可能性がある。

・大きな経費負担となりうる専用通信回線を必要とせず、大学共用の一般インターネット回線利用で運用可能。通信する相手施設の追加投資や回線デバイド等、導入時のハードルを下げられる。

背景

1）ロボットアシスト手術プロクタリング指導の限界

Intuitive Surgical社のda Vinci Surgical Systemをはじめとしたロボットアシスト手術は、低侵襲手術手法として、消化器関連の手術でも長年信頼のおけるものとなっている。

しかし、導入台数および手術件数が増えているにもかかわらず、近年の外科医およびプロクタリング（現場立会施術指導）指導医の不足により、費用的・時間的に非効率であることが課題となっている。

その状況に加え猛威を振るい続けるCovid-19パンデミック禍での移動制限や感染症対策の徹底などが、さらに指導医の遠征・オンサイトによる指導を困難とならしめている。

2）遠隔指導における通信のディレイ（遅延）が課題

そこで可能性を感じられるのがインターネットを介した遠隔手術指導の可能性である。

札幌医科大学、竹政伊知朗教授はCovid-19パンデミック発症以前より、きわめて正確な手技が求められるダ・ヴィンチの執刀医の視野映像を、後進の医師たちにも見せながら指導したいと考えていた。

現在でも既存のシステムを使用し、2D内視鏡映像を用いて院内LANおよびインターネットを介しての遠隔地病院との双方向通信や手書きの線（アノテーション）を書き入れての指導は行われているが、大学内他学部との共用の回線の中20Mbpsもの大容量を使用しながらも、ディレイや映像の不安定さが目立つ。

アノテーションは書き入れたものが相手に到達するタイミングが遅く、指示したところからずれてしまい、映像を止めざるをえず、手術のリズムを崩してしまっている。

3）専用回線や5Gは普遍的サービスとなるか

天馬諮問株式会社は、これまで山間部・島嶼部のような限られた通信環境下での救急車やドクターヘリ内部の患者・バイタル映像を、3G回線を通じて搬送先病院や災害対策本部へ伝送・配信してきた。

今年3月から開始された5G回線や専用回線敷設は地域的な格差、導入や月額使用料、ハードの買替など、多くの障壁があり、地域的なデジタルデバイドが存在する。

5Gのような次世代高速通信規格開発・サービス一般化に関しては、国際的・政治的・技術的競争もあり先が読めないこともあり、社会基盤としての医療サービスが普遍的に普及するためには、現在すでに利用可能な通信インフラでのサービスが提供されなければならないと考えている。

そのためには医療現場でも通用する高精細映像を、いかに遅延なく狭い通信帯域でも確実に配信できるかどうかがカギである。

今回の実験の内容

1）実証実験１：ダ・ヴィンチ3D術野映像リアルタイム圧縮伝送配信閲覧システム

10月15日午前10：00より、札幌医科大学手術室より映像配信、同大学構内別棟にある医局にて閲覧を行った。

回線は院内LANを使用し、da Vinci Surgicalシステムより排出されるside-by-side映像を天馬のシステムTransmed-OPエンコードサーバにて、3MbpFullHDサイズまで圧縮、伝送。医局内のノートパソコンで受信後、HDMIケーブル接続により3D表示可能な家庭用プロジェクタにて投影。

手ごろな価格の3Dグラスをかけて見ることで、ダ・ヴィンチの執刀医と同じ高精細術野を複数人数が同時に遠隔でリアルタイム閲覧できる。

通信に使用するデータ量は、3Mbpsと理論的には一般インターネット回線を介しても画質およびスピードを保つことが可能。遠く離れた遠隔地への3D映像ライブ中継、指導時の説明などが可能となる。

また、このTransmed-OPに搭載の天馬諮問オリジナルエンコーダは、ソフトウェアのため閲覧先に高価なデコーダ（ハードウェア）を必要としない。パソコンとインターネット接続があれば、世界中で活用可能だ。

2）実証実験2：内視鏡2D術野映像双方向通信・会話・アノテーション表示システム

10月16日午前9：30より、札幌医科大学医局と天馬諮問の東京の事務所を一般インターネット回線で繋ぎ、双方向会話を行った。

東京のパソコンを手術室で執刀する研修医の術野と見立て、札幌の医局から竹政教授がプロクタリング指導をするという設定。

東京のパソコンから教材用内視鏡手術映像を配信、札幌医局のノートパソコンで受信、タッチパネルディスプレイに表示された内視鏡映像に線や矢印を書き入れ、具体的にどちらの方向にどれぐらいの力で組織をけん引するか、血管の位置や剥離を進める方向など、まるで隣で指導しているかのように指示することができる。

この指導で大事なことは、映像や音声、アノテーションの手書き部分がちぐはぐになったりせず、作業を止めずに進めることができることである。

このシステムを使って、札幌・東京間の双方向会話とアノテーションで発生した遅延の計測を行った。

遅延を正確に計測するデジタルストップウォッチを搭載しテストを行い、札幌東京間のディレイは最少で、0.0135秒となった。

実験は500回行い、ディレイ平均は0.027秒となった。また、双方向会話の映像や音声が途切れたり、ディレイでうまく伝わらなかったりといった問題も起こらず、医療現場で運用可能という評価であった。

今後の発展

この実証実験ではダ・ヴィンチ3D術野映像の閲覧は学内のみで行ったが、一般インターネット回線を通じたプロクタリング指導を目的とした高精細・低遅延リアルタイムライブ配信が可能だ。

術野アノテーション双方向通話では、上記3D映像とチャンネルを分け同時に両方閲覧することで、ライブとアノテーション指導を同時に行うことができる。

音声データを加えると、さらにライブ感が増し「まるで隣で指導を受けているかのような」遠隔指導が可能となってくる。

また、映像のアノテーションだけでなく、会話の内容等との紐づけ、ビッグデータ収集、教師データ作成、AIなどの次のステップも見えてくる。

指導医不足・外科医不足を補い、パンデミック禍の感染リスクを減らしながらコストコントロールし、ひいては患者へ還元されるシステムの開発を今後も目指していく。

・竹政伊知朗　教授プロフィール

＜専門領域＞
消化器・総合、乳腺・内分泌外科

＜略歴＞
平成05年03月　大阪医科大学　医学部　卒業
平成05年04月　大阪大学医学部付属病院（第2外科） 研修医
平成06年06月　国立大阪病院　外科　医員
平成09年02月　秋田赤十字病院　消化器センター
平成10年06月　大阪大学大学院医学系研究科　病態制御外科　大学院生
平成11年04月　奈良先端科学技術大学院大学　バイオサイエンス科　特別研究員
平成14年03月　大阪大学大学院　医学系研究科　博士課程 修了
平成14年04月　法務技官医師
平成16年06月　大阪大学大学院医学系研究科　消化器外科　助手（助教）
平成26年04月　大阪大学大学院医学系研究科　消化器外科　診療局長
平成27年04月　大阪大学大学院医学系研究科　消化器外科　講師
平成27年11月　札幌医科大学　消化器・総合、乳腺・内分泌外科　教授
平成29年04月　徳島大学大学院医科学教育部　客員教授
令和01年07月　富山大学大学院医学薬学研究部　客員教授

関連先リンク：https://site.tenmashimon.co.jp/
TEL：03-6807-4423