拡張現実

「Wikitude」。スマートフォンを通して見た風景上に、その場所に関する情報がオーバーレイされる

拡張現実（かくちょうげんじつ、英: augmented reality、オーグメンテッド・リアリティ、AR）とは、現実世界に仮想世界を重ね合わせて表示する技術を指す言葉^[1]^[2]。エクステンデッド・リアリティ（XR）と呼ばれる先端技術の一つである^[3]。

現実の風景の中にCGでつくられた3D映像やキャラクターなどのデジタルコンテンツやデータを重ねて表示することで現実世界を"拡張"する^[4]^[5]。専用のヘッドマウントディスプレイ（以下、HMD）を用いる方法、あるいはスマートフォンのカメラとディスプレイを使って重ね合わせる方法などがある^[1]。

概要

拡張現実（AR）とはその名の通り、「現実を拡張する」ものであり、肉眼で直接見ることができる現実の世界に重ねて、本来その現実空間に存在しない情報を表示するというものである^[6]^[7]。複合現実（MR）の一種とも言われ、広くはエクステンデッド・リアリティ（XR）に含まれる^{[注 1]}^[6]^[8]。仮想現実（VR）のベースにあるのが映像であるのに対し、ARのベースにあるのは現実世界である^[6]。

現実世界の情報とデバイスのシースルー（透過型）のディスプレイに表示されるデジタル情報を組み合わせることで、肉眼だけでは得られない"新たな現実"を作り出せる点が特徴であり、現実の風景の上に本来存在しない映像やアイコン、アノテーションなど様々な情報が付加されることによって、あたかも現実が拡張されたかのように見える^[6]^[7]^[9]。このシースルーで周囲が見えるという利点は大きく、ユーザーは現実世界で普段の生活と同じように行動をしながらでもデジタル情報を得ることができる^[6]^[7]^[10]。

現実とリンクしてそこに新たな情報を追加して世界を広げるのがARの特長であり、そもそも現実の世界が見えていないと意味がないため、モバイル利用できることが大前提である^[8]^[10]。屋内はもちろん、屋外でも自由に出歩いたり動き回ったりできなければならない^[10]。そのため、デバイスのサイズはできるだけ小型化・軽量化されることが望まれる^[11]。

ARの種類

ARはロケーションベースAR、マーカー型AR、マーカーレス型ARの3種類に大別される^[1]。

ロケーションベースAR

ロケーションベースARまたは位置拡張ARとは、GPSをはじめとする各種センサーによって位置情報を取得し、その場所に応じた3Dグラフィックスなどのコンテンツをカメラ映像に合成して表示する技術^[1]。

マーカー型AR

マーカー型ARとは、マーカーと呼ばれる図形をカメラで読み取ることで、その位置にコンテンツを合成して表示する技術^[1]。コンテンツを表示する位置を細かく制御できるという利点がある^[1]。

マーカーレス型AR

マーカーレス型ARとは、カメラ映像に含まれる実際の風景や建造物、看板などを識別し、それぞれに合わせたコンテンツを合成して表示する技術^[1]。マーカーを使わずにコンテンツを表示できることがメリット^[1]。

用途

AR技術は現実とリンクするというその特徴を生かして、Pokémon GOなどの位置情報ゲームのようなエンターテインメント分野ではすでに利用が進んでおり、ビジネスシーンでも様々な利用が始まっている^[1]^[10]^[12]。産業用途としては、製品や装置・設備の3D CADデータをもとに、仮想空間で試作品を作る前に動作や状態を検証することができるシステムや、工場や機械などの保守・点検の際に、作業員が実際の空間や機器に重ねてディスプレイに表示される点検箇所の情報や作業指示に従って作業を進める業務支援システムなどでの利用例がある^[4]^[10]。その際、同時に作業の過程も録画・記録される^[12]。また現実世界の装置の状態を3Dデータで再現して、専門家が遠隔地から検証や保守などに活用するというケースも出ている^[4]。2020年の新型コロナの影響で国境を越えた移動が難しくなった日本の大手メーカーにも採用が広がっている^[12]。日本からエンジニアが現地の作業員の作業を手伝ったり指導したりすることができるので、作業効率を引き上げ、事故を減らすこともできるからである^[12]。さらにセンサーやHMDを駆使して、遠隔地からロボットを分身のように操作する「テレイグジスタンス」と呼ばれる応用例もある。これは宇宙空間など危険な場所での作業をロボットが肩代わりすることが出来る技術で、生産性と安全性の面で将来期待される技術である^[4]。

近年では、店舗のレイアウトがスマートフォンの画面に再現されるARショッピングも登場し、小売業や家具店などのオンラインストアで導入されることも増えている^[5]。スマートフォンを周囲にかざすことで商品が表示されるため、自分の部屋にいながらにして購入前に商品のイメージを確認できる^[5]。また博物館や美術館で見学者のスマートグラスに文字情報や映像を表示して展示物の解説をしたり、順路を明示したりするようなことも考えられている^[12]。

中国では、2018年の春節から顔認識機能付きのサングラスが犯罪捜査に使われ始めた^[12]。警察のデータベースにある逃亡犯の画像と一致すると警告が出る仕組みの顔認識機能付きのサングラスをかけた警察官が人込みの中から犯罪者を見つけるというものであった^[12]。2020年には、新型コロナウイルス感染症対策で空港の旅客の体温を赤外線カメラのついた眼鏡をかけた空港警備員がチェックするということも行われた^[12]。眼鏡越しに見ると旅客の顔は四角い枠で囲まれ、その下に体温が表示されるようになっていた^[12]。

日本ではドローンによる屋外利用も進み、撮影などに盛んに利用されている^[11]^[13]。国内の規制上、ドローンの操縦者は目視が必要であるため、外界から完全に隔絶されたVRでは操縦できないのに対し、目の前でドローンの飛行データやカメラの映像を確認しながらドローンを目視できるARなら操縦できるからである^[13]。

医療

医療はARやVRの導入が進む分野のひとつで、教育、治療・手術支援、リハビリテーション、遠隔医療などで次々と新しい実践が行われていて、すでに手術室や医療訓練、診療所、在宅医療などの現場に入り込み始めている^[14]^[15]。

AR技術を活用した遠隔医療システムとは、遠隔地にいる専門医が現地の執刀医と視界を共有し、ARを使って患者の切開箇所などを指示し、現地にいる執刀医はそれをもとに手術を行うことができるというものである^[15]。当初は軍事目的や医学的リソースが乏しい地域や紛争地の外科医に対して遠隔で外科医を教育指導・支援するために開発された技術だったが、リアルタイムの手術にも対応可能となり、様々な国で広く導入されるようになり、医師の大都市集中や診療科偏在などで地方の医師不足が深刻な課題となっている日本でも、その動きは始まっている^[15]。

近年、ネット回線を使った通信上の遅延や高額な費用の課題などがクリアされて遠隔手術ができる情報通信の環境が整い始めると、アメリカや中国をはじめ、世界各国が遠隔ロボット手術に取り組むようになった^[16]。手術に不可欠な手術支援ロボットの開発も、それまで独り勝ちだった米国製ロボット「ダビンチ」の主要な特許が2019年に切れたことで開発競争に火が付いた^[16]。日本では川崎重工業とシスメックスの合弁会社メディカロイドが開発した「hinotori（ヒノトリ）」が2020年8月、国産の手術支援ロボットとして製造販売の承認を得ると、2021年4月にはメディカロイド、神戸大学、NTTドコモがヒノトリと次世代高速通信規格「5G」を使った遠隔操作による模擬手術の実証実験を開始した^[16]。この実験と従来の実験との最大の違いは、専用の有線回線でつなぐのではなく、商用5G網を活用した「世界初」という実験だった点であった^[16]。遅延を減らすことやセキュリティー面を考慮すれば、光ファイバーの専用の有線回線で各病院のロボットをつなぐのが一番であるが、それには莫大な費用がかかる^[16]。またプロバイダーを介した商用の有線接続では、各病院内のネット環境の違いが通信速度に差を生み、ネットワーク化の支障となる^[16]。将来、あらゆる病院をつないで実用化することを考えると、無線というハードルはあるものの、商用5G網の利用は大きな魅力になる^[16]。それにより、日本中どこの病院でも比較的安価で安定した通信環境の下、ロボットを直接ネットワークにつなぐことが可能になるからである^[16]。さらにロボットを使うことで、執刀医のあらゆる動きをデジタル化してデータベースとして蓄積することもできるようになる^[16]。卓越した医師の『匠の技』をたくさん集めてすべてデータ化すれば、『匠』とはどういうものかを解析して、熟練した指導医が指導するようにロボットが指導できるようになる。その先には、ロボットが自分で手術をできるようになる可能性もある^[16]。2021年、弘前大学医学部附属病院で遠隔手術の実証実験が行われた^[16]。

医者が切開することなしに患者の解剖学的構造を把握できる技術もあり、患者や医師の教育、手術の可視化やシミュレーションなど、医療現場の実習などに使われるケースもある^[4]^[14]^[17]。解剖モデルを3Dで見ることができるARアプリや、注射の際に患者の肌をスキャンして血管の位置を特定し、針を刺すのを容易にしてくれるデバイス、ヘッドセットで患者の脊椎上に脊椎に関する情報をオーバーレイ表示する外科用の技術などが開発されている^[14]。

発達障害の子どもたちのソーシャルスキルトレーニングにスマートグラスを用いる研究が進められている^[18]

軍事

米国空軍では、1980年代から攻撃ヘリコプター AH-64 アパッチには操縦士用の暗視装置であるAN/AAQ-11パイロット暗視センサー（PNVS）が搭載されていた。1990年代後半からはJHMCSという戦闘機用のHMDが開発され、2003年11月より本格生産が開始された。

米国海軍は、ARを射撃の支援に利用する実証試験を実施したことがある^[19]。2016年12月に陸上で、2017年6月にイージス巡洋艦の艦上で、それぞれ実証試験を実施した^[19]。対象は艦上に設置した機関砲を扱う銃手で、銃手のヘルメットに取り付けたヘッドセットに目標指示や交戦に関する情報を表示してやることで、情報共有が改善されることが期待されている^[19]。

米国陸軍は、2008年から現場で行動する兵士の装備にAR技術を取り入れる研究を行なっている。開発中のシステムは『戦術拡張現実（Tactical Augmented Reality : T.A.R.）』と呼ばれ、兵士がARディスプレイを装着することによって様々な情報をビジュアルで把握できるようになるというもの^[20]。2018年、Microsoftと共同でARヘッドセット「HoloLens 2」をベースにした米陸軍用ヘッドセット「IVAS（Integrated Visual Augmentation System）」の試作品を開発する2年契約を結ぶと、2021年には同社に「IVAS」12万台を発注した^[21]

活用事例の主流は「訓練」や「研究開発」であり、武器の運用環境が過酷な実戦用の技術はまだほとんど例がない^[22]。

ポピュラーカルチャーにおける拡張現実

ARのようなものは発想としては古くからあり、コンピュータ研究の初期の1960年代にはすでにARのような技術のために使うシースルー^{[注 2]}HMDなどの開発が始まっていた^[23]。そのため、SF作品を中心に様々なジャンルのフィクション作品の題材として取り上げられてきた^[23]。

日本におけるAR技術周知のきっかけとなった作品の一つとして、2007年のアニメ『電脳コイル』の存在を挙げる声が多い^[24]^[25]^[26]^[27]。ARが社会に普及した世界の日常が描かれ^[24]^[25]、作中に登場するデバイス「電脳メガネ」にはARだけでなくMR技術も使われている^[26]^[28]^[29]。また2009年のアニメ『東のエデン』も『電脳コイル』と並んで日本国内の現実のARサービスの盛り上がりに影響を及ぼした作品であると言われる^[30]^[31]。作中には、携帯カメラを使って建物や人物の情報が分かるARシステム「東のエデンシステム」が登場する^[30]。

それら以前にもAR技術を使ったデバイスが登場する作品は数多く存在し、漫画/アニメ『ドラゴンボール』に登場する相手の戦闘力を見ることの出来る「スカウター」なども、HMDを使ったARデバイスの一種と言える^[12]^[23]^[32]。

映像作品では、登場人物の顔や表情を描写する都合からか、『電脳コイル』の電脳メガネのような透過型のHMDや、『ドラゴンボール』のスカウターのような通信機などのヘッドセットに付属した片眼鏡型で描かれることが多い^[32]。

歴史

拡張現実と同様のアイデアは、劇作家のライマン・フランク・ボームによって1901年に初めに述べられた。彼は、現実世界に創作されたデータを重ね合わて表示する「キャラクター・マーカー」という電子デバイスを考案した^[33]。

映像撮影技師のen:Morton Heiligは1957–62年にかけて「センソラマ」というシミュレータを開発し特許を取得した。これは映像と音響と振動と香りを模擬するシステムであった^[34]。

またARを実現するデバイスが実際に開発された事例として、1966年のアイバン・サザランドによる「ヘッドマウントディスプレイ」の発明などがなされてきた。

1975年にはen:Myron Kruegerによって、ユーザーが仮想物体とやりとりできる「ビデオプレイス」というシステムが初めて開発された。

1989年、「仮想現実」（VR）という言葉がジャロン・ラニアーによって作られ、初めての仮想世界で行うビジネスを作り出した。

「拡張現実」という名前は、1990年にボーイングの技術者であるTom Caudellによって付けられた^[35]。

1992年に日本で子ども向けのバラエティ番組『ウゴウゴルーガ』の放送が開始される。リアルタイムに制御されるCGキャラクターと出演者が対話する形式のシリーズ番組の先駆的事例である。（バーチャル・スタジオ）

1992年にアームストロング空軍研究所のL.B. Rosenbergは機能するARシステムとしては最初期のものである「Virtual Fixtures」を開発し、デモンストレーションを行った^[36]^[37]。

1992-93年に、ARシステムのプロトタイプ「KARMA」の有名な論文が発表された^[38]。

2000年、Bruce H. Thomasは初の屋外携帯ARゲームである「ARQuake」をウェアラブル・コンピュータ国際シンポジウムで発表しデモンストレーションを行った。

このように、一部のエンターテイメント向け試作機を除けば、軍事産業や自動車・航空機製造産業で主に利用されてきたARだが、2000年代に入り携帯端末の普及に伴い一般消費者向けサービスへと利用されるようになった^[39]。

日本では2007年以降一般にも知られるようになった。同年にAR技術を応用した初めての市販ゲーム「THE EYE OF JUDGMENT」が発売された。

2008年、スマートフォンでARを活用した初の一般向け位置情報アプリケーションである「Wikitude」がリリースされた^[40]^[41]。日本ではGPSの位置情報を利用する「セカイカメラ」が2009年にリリースされた。

2010年8月27日にリリースされた日本の携帯電話（フィーチャーフォン）用プラットフォームである「AR3DPlayer」は、2次元バーコードのQRコードをそのままQaRマーカーとして認識するトラッキング・システムを実装していた。カメラやGPS、加速度センサなど各種センサによって携帯電話の位置や向きをトラッキングすることで、正しい位置と向きに画像を表示するシステムはARの実現のために重要な技術である。AR用のトラッキングのための画像認識ライブラリは1999年にリリースされた「ARToolKit」などから利用することができ、2003年にはDieter SchmalstiegおよびDaniel Wagnerによって携帯電話・PDA向けで初のマーカー・トラッキング・システムが開発されていた^[42]。アジアではQRコードが携帯電話による画像認識マーカーとして普及していたため、ARのマーカー・トラッキングにも用いられるようになった。

ARを使った作品の例としてはni_kaのAR詩がある。これは東日本大震災が念頭に置かれており、パウル・ツェランの『誰でもない者の薔薇』を意識した喪の表現となっていて、東京タワーの頂上に薔薇の花を咲かせたり、キティが沢山画面上に出てきて、タップするとそこから詩が出てきて、それに対して感想や返詩ができたりするものであった。^[43]^[44]

2013年、Googleによる拡張現実ツール「Google Glass」のベータ版のテストが始まり、この製品向けの様々な拡張現実アプリケーションがサードパーティーにより実装されてきている。眼鏡型および時計型コンピュータは、スマートフォン以降のウェアラブル・コンピュータ（身に付けられるコンピュータ。持ち運びできるモバイル・コンピュータの次に来る流れとして注目されている）の本命と見なされている。

2014年、ARのコア技術であるコンピュータービジョン（CV）のリーディングカンパニーのKudan Limited（英国）が日本法人となるKudan株式会社を設立し、マーカーARおよびマーカーレスARの両方をサポートするクロスプラットフォーム対応のモバイルアプリケーション開発向けツールキット「Kudan AR SDK」を日本市場に広めた。2018年3月より、Kudan AR SDKの販売およびサポートは、グローバルディストリビューターであるエクセルソフト株式会社が提供している。

2016年、AR特化型ニュースメディア「GET AR」が誕生した。

米国Niantic社により、世界各地でPokémon GO（ポケモンゴー）が発表された。

2016年11月30日に、エプソン販売株式会社からAR対応のスマートグラス、EPSON MOVERIO「BT-300」を発売。独自開発の有機ELディスプレイを採用し、軽量化、高輝度、高画質化まで実現している。