captiOnlineの概要
2022/01/13 若月大輔waka.icon
筑波技術大学 産業技術学部
captiOnlineについて
https://gyazo.com/77b7a294ea13320debf0070ad6d976bc
captiOnline（キャプションライン）はウェブブラウザだけで遠隔からPC文字通訳を行うことができるシステムです．ノートPCやスマートフォンなどでインターネットでウェブページを閲覧できる環境があれば，屋内外を問わずどこでも利用することができます．専用のソフトウェアや機器の導入も必要ないので，普段お使いの文字通訳用のPCだけで遠隔文字通訳が実現できます．
質の良い文字通訳には，入力者がやりやすい入力インタフェースが不可欠です．captiOnlineには入力者が快適な連係入力ができるよう様々な機能が実装されています（普段IPtalkを利用されている方からもご好評いただいています）．また，最新版では音声認識を活用した入力や，Zoomへの字幕挿入機能なども備えています．
アプリ公開の年度等
2013年度：8月頃にプロトタイプ版を公開
2014年度：captiOnline2を公開
2017年度：captiOnline3を公開
2020年度：captiOnline4のβテスト開始
2023年3月：captiOnline4リリース
アプリ開発の目的
聴覚障害者を支援するための音声をリアルタイムで文字化する文字通訳は，従来，通訳者が字幕を必要としている場所へ直接行き，音声をPCで打ち込む方法でおこなわれていた．
IPtalk
https://gyazo.com/8159cff075eb40223d8dad3c295d2ee3
近年ではインターネットを活用して遠隔で文字通訳をおこなう方法が試みられてきた．
IPtalk+VPN
IPtalk+UDP Connecter
https://gyazo.com/b0109b11ad6ea7c6f3d1df54b06205f5
IPtalk+ITBC
https://gyazo.com/d667f4b7ee99cb9c1cfcd5d4e4051cc5
しかし，これらの方法は高価な機材の導入や専用のネットワークを用意する必要があること，利用者に機材やネットワークへの熟練が要求されること，トラブルが発生した際に解決するスキルが求められることなどの課題が多かった．
T-TAC Caption：シンプルな機能，Flash
captiOnlineではこれらの課題をすべて解決するために，文字通訳する人と字幕を必要とする人とが，ウェブブラウザでウェブページにアクセスするだけで，オンラインで現場の音声と映像を共有し，字幕を提供することができる環境を実現した．
ICTに詳しくない人でも，容易にオンラインで文字通訳をおこなうことができる環境を目指したシステムである．
各バージョンの特徴
プロトタイプ版（weption, captiOnline)
HTML5とWebSocketを使用して情報保障実験のために作成したしcaptiOnlineの元となるプロトタイプシステム
連係入力程度が可能かどうかの実証実験用
captOnline2
プロトタイプ版を本格的な文字通訳システムが可能なシステムとして構築したシステム
文字通訳の実務を担っている方たちと意見交換をしながら必要な機能を厳選して実装
字幕利用者とやり取りが可能な全体チャット機能
手書き投稿を実験的に実装
入力ページにイースターエッグ笑（コナミコマンド）
https://gyazo.com/73f928385646df66c9086cc3375706f0
captiOnline3
captiOnline2の機能をベースにインタフェースを改善
文字修飾と画像挿入機能の追加
文訂正機能の追加
音声配信の音質改善（独自実装→Opus）
音声認識の導入（Web Speech API使用）
スマートフォン用の実験用インタフェースの導入
https://gyazo.com/8550e482173113bb50319e1118bb1299
captiOnline4
captiOnline2とcaptiOnline3で好評だった機能を厳選して実装
ページごとのアカウントの複数生成
原稿パネルの共同編集
画像を挿入したハイブリッドキャプションの実用化
（今後）スマートフォン用インタフェースの実用化
https://gyazo.com/0e1efdff3a872358651ee01b8740240f
利用団体数
captiOnlineは聴覚障害者をはじめとした文字通訳を必要とする人々，文字通訳を担う団体など自由に利用することができる．
継続的に使用する団体に対して専用のページ（部屋）を作成し公開している．
団体別に作成した専用部屋数
table:captiOnlineの専用部屋数の推移（2021年10月8日集計）
年 2新規 3新規 4新規 合計 累計
2014 10 10 10
2015 20 20 30
2016 32 32 62
2017 31 31 93
2018 62 62 155
2019 26 79 105 260
2020 219 440 106 765 1025
2021 209 337 157 703 1728
主な利用形態
ビデオ会議×captiOnline（ウェブブラウザ）
ビデオ会議で映像と音声を共有
captiOnlineで文字通訳→利用者はウェブで字幕を見る
https://gyazo.com/11c19cca0fcba0e312fef7285c1baaba
ビデオ会議×captiOnline（画面合成）
ビデオ会議で映像と音声を共有
captiOnlineで文字通訳→画面合成→ビデオ会議で字幕を見る
https://gyazo.com/518ca504f31330cceacdc8e12a659615
現場×captiOnline
現場で遠隔文字通訳（PCテイクなど）
好みの位置・文字サイズ・行数で字幕を見れる
https://gyazo.com/300a56b9f7dbd4f94735e685ca492887
文字通訳練習会×captiOnline
休日や夜間にcaptiOnlineに集合
音声ソースをビデオ会議やYouTube等で共有
メンバーで連係入力の練習
https://gyazo.com/5ba1bf1c569bf76afe38e7b61539b069
主なcaptiOnline利用者の声
支援者「コロナ禍で困っていたところcaptiOnlineで支援ができるようになって助かった」
支援者「豊富な機能にも関わらず，大変使いやすくて感動した」
支援者「遠隔での情報保障が大変やりやすくなった」
当事者「captiOnlineが一番使いやすい」
当事者「入力が出来る，音声認識が出来る，修正も出来るで，すごい便利で良かった」
captiOnlineに関する情報
主な文献等
Daisuke Wakatsuki, Nobuko Kato, Takeaki Shionome, Sumihiro Kawano, Tomoyuki Nishioka and Ichiro Naito, Development of Web-Based Remote Speech-to-Text Interpretation System captiOnline, JACIII, Vol.21, No.2, pp.310-320, 2017 (doi:10.20965/jaciii.2017.p0310, https://www.fujipress.jp/jaciii/jc/jacii002100020310/) 新井達也，若月大輔，塩野目剛亮，字幕付き講義場面における聴覚障害学生の視線行動の分析，信学技報, vol. 119, no. 165, WIT2019-15, pp. 35-39, 2019年8月.
塩野目剛亮，若月大輔，白石優旗，張建偉，森嶋厚行，平賀瑠美「クラウドソーシングによる字幕情報保障に関する基礎的検討（第3報） ―実況音声の発話内容分類とワーカの入力結果の分析―」第96回福祉情報工学研究会，2018年8月．
塩野目剛亮，若月大輔，白石優旗，張 建偉，森嶋厚行，平賀瑠美，クラウドソーシングによる字幕情報保障に関する基礎的検討（第2報） ～ 音声情報と入力・送出文との対応，および個人の入力行動分析 ～，信学技報, vol. 117, no. 66, WIT2017-12, pp. 57-62, 2017年5月
塩野目剛亮，若月大輔，白石優旗，張建偉，森嶋厚行，平賀瑠美，クラウドソーシングによる字幕情報保障に関する基礎的検討ーウェブベース遠隔文字通訳システムcaptiOnlineスマートフォン版の開発ー，情報処理学会第3回アクセシビリティ研究会，2017/03/10
若月大輔，加藤伸子，塩野目剛亮，河野純大，西岡知之，内藤一郎，聴覚障害者のためのウェブベース遠隔文字通訳システムcaptiOnlineの開発，HCGシンポジウム2014
若月大輔，加藤伸子，塩野目剛亮，河野純大，西岡知之，内藤一郎，聴覚障害者のためのウェブベース遠隔文字通訳システムの開発，信学技報, vol. 114, no. 217, WIT2014-32, pp. 69-74, 2014年9月.
主な研究経費等
聴覚障害者のためのモバイル端末文字通訳システムに関する研究，19K02996，2019–2022，若月大輔，筑波技術大学，産業技術学部
聴覚障害学生支援のためのウェブベース遠隔情報保障システムに関する研究，15K01056，2015–2019，若月大輔，筑波技術大学，産業技術学部
メディア等への掲載等
信濃毎日新聞，一般質問の内容 画面に表示 軽井沢町会が試験運用，2015年6月10日朝刊
信濃毎日新聞，議場発言 その場で文字化 軽井沢町議会 試験運用，2016年2月27日朝刊