6. テキスト入力システム

本日の話題

日本語入力手法

各種のキーボードやデバイス

各種環境の入力

モバイル時代の入力

小さな画面での入力

テキスト入力

知的生産に必要

検索に必要

日本文入力方式 (JI) 1981～1984

日本語文書処理 (JDP) 1985～1986

文書処理とヒューマンインタフェース (DPHI) 1987～1988

ヒューマンインタフェース (HI) 1989～2006

ヒューマンコンピュータインタラクション (HCI) 2007～

各種デバイスの問題

キーボード

Dvorak, Qwerty

セミコロンなどの配置

タブレット

マルチタッチ

スワイプ

極小画面での入力

VR環境での入力

入力手法のトレンド

特殊キーボード

ペン / タッチ

文字認識

曖昧入力

少数キーボード

傾き利用

日本語入力システムの問題点

パソコン

ボタンやファンクションキーが多すぎる

半角/全角、無変換、変換、カタカナ/ひらがな

ケータイやスマートフォン

何故かキーが多い

状態遷移が難しい

方式がバラバラ

パソコン / ケータイ / PDA ...

将来出てくる装置でも?

サイネージではどうなる?

パーソナライズできない

同じ単語を何度も登録?

辞書共有できない

複雑化する原因

連文節変換

何故か主流だが問題が多い

インライン主義

アプリとの融合に無駄な苦労

細かい特殊機能

半角カナ変換、ギリシャ文字変換、...

Google日本語入力開発で一番苦労したらしい

日本語入力の歴史

漢字表とデジタイザ

2キー入力

文節変換

連文節変換

予測入力

かな漢字変換の発明者問題

元湘南工科大の天野氏が東芝を提訴

2012年5月 643万円で和解成立

https://gyazo.com/d6247e9e851b8575774d128b37524078

連文節変換の問題点 (1)

正確な入力が必要

間違いが許されない

正確に打てない人には使えない

IoT時代に向いていない

連文節変換の問題点 (2)

読みが長くても全部入力必要

「品川駅まで」の入力に「shinagawaekimade」とか

予測式なら「shinag」「mad」で充分

高速に正確に入力できる環境や人は稀

手指が器用な熟練者が座っているときだけ

モバイル/ユビキタス環境ではほぼ無理

連文節変換の問題点 (3)

本質的に誤り訂正が必要

歯医者? 医者?

訂正用の余計なキー操作

文節選択, etc.

曖昧入力をやりにくい

連文節変換の問題点 (4)

単語登録などカスタマイズが面倒

他のシステムと辞書を共有しにくい

連文節変換の問題点 (5)

他国語と併用できない

大阪弁辞書は使えるか?

連文節変換の問題点のまとめ

間違いが許されない

必要な操作が多い

訂正が必須

カスタマイズが難しい

日本語の標準語でしか使えない

SKK

https://www.youtube.com/watch?v=EfULaLEVjAI

大文字入力で漢字入力

小文字だとひらがな入力

送りがなの部分でまた大文字入力

SKK

実装が簡単

辞書がシンプル

慣れると高速

×日本語以外では使えない

モバイルテキスト入力手法

キーボードの問題点

場所をとる

電車の中では邪魔

安定した机と椅子が必要

両手が必要

手がふさがっていると使えない

かなり練習が必要

修業を積んだ器用な人が、他人の迷惑にならない場所で、机の上で使う場合に限って効果的

特殊キーボード

分割キーボード

片手キーボード

特殊ポジションキーボード

分離キーボード情報

http://scrapbox.io/MECHKEYS https://gyazo.com/fbbad2c73ed616b96bc0cff33f9eb599

自作キーボード専門店登場

https://yushakobo.jp/ https://gyazo.com/7013bed04853569dcb704ad4e39c5dc8

SHK

複数の文字をひとつのキーに割りあて

「曖昧解消キー」

Pilot版など

http://gyazo.com/5943f3ce1d8f62a214ca8b16e62c11ec.png

http://gyazo.com/ebadee4528193e87e94fc4651f832595.png

Half-Qwerty

キーボードの右半分を左に折り返した配置

http://gyazo.com/2e5d62def5daf7c29b26bf8c747af977.png

http://gyazo.com/0c71febcb90afd97e1bf43ceae9de0f3.png

よく使うキーを15個に割り当て

http://gyazo.com/b7e0e862c533631d8946d1b619dd9ec6.png

ミサワホーム開発/販売

子音と母音の組みあわせでかな入力

http://gyazo.com/eb53e043f5b9f09f9cbb1e4fe6b5774f.png

富士通のキーボード

子音と母音の組みあわせでかな入力

http://gyazo.com/77f87713c5b8be59255422638248c441.png

同じキの2度押しで高頻度文字入力

複数キーの組み合わせでそれ以外の文字入力

http://gyazo.com/e986e9dd2375b81d45853c395b45b014.png

母音と子音を左右に配置

http://gyazo.com/8faf8ba53fed494930cbd4dc3a513425.png

スティックで文字入力

http://gyazo.com/f277a0e61c6ac571f94761c2f25ab56b.png

Fingering

指の振動でキー操作を検出

指の組みあわせでキーを指定

http://gyazo.com/f2de3995fee893293d9a411932a91057.png

http://gyazo.com/7e70e8269fe83db9755bbaa60c31ce83.png

テンキー端末の傾きでQWERTYキーボードの位置(左/中/右)を選択

http://masui.org/5322b62d52aec14e4ae5f6ef366e07bc.gif

ビデオ: HoriKeys

四本指入力

QWERTYをa,s,d,fにマッピング

http://gyazo.com/57b0d7f9b73f6df792f06ba9ac9c9059.png

デモ: 四本指入力

テンキーで文字入力

曖昧性の自動解消

欧州携帯電話で普及

NECのケータイ

http://gyazo.com/ce05f7102f1de15ccd32dc88b49818a6.png

TouchMeKey

子音のみ指定して日本語入力

10キー / 4キー

http://gyazo.com/ca722272f527efceb2677dd4ce2e4019.png

何度も同じキーを押さずに文字を入力 (c.f. T9)

「補助キー」使用(「1」)

補助キーを押しながら「2」〜「9」キーを押すと代表文字を選択

補助キーを押さずに「2」〜「9」キーを押すと上記以外の文字が選択

曖昧性があるが だいたい当たる

http://gyazo.com/bf0ffdab3e311e50bafa2f13387d6530.png

字形に似た操作で文字入力

http://gyazo.com/cde0ba32727a2fb07871a61ae7391864.png

http://gyazo.com/cee7b7ef579e80b241e8acf9cef3ef04.png

Palmの入力エリアに貼り付けるキーボード

http://gyazo.com/9b0d180897cbdbbee9d323ca5d359642.png

「らっこ」キーボード

http://gyazo.com/2805a8654f5d2bcef6b819951126d049.png

http://gyazo.com/04f94e0a51ccb54159ed2d507d30ab45.png

http://gyazo.com/898285f27c43b5a45f5bec65a12a969d.png

H4Writer

ハフマンコードに基づいて最短入力

http://gyazo.com/4cedb881d0b704eda2e2e7f9d9900746.png

http://gyazo.com/55f1541b70e60dcd0161788f52be9662.png

H4Writer

キー割り当て

http://gyazo.com/e8564e25ff19b5bb67b7eaea83b3c607.png

1 Line KB

Qwretyを1列に並べる

枠をタップして候補選択

http://gyazo.com/22ec12c2dd3a54cfbaf20605ca6192fb.png

http://gyazo.com/8f9fb004fbd4380647b008702b65bc09.png

http://gyazo.com/e4cd564b4f2f5603eb0a142d08d4a898.png

各種のペン/タッチ入力手法

T-Cube

Unistroke

Graffiti

Quikwriting

Cirrin

Octave

楕円キー配列

Fitaly配列

Metropolis配列

Shark

Swype

ShapeWriter

ペン計算機

立って使える

小さい計算機でも大丈夫

邪魔にならない

壁かけメモ/伝言板になる

サイネージとして復活するかも?

iPadでブレイク?

T-Cube

http://gyazo.com/eedbbd982f2000f08ebb30ac66425e89.png

パイメニュー方式

1ストロークで1文字入力可能

日本語T-Cube

http://gyazo.com/f9f4f36de68637d5b8695d6bc9183c8e.png

かな入力に適用可能

熟練者は140文字/分入力可能

iPhoneの「フリック入力」はこの変型

http://www.clubnewton.com/newton/Packages/Hanabi00.GIF

Unistroke

アルファベットを一筆書きにマッピング

連想記憶可能

http://gyazo.com/8e8a1730a34c375b415ba2cabb6bbce3.png

http://gyazo.com/c77ac54c04a97ee553f19909c0c9614f.png

多少複雑化するがかな入力に適用可能

Graffiti

http://gyazo.com/c6fbb6277395e94f6294239ab0cd3f99.png

Zoomer, OmniGo, Pilot等で採用されている商用の一筆書き文字認識システム。

1ストロークで1文字入力可能

Unistrokeより字形に近いので覚えやすい

Graffiti訴訟

XeroxがPalmを訴えた

Xeroxが勝訴したが、そのときはすでにPalmは消滅

何の意味もない訴訟に感じられた

中心領域を除く部分を角度で8分割

ペンの領域間移動により入力文字を選択

ペンをタブレットから離さず入力可能

http://gyazo.com/21b5807b089323a36d51cf32216a4093.png

http://gyazo.com/f733ecaa576d69296ba3a7143d50a021.png

8pen

ペンを動かす方向と回転で文字を指定

http://www.8pen.com/ https://gyazo.com/e390375d7e9b46ff9dbba002ffa20313.png

https://www.youtube.com/watch?v=99vsUF4NuLk

Cirrin

円周上に配置された文字の上をペンでなぞる

よく使われる文字の組は並んで配置

http://gyazo.com/b336c4868b7c26ded5b5635bd035bfa2.png

四角のエッジをたどって文字入力

手が不自由でもなんとかなる

http://gyazo.com/ff817c8994e1adfbcc1a6b1ca90bb7e0.png

https://gyazo.com/79ad6b6806c7f59fd33edf8b065ecbd3.png

Quikwritingと同様のペンストローク

ペンを8方向になぞって字形で文字を選択していくと

候補単語が予測され、

正しい単語が予測されたところでペンを離す。

http://gyazo.com/1037fc48dc2ffdd73f16074062d959ca.png

字形を表現するキーで文字入力

http://gyazo.com/ec1ec213d21d92bf21622994f2daff95.png

http://gyazo.com/f86869de83c6a264127d0f462a538536.png

楕円ソフトキーボード

ソフトキーボードを楕円形に配置

ソフトキーボードの入力効率改善

http://gyazo.com/df30356eed760973bb50b3c655fe5e43.png

Fitalyキーボード

ペン移動を最小にするキー配置

http://gyazo.com/33f56be9e72711ed6d5b79c6e867a87d.png

Metropolisレイアウト

ペン移動を最小にするキー配置

http://gyazo.com/164091346c6ad0cf17a13fcfcf06e862.png

Shark

ソフトキーボードの上でなぞる

http://gyazo.com/3c7edf27cb9d08e5b6be87eb30d90f58.png

http://www.youtube.com/watch?v=1bibCui3lFM

http://gyazo.com/0569a1f2f190195e07f344b1484f857c.png

http://gyazo.com/88b989d4aa02b82c767ae6b059438fa8.png

Modern Touchscreen Keyboards as Intelligent User Interfaces - A Research Review

by Shumin Zhai

https://www.youtube.com/watch?v=0Cwrd2mDRjA

SplitBoard

https://gyazo.com/e4fd61c6d7bac98d8e79a9db03c64948.png

TapBoard

https://www.youtube.com/watch?v=oyLC5UeCbsA

Bimanual gesture keyboard

http://gyazo.com/4ed0d03c6209fe86da91fb1de038463e.png

DualKey

https://gyazo.com/2fd1eff85c49cfc2fb68d6e65c1a55b2.png

タッチする指によって文字を変える

美馬氏のシステム

https://gyazo.com/47770ef0b83cb571a580e900bebcaad9.png

https://www.youtube.com/watch?v=XeXOqMjZYSA

TiltType

https://gyazo.com/ee708874dab3c9171749eda21ee43224.png

TiltText

http://gyazo.com/bb7edd016cc5b82ff60f57175cfe26dd.png

SWiM

https://www.youtube.com/watch?v=8BuXIlQ7_XM

GesText

https://gyazo.com/b5804cf05d22e1ef15934fd8c311b7d4.png

https://www.youtube.com/watch?v=_dJROxk9nNs

Swipeboard

https://gyazo.com/179d619880bd0b0b2eab72dc99350467.png

https://www.youtube.com/watch?v=QfwReAyF3MY

ZoomBoard

https://gyazo.com/288280299e4b22f27bef8bef5102d327.png

https://www.youtube.com/watch?v=ivEzWporlhg

SwipeZone

SwipeBoardをHMDで使えるようにしたもの

https://gyazo.com/3520401c46ab2bbc63fc224d74f1f313.png

https://www.youtube.com/watch?v=hN3zPVXQjTI

入力システムの理想

ユニバーサル

誰でも

ユビキタス

いつでもどこでも

ネット資源の有効利用

機能の単純化

アプリやOSとなるべく独立させる

インライン変換などにこだわらない

余計な機能は用意しない

かな入力? 記号入力? 全角変換?

熟練を要求しない

ネット資源や実世界情報を活用

辞書をネット上に置く

グループで共有

変換システムもネット上に置く

Google API

ネット上の情報を辞書などに利用

現在ホットな単語を使うなど

位置情報 / 時刻情報なども活用

https://scrapbox.io/Gictionary https://gyazo.com/d8301056b9c5fabb3de3887369be9284

http://gyazo.com/ac2b347a7042f920edd576ee07c4b7f4.png

「直接入力」でなく「検索で得られた侯補からの選択」による

なるべく少ない操作で検索条件を与える

検索結果を動的に表示し選択の対象とする

曖昧パタンマッチを活用する

POBoxの具体的手法

ソフトキーボードで読み/綴りの一部を指定

条件にマッチする単語を使用頻度の高い順に侯補として表示

例文辞書を使用し、前の単語から次の単語を予測

マッチする単語が無い場合は曖昧検索実行

POBox搭載製品

携帯電話

エアボード

小型VAIO

POBox普及までの苦労

1996ごろ開発

Unixマシンで利用

Palmに移植

あちこちで宣伝するも、激しく馬鹿にされる

Sonyの携帯部隊の説得に成功

試作ボードを借りてきて実装して実機にねじ込む

デザイナの説得により副社長からGo支持

アレオレな人出現

...

文字認識との融合

ソフトキーボード上で文字を描くと文字認識モードに移行

http://gyazo.com/a26a5a4f16b345fc3fbf48e2d17bbd98.png

https://www.youtube.com/watch?v=VNYCLOQQxXs

RubyMotionで作ったIME

自然言語処理なし

単語を検索するだけ

それなりに使える

Gyaim

https://gyazo.com/648245adc6252b716db7af9f7b2022ab.gif

https://github.com/masui/Gyaim http://gyazo.com/0a3bebd40fec9916f1cd98279f27c52c.png

http:///gyazo.com/b32f7e9326bb7a00e81fc0820c72197a.png

https://youtu.be/CvwdSdlZe58

ChromeOS用のIME

Chromeの拡張機能で実装

JavaScriptだけで簡単に書ける

かなキーボードの工夫

頻出発音の入力効率化

http://gyazo.com/04e8766e8d06f429b6f1313091b7690f.png

http://gyazo.com/be95c19316fa0804c94bf09e29b607b8.png

T9式曖昧入力と非曖昧入力の融合

http://gyazo.com/53445cd2aacd8f05d29269bc12944ee4.png

http://gyazo.com/8a3ad1679518a0e75f441e5af10dbffd.png

https://www.youtube.com/watch?v=Ldyl5UbbSA8

検索と入力の共通化

Migemo

POBox辞書を検索に利用

入力できるものは必ず検索できる

(読みが間違ってても大丈夫!)

デモ: Migemo

まとめ

入力システムはまだまだ発展途上

入力システムの作成は意外と簡単

Ruby, JavaScriptなどで作れる

簡単な辞書でも大丈夫

新しい環境/デバイス向きの工夫が可能

VRとか

検索、予測インタフェースとの融合