How Cognitive Linguistics Inspires HCI: Image Schemas and Image-Schematic Metaphors

DISに多く出してる

Most of the references to conceptual metaphor theory in HCI, however, do not go beyond the basic idea of mapping source domains from the analogue lifeworld of users to the target domain of a digital system. The challenge user interface designers face is that this model does not explain which parts of a source domain should be mapped onto the user interface and which parts are better left out (Alty, Knott, Anderson, & Smyth, Citation2000). This problem may be illustrated by a hypothetical example. In language the target domain of money is often described in terms of the source domain of water. Expressions like cash flow, liquidity, a frozen account are instances of a money is water conceptual metaphor. Basing the design of a banking application on this metaphor feels awkward, because it is not clear what the user interface should look like. Certainly, the user interface should not depict money as water flowing through a pipe system fully equipped with pumps and valves and reservoirs.

確かに。言語的に例えられるものすべてに例えるべきなわけではない。どういうメタファならビジュアルシステムとして成り立つかに制約があるんだな。（どんな制約？）

By re-interpreting user interface metaphors as conceptual blends (e.g., of the desktop metaphor as discussed in Fauconnier & Turner, Citation1998), blending theory helps to avoid the pitfalls of applying too-wide or too-narrow metaphorical mappings in the user interface (e.g., Alty et al., Citation2000). It fails, however, to provide concrete guidance of which specific parts from the input spaces are to be combined into the blended space. Thus, blending theory is useful as a general approach to design (e.g., Jetter, Reiterer, & Geyer, Citation2013) and to analyze and critique existing designs (e.g., Benyon & Imaz, Citation1999; Imaz & Benyon, Citation2007), but does not predict concrete configurations of user interfaces that are yet to be built (cf. Hurtienne, Citation2014a).

ちゃんと言ってることわかるようになりたい

普通のsource domain → target domainへのマッピングという話やblendの話では難しい、「何」をマッピングしているのかに着目するという視点を持つことで綺麗に説明できるらしい

Digging deeper into cognitive linguistics, however, conceptual metaphor theory reveals two ideas that may help to apply complex conceptual metaphors like money is water to user interfaces. Both ideas have a common core: at the heart of seemingly complex metaphorical mappings from a source to a target domain, there are simpler structures that explain what is mapped from the source domain to the target domain and what is left out.

primary metaphors

MONEY IS WATERは、複数のprimary metaphorの組み合わせで成り立っているという説。水の性質を普段体験していることで、我々は非常にプリミティブで抽象的な複数のメタファを内在化している。（more is up—less is downやstopping motion is freezingなど）そういうprimary metaphorを組み合わせることで複雑なメタファが構成されている。

invariance hypothesis

source domainの持っている構造が、target domainの持っている構造に引き継がれるという説（？）

https://gyazo.com/f5cd2b46c96167dd391fdf077968ad12

「認知言語学のイメージスキーマは、お絵描きと変わらない」このような批判は実際に〈認知言語学〉に向けられています。ここで思い出していただきたいのが、「認知言語学の有用性」の〈メタ言語〉で出てきた〈循環定義の問題〉です。その説明を思い出していただけたら、「イメージスキーマはただのお絵描き」という指摘が的外れであることが分かるはずです。このような「言葉を言葉で説明する難しさ」がある中で、二次元の図式である〈イメージスキーマ〉で言葉の意味を捉えようとする試みは非常に価値のあるアプローチです。

MONEY IS WATERをUIデザインに応用するために、イメージスキーマを活用できる。水のイメージスキーマ的な特徴として、「流路」「水位の上下」「流れを妨げる障害」などがあるので、それをファイナンスにおいてどう表現するかを考えればよい。

イメージスキーマやそういうメタファを使うことで、"Intuitive use"が可能になると書いてる

Intuitive use is defined “as the extent to which a product can be used by subconsciously applying prior knowledge, resulting in an effective and satisfying interaction using a minimum of cognitive resources” (Hurtienne, Citation2011, p. 29).

こんな定義あったんだ

Intuitive use is similar to usability (ISO, Citation1998), sharing the criteria of effectiveness and satisfaction, but emphasizes mental efficiency over other forms of efficiency (e.g., task solution time or mouse clicks; Hurtienne, Citation2011).

直観的であることは、あまり使う機会がないがミスが問題になりやすいシステム（safety-criticalなシステムなど）で特に重要になる

我々は直観的なインターフェイスを作るために・脳に直結した軽いインターフェイスを作るために、イメージスキーマをより理解する必要がある？

これだけで映える感じではない

さらに、イメージスキーマを使うことでインクルーシブな設計ができると書いてある

ドメイン依存の知識ではなく、多くのユーザーが日常生活の中で体験している知識を使うから

そしてイメージスキーマを使うことでイノベーティブなUIを作れると書いてある

これは非常に怪しいと思います

A consequence of these findings is to determine “technology generations” that are familiar with specific types of user interface (Docampo Rama, Citation2001; Docampo Rama, Ridder, & Bouma, Citation2001).

マジ？面白そうすぎ

無意識的にメタファが作動する場合もある

The weight of a book, for example, can influence the judgment of how important the book is (important is heavy—unimportant is light: Chandler, Reinhard, & Schwarz, Citation2012; Jostmann, Lakens, & Schubert, Citation2009); the length of growing lines influences the estimated duration of the line growing (time is space: Casasanto & Boroditsky, Citation2008); the temperature of a drink held in their hands influences the judgment of the friendliness of other people (friendly is warm—unfriendly is cold: Williams & Bargh, Citation2008). So far only a small number of image-schematic metaphors have been investigated experimentally, and it is unclear whether the results are easily transferable to the HCI context. How can the rich set of about 200 image-schematic metaphors documented in the cognitive linguistic literature be quickly validated regarding its usefulness in HCI?

めっちゃおもろい

200くらいのイメージスキーマ的メタファがすでに調べられているらしい（その数値はどこから来たんだ）

In a typical study, participants are confronted with controls and/or displays and asked about their expectations for specific effects, (e.g., in which direction would you move the slider to increase the volume)? These studies can be done as paper-and-pencil tests or involve real displays and controls (while the latter should be preferred, cf. Hoffmann, Citation2009; Hoffmann & Whitfield, Citation2011). Usually such research is exploratory rather than theory-driven. The theory of image schemas and image-schematic metaphors provides a useful background for theory-driven research by suggesting testable hypotheses and by providing explanations for the possible origin of stereotypes.

言語的なイメージスキーマから、ジェスチャのpopulation stereotypeを調べた研究がある

https://gyazo.com/c91ddd8570c6a3e2485bf3dae99481a3

For example, when testing the metaphor powerful is up—powerless is down, participants received either the word powerful or powerless plus the spatial dimension they should use for making their gesture (up-down).

12のメタファを試した結果、どれもpopulation stereotypeであった。参加者の年齢は全然違っていたがみな同じ挙動を示した。これはメタファドリブンなデザインがインクルーシブであることを示している。

ただし、こういうpopulation stereotypesが、言語的な回路を通して出てきているのか、それとももっと無意識的なconceptual metaphorを使っている（=直観的）のかは、普通に参加者に質問するだけではわからない。そのため実際のインタフェースで、タスクパフォーマンスなどを見て評価することもやっている

Experiments conducted within the graphical user interface (GUI) paradigm showed that user interfaces consistent with metaphors of the up-down image schema, e.g., good is up—bad is down, more is up—less is down, led to faster responses and were rated to be more suitable by the users than user interfaces that were inconsistent with these metaphors (Hurtienne, Citation2011, studies 1 and 2). A comparison with horizontal button and slider arrangements showed that these results were not due to the order in which the labels were read.

4. Designing with Image-Schematic Metaphors

どうやってイメージスキーマをデザインに活用するか？

方法その1：言語学者が集めたスキーマを使う

SchemaSpace: ブックマークをimage-schematic metaphorを使って表した研究

The author concluded that implementing metaphorical instantiations in user interfaces profoundly influences how users think about the interface.

あまりはっきりしないな

デザインガイドライン的なことも言っているが、どうしても言ってるだけという感じに聞こえてしまう。本当のデザイナーに届く気がしない（論文というフォーマットによるものなのか、当たり前のことを言ってるからなのか。おそらく両方）。というかそのアドバイスを受け取ってその通りにやるより、いろいろ試してコンテキストに合ったものを選ぶのが大事だからな。というプレイヤー側の視点が出てしまう。

方法その2：観察（デザイナー自身、ユーザーの行動）

In analyzing the results of ethnographic studies in a variety of settings (nurses in an intensive care unit, patients taking their medication at home, student work groups and families’ use of refrigerators), Hurtienne (Citation2014b) found seven image-schematic metaphors that were useful in describing standard meanings of standard spatial relations between objects and people. The author proposed that ubiquitous sensing systems that are able to discern the meaning of object properties and arrangements according to such image-schematic rules could offer enhanced services to their users, but he does not go further to develop application scenarios or prototypes.

For example, with the aim of building interactive environments for learning musical concepts, Bakker, Antle, and van den Hoven (Citation2009) extracted image-schematic mappings from the spontaneous body movements of 7-to-9-year-old children. The children were asked to move their body or an object to enact musical samples in each of which one of eight sound concepts was changing (i.e., volume, tempo, pitch, tone duration, timbre, rhythm, harmony, and articulation). The results identified 27 metaphorical mappings.

さらにそこから子どもに音楽的な概念を伝えるためのプロトタイプを作った

方法その3：Utterace（発話）

人々にWebとは何かについて話してもらい、そこで出てきたイメージスキーマを抽出した

読めない

コード進行への理解を促進するため、音楽家にコード進行についてのインタビューを実施してイメージスキーマを抽出した

その後実際にユーザースタディを行った

イメージスキーマを使うことがusable designに貢献する可能性はあるが、理論的な貢献についてちゃんとは書いてなかったとのこと

車の中でのインタラクションに着目した研究では、業界のベストプラクティスと比べるとあまり効果がなかったとも書いてある

この感じとてもわかる。慣れの影響があまりに大きい。エコシステムとして見ないといけない。これも言語学っぽい（ブイを浮かべる）。

イメージスキーマが重要なんだとしたら、慣れよりも体験の影響が大きくなる実世界に根ざした分野か、人間を理解する的な文脈か、教育的な文脈（初学者への音楽概念の理解を促進する）か、認知の変容を目指す（これの具体例があったらとても嬉しい）とかかなあ。

方法その4：UIの分析

According to the invariance hypothesis, it should be possible to describe more complex user interface metaphors in terms of image schemas. This was shown in an early study by Kuhn and Frank (Citation1991), who analyzed familiar user interface metaphors in terms of image schemas. Later studies showed that whole user interfaces can be analyzed image-schematically, for example, an Airbus cockpit (Hahn, Citation2007) or cash and ticket machines (Dong, Citation2007).

For example, an auto complete function is an instantiation of part-whole, navigation breadcrumbs are an instantiation of path, a login dialog usually requires restraint removal, and Android action buttons are usually near to the user and in front of other content on a page. A corpus of image-schema instantiations in hardware and software interfaces has also been collected in the ISCAT database mentioned above.

このへんはとても見たほうが良さそう

The analysis of user interfaces with image schemas can evoke design critique and give hints for redesign. For example, analyses using space image schemas examine the motivation behind the placement of user interface elements. They generate questions like: What is the meaning of user interface elements that are arranged to the left or right, up or down, in the center or in the periphery of the interface?

確かに、習熟したUIデザイナーはこの感覚が鋭い気がする。フィードバックでイメージスキーマ的な回答が来ることある。UIに関する独自の捉え方・スキーマがあるから、それに即した良し悪しを判断できる。