「みね」（視覚と聴覚を結びつける体験）
「みね」は、
写真を見せると、それを基に音楽を作り出すことができる、新しい音楽創作システムです。
視覚から生じる気持ちと聴覚から生じる気持ちを結びつけるシステムです。
2026年5月19日〜29日に東京学芸大学小金井キャンパス西5号館1階で開催されている6割展では「みね」の2つ目の試作を展示しています。 「みね」の仕組み
1. 「みね」には予め写真と音楽のペアが登録されています。
2. 「みね」のカメラは常に写真が置かれているか確かめ続けています。写真が置かれると「みね」はまず写真の白枠を認識します。次に、白枠の中の写真が、登録された写真のうちのどの写真であるかを認識します。
3. 認識した写真に登録されている音楽を組み合わせて、新しい音楽を作り出します。
試作1号
画像認識では、「みね」のカメラが認識した白枠の写真と、登録された写真のそれぞれのaHashを計算して、最もハッシュ値が近い写真を選びます。 試作2号
画像認識には、ImageNetで事前学習済みのMobileNet-V2の機械学習モデルに、登録された写真で追加学習を施したモデルで、白枠の写真と最も近い特徴を持つ写真を選びます。Node.jsとバイナリさえあれば機械学習モデルによる推論が動くようにしたかったので、推論のフレームワークとしてTensorflow.jsを使っていて、調査の際に使用例が最も多かったMobileNet-V2を使っています（もっと）。