もうひとつのScratchであそぼ
https://gyazo.com/46959841413a7362871fbc4583b45859
2020年01月18日(日) CoderDojo奈良 No.45
むとうたけし (49歳 主夫)
はじめに
みんな、Scratchは https://scratch.mit.edu/ を使ってるよね?
さらに拡張機能を追加した https://stretch3.github.io/ (旧https://champierre.github.io/scratch3/) があるのを知ってる?
今回は、追加された拡張について、紹介するよ。
追加される拡張機能
https://gyazo.com/31b670ba48176a8061a5d85eca9c9a98
@jishihaさんが提供している https://stretch3.github.io/ (旧 https://champierre.github.io/scratch3/ ) で追加される拡張機能は、2020/01/15現在、以下の6つだよ。
ML2Scratch
PoseNet2Scratch
Scratch2Maqueen
micro:bit More
ImageClassifier2Scratch
Speech2Scratch
これから、拡張機能を紹介していくけど、むとうが面白くて色々使えるなと思った順番に紹介していくよ。
PoseNet2Scratch
https://gyazo.com/573c7a507c81c9bf0c2abddc298efe53
https://gyazo.com/23f7e0c3471e415f9a349660025d725d
公式ページ: https://github.com/champierre/posenet2scratch/blob/master/README.ja.md
posenetデモ: https://storage.googleapis.com/tfjs-models/demos/posenet/camera.html
ひとのポーズがわかって、その目や鼻、肩、ヒジなどなどの部分の場所(x,y座標)が使えるよ
特殊な機材は必要なくて、カメラだけで動くよ
PoseNet2Scratchでは、以下のようなブロックが使えるよ。
https://gyazo.com/0c794b3e1f5ab5c6cd0a6ce43e2b4452
https://gyazo.com/273329fad7f72c2c5a31e43e37bb4fc5
ImageClassifier2Scratch
https://gyazo.com/13fabb2876a06018a47a9ea864edfb24
https://gyazo.com/cd3cde135d3cb1b165ca27e8cdd12ee2
カメラの画像をScratchがなにと思うかを教えてくれるよ
認識結果は、英単語ででてくるよ
候補は、3つまで出せるよ
ImageClassifier2Scratchでは、以下のようなブロックが使えるよ。
https://gyazo.com/e15506fb6bfcf6e8d141d4ff0218c8a6
ML2Scratch
https://gyazo.com/b7537ea17306593d42bcf57b940a8118
https://gyazo.com/c7651448e9572ff68bb713b14c145d76
公式ページ: https://champierre.github.io/ml2scratch/
AI(人工知能)の一つの方法の機械学習を使って、画像データを分類するよ
各画像にはラベルがつけられて、AIで画像とラベルの関係を学習するよ
画像が与えられた時には、自動的にAIがどのラベルと思っているのかが表示されるよ((ラベル)ブロック)
学習結果はダウンロードしたり、アップロードしたりできるよ
ML2Scratchでは、以下のようなブロックが使えるよ。
https://gyazo.com/742f6b74e8b6785f24417300f2b94b52
https://gyazo.com/e37a643f7f384a1d2a19906770f33d62
Speech2Scratch
https://gyazo.com/3fec74adc933d1fc5c6a49e472b7e33c
https://gyazo.com/c7bd60b17ae5faf6f40f24a334786520
公式ページ: https://github.com/champierre/speech2scratch/
英語の音声認識ができるよ
翻訳拡張機能や音声合成拡張機能と組み合わせると面白いものができそうだね!!
Speech2Scratchでは、以下のようなブロックが使えるよ。
https://gyazo.com/13de37df277aa7aa8262a402109a42cf
micro:bit More
むとうは、うまく動かせる環境を持ってないので、この拡張機能を使ったことがないよ
公式ページ: https://lab.yengawa.com/project/scratch-microbit-more/
Scratch公式拡張機能micro:bit(micro:bitをScratch 3.0で使おうも見てね)よりも多く(ほぼすべて)のmicro:bitの機能が使えるよ
micro:bit Moreでは、公式拡張機能micro:bitと同じブロックに追加して、以下のようなブロックが使えるよ。
https://gyazo.com/54daaafddc689f3d3ead1462c7501817
Scratch2Maqueen
むとうは、Maqueenを持ってないので、この拡張機能を使ったことがないよ
公式ページ: https://github.com/champierre/scratch2maqueen
micro:bitを使ったロボットのMaqueenを、Scratchからコントロールするよ
Scratch2Maqueenでは、以下のようなブロックが使えるよ。
https://gyazo.com/1824ec6965d05e4908e9923b6cad65a7
https://gyazo.com/54e693bea1464458e803ecd089345b6d
おわりに
Scratchには、公式で提供されている拡張機能以外の拡張機能を提供しているバージョンがあるよ
https://stretch3.github.io/ (旧https://champierre.github.io/scratch3/)
面白い機能があるので、一度使ってみてもいいんじゃないかな?
機械学習(ML2Scratch)
学習済みモデル利用(ML2Scratch, PoseNet2Scratch, ImageClassifier2Scratch)
画像認識(ML2Scratch, PoseNet2Scratch, ImageClassifier2Scratch)
音声認識(Speech2Scratch)
他の機器との連携(Scratch2Maqueen, micro:bit More)
参考文献
拡張全般
【Scratch 2019】 機械学習・音声認識・デバイス連携の独自拡張（2019/12/6）
【Scratch 2019】 画像認識・デバイス連携・関連の独自拡張（2019/12/7）
ML2Scratch: 機械学習×Scratch!? 使ってみた
#Scratch #presen #champierre