似非ｽﾀｯｸﾁｬﾝ:M5bitLessを使って
https://scrapbox.io/files/655ff6422e4c5d001b126b3d.svg
はじめに
みんな大好きｽﾀｯｸﾁｬﾝ
みんな大好きScratch
では、一緒になってもらいましょう!!
仲人はM5bitLess!!
ｽﾀｯｸﾁｬﾝ
https://scrapbox.io/files/656c10da7891280024495e9a.svg
URL
ししかわさんが開発、公開
手乗りサイズのｽｰﾊﾟｰｶﾜｲｲコミュニケーションロボット
Bluetoothスピーカー版 <- 今回、これを使う
AI版
おしゃべり版
スマートスピーカ版
外観変形版: スタンクチャン、マイクロビットチャン、
Scratch版 as BLEスピーカ版 <- イマココ
Scratch版 with M5bitLess <- イマココ
M5Burnerからインストールできるバージョンも!!
https://gyazo.com/f87b9faae14f42566c2bfba68cf99d1a
Scratch with BLEスピーカ版ｽﾀｯｸﾁｬﾝ
https://scrapbox.io/files/6576c70a590d5a00223bafe9.svg
Bluetoothスピーカ版のｽﾀｯｸﾁｬﾝをしゃべらせるためだけに使用。
Scratchの高性能、高機能の以下のような拡張機能を使う。
公式拡張機能
ビデオモーションセンサー
音声合成
翻訳
音楽
Stretch3(ストレッチスリー)で提供される拡張機能
Handpose2Scratch(手の位置認識)
ImageClassfier2Scratch(物体認識)
ChatGPT2Scratch(AI:ChatGPTの利用)
Speech2Scratch(音声認識)
https://scrapbox.io/files/6576b62450bcfa00251dd8b6.svg
例えば以下のようなことができる。
音声入力→翻訳→発声
物体認識→発声
(手や顔などの)位置認識→発声
動き認識→発声
音楽→発声
音声入力→ChatGPT→発声
https://www.youtube.com/watch?v=h5WJGjBOBuM
ｽﾀｯｸﾁｬﾝ with M5bitLess版
https://scrapbox.io/files/6560563adfd428001cda4404.svg
M5Stackがmicro:bitの様に振る舞うことで、Scratchから使える
M5Burnerから焼くだけで利用できるバージョンもあり(ちょっと古い)
https://gyazo.com/36dafdbf309c09ae82015d613e44e0ea
ｽﾀｯｸﾁｬﾝ風味
https://youtu.be/gF8nqUCVRyc
今のM5bitLessでもｽﾀｯｸﾁｬﾝ風味の動作は可能
そして、StakLessへ
https://scrapbox.io/files/655ff67565f768001ce614af.svg
ｽﾀｯｸﾁｬﾝの動作に欲しいものを作成
できていること
ｽﾀｯｸﾁｬﾝっぽい顔の表示(Label&Dataを利用)
問題点
サーボモーターに対応してないので動かない(main branchで対応予定)
https://gyazo.com/0d65d06c2f53c18d4664c4262cd90a40
音声合成とかAI的なものを実装していない
Scratch側ではできる
TODO
サーボモーター対応:専用ブロックは既に存在している
顔の表示を中央に
文字列はふきだしの中に
NeoPixelを光らせる
おわりに
M5bitLessを使うことで、ｽﾀｯｸﾁｬﾝがScratchと遊べるようになりました!!
更に拡張したStakLessを作りたいと思ってます