ｽﾀｯｸﾁｬﾝとScratchﾁｬﾝ
https://gyazo.com/e650903f89f893a0673aaa2e2427885c
2024/07/14:ｽﾀｯｸﾁｬﾝお誕生日会2024
by むとうたけし(/610t/610t)
Scratch x Stack-chan: Play Scratch with Stack-chan in English.
発表動画
むとうの当日の発表動画(1:51:57-)
https://www.youtube.com/live/wV_EN3ei26A?t=6717s
About 610t
我叫「武藤武士(wǔ téng wǔ shì)」
武藤武士(むとうたけし)
奈良で専業主夫やってる54歳
X(旧twitter): @610t; その他のアカウントなど詳細は末尾
宣伝: Scratch本
突然、同人誌(いわゆる、薄い本)が書きたくなった
Scratch Hacks!!書いてます(beta0)。
ｽﾀｯｸﾁｬﾝやM5Stack x Scratchもあります。
https://gyazo.com/d39ebffdd4393c83de5a7bdd5db8f72b
はじめに
ｽﾀｯｸﾁｬﾝ、お誕生日おめでとうございます!!
ｽﾀｯｸﾁｬﾝが大好きです!!
Scratchﾁｬﾝも大好きです!!
一緒に遊んでみましょう!!
ｽﾀｯｸﾁｬﾝ
https://scrapbox.io/files/656c10da7891280024495e9a.svg
ｽﾀｯｸﾁｬﾝはししかわさんが開発、公開している、 手乗りサイズのｽｰﾊﾟｰｶﾜｲｲコミュニケーションロボットです。 作品ページ：https://github.com/meganetaaan/stack-chan
みなさんの方が知っているので、以下省略
Scratchﾁｬﾝ
https://gyazo.com/890a51bf05134da3cdb31d10ac288b1f
ブロックベースのVisual Programming環境
公式Scratchサーバー:
教育/プログラミング学習用?
全ての年齢の子どもたちに!!
低い床: はじめやすく
高い天井: 高度なこともでき
広い壁: いろいろなものを作れる
変態言語?
並列実行
イベントベース
オブジェクトベース
スプライト
クローン
table:Scratch_version
バージョン M5Stack対応 拡張方法 記述言語 オンライン オフライン
1.4 M5Scratch 遠隔センサー Smalltalk/Squeak x o
2 (EoL) x ? Flash o o
3 M5bitLess 拡張機能 Node.js o o
Scratch3: Node.jsのサーバーソースが公開; https://github.com/LLK/scratch-gui
オレオレサーバーが作成可能
拡張機能で新たな機能を追加
Stretch3:AI系に強い ←今回これを利用
参考情報: /610t/Scratchサーバーを手元で立ち上げる
Scratchﾁｬﾝとｽﾀｯｸﾁｬﾝで遊ぶ3つの方法
ざっくり3つの方法があります
table:3つの方法
利用技術 難易度 Scratch M5Burner AI 難易度の理由
Bluetoothスピーカー版 Bluetoothスピーカー 1(簡単) 3, △1.4 o o 焼いてBluetoothスピーカーとしてつなぐだけ
M5bitLess版 M5bitLess 2 3 o o 焼いてBluetooth経由でScratchにつなぐだけ
M5Scratch版 M5Scratch 3 1.4 o x ネットワークの設定が必要
△:音は出せるけど、しゃべったりはできない
全てM5Burnerからインストールすることが可能
https://gyazo.com/6d5d3c1836eca452f4279db77105019d
https://gyazo.com/b4f71d4ac701bfb2890475320b0fea7e
https://gyazo.com/d74728bbaa7b68277d1197bd8a9029d2
Bluetoothスピーカー版AIｽﾀｯｸﾁｬﾝ
https://scrapbox.io/files/668375672d8658001db751ed.svg
Scratch3(Stretch3)で利用可能
音声出力をｽﾀｯｸﾁｬﾝBluetoothスピーカーに任せる
リップシンクしてくれるので、しゃべっているように見える
AI部分はScratchの拡張機能で実現
Speech2Scratch: 音声テキスト化
ChatGPT: AI
音声合成
詳細: ｽﾀｯｸﾁｬﾝとScratchﾁｬﾝ
https://youtu.be/_EOZL21HuYg
M5bitLess版ｽﾀｯｸﾁｬﾝ
https://scrapbox.io/files/668f67364144a3001d8b4fe2.svg
Scratch3(Stretch3)で利用可能
Microbit Moreを使用
M5Stackはmicro:bitのようにふるまう
Scratchから顔の表示などが(こっそり)可能
サーボブロック対応はまだ不安定
Scratchへ加速度やボタン、タッチパネルなどの値を渡すことが可能
以下のようなラベル&データでｽﾀｯｸﾁｬﾝの顔を表示
ラベル: stack
データ:
on: ｽﾀｯｸﾁｬﾝモードにする
eye: 開いた目を表示
closeeye: 閉じた目を表示
openmouth: 開いた口を表示
mouth: 閉じた口を表示
オプションでAIシステムも利用可能
ｽﾀｯｸﾁｬﾝから音が出ているわけではないので、リップシンクはしない
詳細: ｽﾀｯｸﾁｬﾝ meets Scratch with M5bitLess
https://youtu.be/dCBc8B1xK4k
M5Scratch版ｽﾀｯｸﾁｬﾝ
https://scrapbox.io/files/666d58a8c94f24001d06ff3a.svg
Scratch1.4で利用可能
Scratch遠隔センサーを利用
TCP/IP経由で情報のやり取り
変数とその値(sensor-update)とイベント(broadcast)を送受可能
sensor-update var value: 変数varの値をvalueにすることを通知
broadcast event: eventのイベントを発生
https://gyazo.com/dbe77008ce27cc6616058aed1e1e01be
Scratch側にAIや音声テキスト化や音声合成の仕組みがないので、そのままではAI構成はムリ
M5Stack側に組み込むことは可能
ｽﾀｯｸﾁｬﾝの顔表示のためのイベント
soe: 開いた目を表示
sce: 閉じた目を表示
som: 開いた口を表示
scm: 閉じた口を表示
詳細: M5Scratch: M5Stack x Scratch1.4
https://youtu.be/rg8o5JVhsjg?si=0raZJCPFDFqBCj9-
M5bitLess版デモ
時間があればデモやります。
加速度センサー
お顔表示
5x5 LED
独自拡張
サーボモータ(作業中)
AIｽﾀｯｸﾁｬﾝ
これからやりたいこと
M5bitLess
サーボサポートの完成 <-テスト中
M5Scratch
文字列表示を実装して、ｽﾀｯｸﾁｬﾝにしゃべってもらう
M5bitLessで実現してる機能のporting
Bluetoothスピーカー版
ｽﾀｯｸﾁｬﾝがBluetoothマイクになるようにして話しかけれるようにする
マイクとスピーカーが独立に使えるCoreS3じゃないとダメ?
おわりに
ｽﾀｯｸﾁｬﾝはかわゆくて楽しいです!!
Scratchﾁｬﾝと遊ぶと、もっと楽しいです!!
みんなも遊んでみませんか?
谢谢大家
漏れがあったらごめんなさい(_o_)
ししかわさん: 素敵なｽﾀｯｸﾁｬﾝをありがとうございます
おからだ提供
タカオさん: タカオ版キット使ってます
kennelさん: マグネット版使ってます
駿馬さん: ダンボール版使ってます
さすぴCEOさん: MDF版使ってます
akitaさん: Stack-chan_bit使ってます
A-Utaさん: AIｽﾀｯｸﾁｬﾝ - ミニマル(Minimal)使ってます
頭脳提供
タカオさん: Bluetoothスピーカー使ってます
robo8080さん: AI版使ってます
NoRiさん: BinsPack-for-StackChan-Core2でデモも快適です
Jimmyさん: 素敵なM5Stack製品をありがとうございます
你(and you)!!: 発表を聞いてくださってありがとうございます
おまけ:誕生パーティーまでの道のり(参加申込後)
2024/06/14: 参加申込
2024/06/15: Stack-chan_Takao_Base x 2到着
2024/06/16
/stack-chan/610tのｽﾀｯｸﾁｬﾝ遍歴作成
CoderDojo奈良で、Coolest Project用動画にｽﾀｯｸﾁｬﾝも入れる(3:24-) (tweet)
2024/06/17: 父の日記念集合写真 (tweet)
2024/06/18: ミニマル版ｽﾀｯｸﾁｬﾝ作成　(tweet)
2024/06/20: SG-90 x 8到着
2024/06/28: Scratch(Stretch3) Facemesh2Scratchで顔追従ｽﾀｯｸﾁｬﾝ作成 (tweet)
2024/06/28: ダンボール版 for Stack-chan_bit完成 (tweet)
2024/06/30
薄い本用のイラスト(?)作成 (tweet)
Scratch x Stack-chan: Play Scratch with Stack-chan公開される @ Virtual Poster Session | Scratch Conference 2024
2024/07/01
MDF版の再生 (tweet)
トップの集合写真撮影 (tweet, おうちtweet)
2024/07/03: ダンボール版 for Stack-chan_bit型紙の完成 (tweet)
2024/07/06: M5bitLessのサーボテスト実装追加 (tweet)
2024/07/07: TechSeeker ProtoPediaブース展示 (tweet,tweet,tweet)
https://www.youtube.com/live/1ln4S0jYaok?t=204s
Coolest Project動画(3:24-)
https://scrapbox.io/files/6685f93334fe82001d9b1452.svg
薄い本用イラスト(?)
発表者:I'm 610t!!
https://gyazo.com/5ebb5c04dbbbb4c2549b2909c9776412
全部の情報: /610t/610t (無糖Teaと読むと良いかも)
むとうたけし(武藤武士)
専業主夫(54歳)＠奈良
所属コミュニティ
M5Stack User Group Japan
CoderDojo奈良/生駒/平群かいわい
関西*BSD ユーザ会
アカウント一覧
twitter: @610t http://twitter.com/610t
Github: 610t https://github.com/610t
YouTube:https://www.youtube.com/@610t
#ｽﾀｯｸﾁｬﾝ
#Scratch