仙台Ruby会議03で「How to craft YOUR handmade PicoRuby Instrument」という題でお話ししました。

宮城は第二の故郷と思っていて、女川町観光大使をされている寺嶋由芙さんを応援しているのもありまして、会場の「誰も知らない劇場」でもライブがありました。そういうこともあってプロポーザルを出しました。

公開版の資料です。

何を話したか

組み込みのHello, Worldといえば、LEDを点滅させる「Lチカ」です。その次の一歩として、PicoRubyで「楽器」を作ってみませんか、という話をしました。

流れは次の5つです。

  1. この「楽器」で大切にしたいこと
  2. マイコンやセンサーの選び方
  3. 「楽器」の成り立たせ方
  4. この後作る方法
  5. 出力デモ

力点は3つめです。楽器は反応速度が大事で、その速度を稼ぐツールとして、spinelでRubyのコードにネイティブの速さを持たせることと、それを複数のコアに分けて動かせることです。

FeelとVibe

音楽を始めようとすると、テンポ、拍子、ハーモニー、メロディー、コード、スケール、ジャンル、音楽史と、覚えることがたくさんありそうに見えます。

一旦全部さておきました。

リスペクトしている音楽家の宮野弦士さんのpostに感銘をうけまして、デカい音で、FeelとVibeが上がるものをRubyでどう作るか、を大事にすることにしました。

最速で作りはじめるための段取りは、次の3つです。

  方針
Feel Rubyをキメてから理解を広げる
Env ハードウェアは一旦決め打ち
Vibe 初期プロンプトと参照するrepoを渡して始める

ハードウェア選定

PicoRubyが動くマイコンには、RP2040系やESP32系など魅力的なものがたくさんあります。限られた性能を、アルペジオ、デチューン、波形メモリ、ビット削減のような技法で補ってきた歴史もあります。

これも一旦さておきました。

今回の基準は、開発のしやすさ、性能のゆとり、普及率の3つです。国内シェアが約50%で、組み込み系ではないテックカンファレンスでもよく知られていて、センサーを含む入出力が豊富で、Unix文化の開発キットと公式APIが揃っているもの。

iPhoneです。

PicoRubyが標準で動く環境ではありませんが、動かしかたはiOSDC Japan 2026でお話ししました。UIはSwiftで組み、PicoRubyのVMをライブラリとしてアプリに入れて、コアのロジックをRubyに置きます。Kotlin MultiplatformやUnity as a Libraryと同じ組み込みかたです。そのためのハーネスはR2P2-darwinにまとめていて、Apple WatchやMacでも同じやりかたで動きます。

実機へは、rakeのタスクで送り込みます。

ビルド設定はMRuby::CrossBuildで、xcrunで取ったiPhone用のclangとSDKを渡しています。PicoRubyのVMと楽器のgemが1つのlibmruby.aになり、それをSwiftのアプリにリンクして署名します。おおむね、いつものCI/CDの世界観のままと思っています。

Lチカと同じ形

ここからが本題です。

Lチカは、大きなloop do 〜 endの中で、LEDを点けて、待って、消す、を繰り返します。楽器も同じ形で書けます。

loop do
  # 入力: これしたら音を鳴らせ、こうなったら音を止めろ
  # 処理: 音のデータをメモリ上に置く
  # 出力: 音のデータを外に出す
end

Rubyをキメるところは、このloopの中身のDSLをどうデザインするかです。わたしは、入力を読んで、音をレンダリングして、オーディオにwriteする形にしました。いまのiPhone版のapp.rbは、これで全部です。

loop do
  input = App.read

  sound = Synth.render do |synth|
    synth.play :melody, score: :lead, gate: input.touch, height: input.tilt do |tone|
      tone.waveform :organ
      tone.cutoff input.rotation.horizontal
      tone.resonance input.rotation.vertical
      tone.overdrive input.tilt
    end

    synth.play :bass, score: :bass
    synth.play :arpeggio, score: :arpeggio
    synth.play :drums, score: :drums
    synth.play :pad, score: :pad
    synth.play :metronome, score: :metronome
  end

  Audio.write(sound)
end

synth.playでパートを並べ、メロディーの音色はさらにブロックで渡すネストにしました。触っている間だけメロディーが鳴り、傾きで高さと歪み、回転でフィルターが動きます。伴奏はオート演奏です。

50msに収める

音を作ること自体は、AIにプロンプトすれば出せます。ドン、プー、ジャン、ポロン、などと伝えれば音がなるコードをつくることができます。音を作る方式は色々ありますが、基本的なものとしては、波として振わせて、フィルターで削って整えて、重ねる、という計算の連鎖です。

その先で、楽器として音を出すところに課題があります。応答速度、レイテンシーです。

触ったらすぐ鳴って、離したらすぐ止まらないと、人が演奏する楽器になりません。ゲームの60fpsでいうと1フレームが約16msです。3フレーム、約50msくらいに収めると、概ね気持ちよく弾けると考えています。

音はデジタルでは数の並びです。1秒あたり48,000個の数(サンプル)を作ってスピーカーへ渡すと、音になります。この数の並びをPCMといいます。

この楽器は、1回のloopで128サンプル、48kHzで約2.67ms分を作ります。次の分が要る前に作り終えないと、音が途切れます。振わせて、削って、重ねる計算を、この128サンプルの1つずつに、鳴っているパートの数だけ重ねます。

これまでの自作楽器では、機材側で重い音の計算はしていませんでした。函館のRubyIlluminationsや、4月の明和電機の公式二次創作イベントでは、加速度センサーと距離センサーをさばくところまでをPicoRubyで書いて、音の生成は別に任せていました。福岡Rubyist会議05では外部のハードウェア音源を制御したり、単体で鳴らしたりもしましたが、単体で鳴らした音は計算の軽いものでした。

今回は機材単体でいろんな音を出したかったので、計算の連鎖を素直に書くと、計算量もメモリも嵩みます。

速いCや今回はiPhoneなのでSwiftに計算を任せるのは、パフォーマンスを稼ぐ王道で、頼りになります。

とはいえ、せっかくならRubyでどしどし書きたかったのです。

spinelでネイティブの速さ

ここで効くのがmatzのspinelです。

PicoRubyはRubyをバイトコードにして、VMが1命令ずつ解釈して動かします。spinelは、ビルドのときにRubyをCへ変換します。そのCをclangがiPhoneの機械語にするので、実行時にはVMを通らずにネイティブの速さで動きます。

例えば次のような補正処理。

#: (Float, Float) -> Float
def self.blep(phase, step)
  if step > 0.0 && phase < step
    t = phase / step
    t + t - t * t - 1.0
  elsif step > 0.0 && phase > 1.0 - step
    t = (phase - 1.0) / step
    t * t + t + t + 1.0
  else
    0.0
  end
end

ifと四則演算とローカル変数だけです。1行目の#:で引数と戻り値がFloatと決まるので、spinelはこれをdoubleの計算のCにします。

spinelが出したCをPicoRubyから使うために、suppifyを作りました。spinelの出力を、PicoRubyのmrbgemのネイティブエクステンションにまとめるツールです。生成されるgemは次の形になります。

picoruby-instrument-synth/dsp/instrument_dsp.rb  人が書くRuby
      ↓ suppify + spinel
picoruby-instrumentdsp/
  mrbgem.rake
  include/suppify/instrumentdsp.h   Cの契約ヘッダ
  src/instrumentdsp_spinel.c        RubyをCにしたもの
  src/instrumentdsp_glue.c          接続用グルー
  src/binding.c                     今回は空
  src/sp_*.c                        spinelのruntimeなどを同梱

人が書くのはinstrument_dsp.rbだけです。gemはbin/rake darwin:syncの最初に生成するのみです。

コアを分けて使う

もう1つの力点がマルチコアです。

マイコンもiPhoneも複数のコアを持っています。PicoRubyのVMは1つのコアで動いていて、他のコアにはVMがありません。spinelでネイティブにしたRubyのメソッドなら、VMが無い側でもそのまま動かせます。

それをRubyから名前で呼べるようにしたのが、picoruby-multicoreです。

def fib(n)
  a = 0
  b = 1
  i = 0
  while i < n
    t = (a + b) % 1_000_000_007
    a = b
    b = t
    i += 1
  end
  a
end

puts "fib(40) => #{Multicore.run(:fib, 40).inspect}"

def fibはビルドのときにspinelでネイティブのコードになり、別のコアで動きます。VMのあるコアからは、Multicore.run(:fib, 40)で名前と引数を渡すだけです。

引数と戻り値は、IntegerやFloat、String、Symbol、それらのArrayやHashのような普通のRubyの値です。待たずに投げておくMulticore.spawnもあります。

作りはじめるには

楽器のデザインは、自分で決めるところです。どう構えるのか、どんな演奏をしたいか、どんな音を鳴らしたいか、どんなRubyで表現したいか、誰がどう使うのか。

実装のコード全般はAIと一緒に作れます。自分がどんなRubyで書きたくて、どう弾きたいかは、自分で決めておくところと思っています。触ると鳴る、回すと音が変わる、という対応をDSLで読めるようにしておくと、鳴らして手を加えるたびにDSLと実装へ反映できます。

基礎プロンプトは、ここに置きました。手元のコーディングエージェントに渡すと作りはじめられます。

https://esa-pages.io/p/sharing/23111/posts/318/22c67f347cd42367dfa6.html

MacとiPhoneがあればiPhone版とブラウザ版の両方を、無ければPicoRuby.wasmとWeb Audioで動くブラウザ版だけを作るように書いています。楽器のコアはRubyで書いて、両方で共有します。

最初は波形の生成をiPhoneならSwiftの音源、ブラウザならWeb Audioに任せて、Rubyは音の高さと音色と鳴らすタイミングを決めるところから始めます。素のPicoRubyで音が出てから、遅いところだけをspinelとsuppifyやpicoruby-multicoreで速くする順番です。

音色やフレーズをAIに頼むときは、パートごとに「リズム」「音の材料」「形容」の3つを言葉で伝えると作れます。いまの楽器の音を言葉に直すと、こうなります。

  • ドラム: 四つ打ちで、キックは毎拍の頭。キックはサイン波を芯に、硬い歪みとオーバードライブを重ねて極端に歪ませる。スネアは2拍目と4拍目でざらついた音、ハットは裏で短く刻む
  • ベース: のこぎり波に三角波を少し混ぜて軽く歪ませた、こもり気味の太いベース。8分でルートとオクターブ上を交互に
  • 和音: のこぎり波とサイン波を混ぜ、フィルターを低く絞ったこもった音。ゆっくり立ち上がって長く残るパッドを小節の頭で1回
  • アルペジオ: サイン波に矩形波を少し混ぜた、短く切れる音。コードの音を下から4つ、8分で駆け上がる
  • メロディー: 倍音を重ねたオルガンの音。触っている間だけ鳴り、傾きで高さと歪み、回転でフィルターが動く

デモ

デモでは、大江戸Ruby会議11で心を掴まれた「Fun of the Omarchy」をアレンジして演奏しました。サビの「Fun fun fun of the Omarchy」の繰り返しが心地よい曲です。

iPhoneの傾きでメロディーの音に変化がでます。