2026-10-02

LT

本を読んでて「〜ってなんだっけ」と聞いたら「何ページに解説があります、簡単にいうと〜〜です」みたいに回答してほしいなと思っている。

そして将来的には書籍をまたいで「これ前にも似たようなこと読んだよね」「〜〜って本にありましたね」みたいにしたい。

1分デモ動画

質問してから回答が再生し終わるまで1分弱

CPUは7%程度で動き続けるけど、これでも7時間くらいバッテリーが持つはずで、7時間ぶっ続けで書籍を読むわけでないなら実害はない

ウェイクワード発生からの遅延は伸びるけど、200ms程度遅れたところでそんなに困らない肌感

詳細: Andriodデバイスを声で操作する

今進行中の実験

せっかくマイクアレイがついてるので5ch録音からの音源分離・話者分離をしたい

ので今回はそのデータ取得のための録音アプリを入れてきた

9時間10分録音して、電池はまだ26%残っていた。 保存容量は1時間約2.1GB、4時間で約8.3GB。空き34GBなら約16時間分。

まだガチの「懇親会のような雑音の中で自分と相手の声をクリアに取る」という実験ができてない、今日の録音データで今後実験するつもり

ICA系のAuxIVAで実際に分離した結果

これは2人の会話の分離で、ターンは分かれている。割と音源分離できているがそもそもこういう状況なら音源分離しなくても文字起こしに支障ない

動作確認画面も作った(ステートフルな機械の現在のステートを確認する手段は地味に重要)

iPhoneのインターネット共有をかけることでiPhoneがWifiアクセスポイントとして機能するようになり、THINKLETがそのアクセスポイントに接続すると同一LAN内なのでiPhoneからHTTPアクセスができる、ラップトップからもそのアクセスポイントにつなげばやり取りできるのでケーブルで直結できない状況でも色々できる

藤坂祐史さん — デジタル庁、エンジニアユニット・ソフトウェアエンジニア。

個人開発の料理ナビ。THINKLETの音声と2秒ごとの画像をRealtime APIへ送り、料理しながら相談。会話の記憶、費用、調理音で返答が聞こえない問題も紹介。

料理支援AIおもろい

ちゃんとシンクレットつけてる絵がどうやって生成されたのか気になる

yujif: 首掛け型ウェアラブル THINKLET と OpenAI Realtime API で「目の前を一緒に見ながら相談できる相方」を作るを読ませてたので、装着した様子の写真からどういうものか完全に理解してそうでした（Codexの6 Astra）

nishio: なんと！頑張って指示したわけではなく十分に情報を与えたということか

試してみよう

before

prompt: Thinkletのデバイスの形状が間違っている、検索して把握して絵を作り直して

after:

できた！Astraすごいな

ピーマンの使い方のthinking effortで5セントかかるのウケる

音聞こえにくいのわかる

多田充徳さん — 産総研・人工知能研究センター、デジタルヒューマン研究チーム長

パーキンソン病のすくみ足を検出し、音やアシストスーツで支援する研究。さらに、一人称映像から位置・全身姿勢を推定する研究。

シンクレットのIMUで歩行検出できるのか、山歩きにシンクレット持って行こうかと思ってて、録画するだけでは面白くないなと思ってたんだが、なんか面白いことできそう、姿勢や歩き方が偏っているとか。

バーチャル理学療法士面白い

THINLET画像で位置姿勢推定できるのすごいな

佐藤正太さん — 株式会社Lightblue、開発エンジニア。

現場向けのTHINKLET×画像言語モデル。安全監視、道具のしまい忘れ検知、買い物支援と、電池・通信・画角・状態通知の課題。

藤野真人さん — Fairy Devices、代表取締役CEO／CTO。

「Journal」の試作。画像・GPS・音声などの日常ログを統合し、将来は自分の人生を知る対話AIにする構想。

西尾泰和さん — サイボウズ・ラボ。

読書中の質問にページの内容から答えるデモ。Voskによる音声起動、5ch録音、iPhoneからの状態確認も紹介。

横山隆之さん — アップフロンティア、代表取締役社長。

THINKLETの開発事例と施設案内AI「Up-Agent Guide」。前年のコミュニティでの出会いが産総研の案件につながったという話も。

辻陽行さん — BrainPad AAA〈エーキューブ〉、代表取締役社長CEO。

現場の映像・音声をAIで扱える情報にする。撮影対象について声で説明し、属性や状態を記録するデモ。

中山心太さん〈ところてん〉 — NextInt、代表取締役。

Qrop QR。QRに入れた座標などを使って帳票の欄を切り出し、OCRする。2020年の企画をClaude Codeで実装できたという話。

実装: tokoroten/qrop_qr: QRコードに埋め込んだ相対座標で書類のフィールドを切り出してOCRする、ウェアラブル端末 THINKLET 向けオフラインOCRアプリ (Kotlin/Android, ML Kit)

企画書は6年前にあったが今になってAIが書いてくれる、わかる〜〜

僕も般若心経の構造の可視化をやろうと考えたのはMOTにいた頃だったが、今AIが動画を作れるようになってようやく実現できるようになったw

Discourseによるコミュニティ運営、CWS API／開発者コンソールの無償利用、LINKLET Enterprise APIの準備について案内

Discourse、最近って感じでもないがw

CWS API全然把握してなかったな

開発者コンソール、便利そう、いいな

CWS APIが有償だったのか

僕の目的は無事達成できた

明日の夜と明後日に英語で同様の状況があるのでここから「音源分離して文字起こしして和訳するシステム」を作る

Code for Japan Summit 2026 / リバースアラインメント：多元的社会はAIを受容できるか

その他

eBadge

Bad Apple on eBadge この解説動画の末尾に解説がある

デバイスはこれ ESP32-S3-Touch-AMOLED-1.75C

ソースコードはまだ公開してないけど近いうちに

音源分離の手がかり

インカムで自分の声を別録音し、THINKLETの多ch録音から周囲の会話を拾いたいと説明。相手から、特定方向の音を抑える「ヌルビームフォーマー」という提案を受けています。

全身姿勢推定の処理場所

発表後に「加速度センサーも使うのか」と質問。後半の位置・姿勢推定は画像だけを使い、録画後にPCで計算するとの説明でした。すくみ足検出にIMUを使う話とは別です。

OCRをどこまで、その場で行うか

Qrop QRのデモを見ながら、まず画像を切り出して人が読めればよく、高精度OCRは後処理でもよいと議論。リアルタイム性とAPI費用を要件に応じて選ぶ話でした。

撮れているか・動いているかが分からない問題

ライトで撮影範囲を知らせる工夫、逆光で本が暗くなる問題、小型画面やボタンへの要望を共有。「原データを残したい」という考えと、容量・電池の兼ね合いも話しています。