AIエージェント時代のテストドリブン
from 日記2025-04-28
AIエージェント時代のテストドリブン
NISHIO Hirokazu
自分のDevinの期限切れ間近なクレジットを使おうと思ってE2Eテストのある自作のサービスをいじりまくらせたんだけども、FirebaseやReactのアップデートみたいな人間がやりたくないことをやり遂げててすごいなと思いました(小並感)
気軽にガンガンAIにタスクを投げられるように、やはりテストの整備が大事だという気持ちが高まったので、まずは小さなテストからCIに入れていきたい
テストは速度を落として品質を上げるためではなく、速度を上げた時のミスに早く気づくためのものと位置付けて、テスト結果を確認せずにマージしていいルールにするのが良いのではないかと考えている
で、人間が整備した高品質なテストと、それを参考にしてAIが生成したテストとがあるような感じ
どのテストがよく落ちてるかとか、高品質テストが落ちたときにSlackに通知するとかできるといいのかなぁ
安野貴博
AI生成テストを使ってGo/NoGo判断するのは今までのテストとは全然違うパラダイムですね。All greenを目指さずに投資対効果を最大化するという
>takahiroanno 高品質の人間が書いたテストと、AIが生成したテストやBrowser-useによるLLM E2Eテストなどのシグナルを混ぜながら評価し、All Greenを目指さずに（そもそもLLM E2Eテストは確率的）、Go/NoGo判断をしていくよりリスクテイクしたコスパ良いフローがありうる・・・？
>nishio AIエージェント時代のテストドリブン、すべてのテストが成功することを期待する従来の概念から、確率的識別器の束をアンサンブルしてより強い識別器にしていくって感じで、if文によるルールベースから機械学習へのパラダイムシフトに相当するシフトがありそうな気がする
関連
Related Pages
- →デジタル民主主義2030×対立軸×なめらか×「なめらか」を認知するツールとしての散布図×一人cartographer×自分レポートはなめらか×自分と価値観が違う他者がいる状況×なめらかと対立の対立をなめらかにする→
- →audrey_tangのright_livelihood受賞×デジタル民主主義2030×cartographer×いどばたシステムv2×いどばたビジョン×いどばた政策×いどばたシステムv1×aiが仲介するコミュニケーション×discourse×blu3mo→
- →polis型×投票行列×vote_matrix×ボーリンググリーン×インタビュー型×デジタル民主主義2030×いどばたシステム×しゃべれるマニフェスト×チームみらいの社会実験「しゃべれるマニフェスト」から得られた知見×多数決×多数決を疑う×量的研究×質的研究×単語頻度分析×トピック抽出×talk_to_the_city×polis型データ×2022年参院選のpolis的可視化×オープンクエスチョンは答えにくい×一つのテキスト欄に過不足なく意見を整理して書くことが難しい×いどばたビジョン×みらいaiインタビュー×文法的クローズドクエスチョンを概念的に開く→
- →選挙は4年に一度5bit送信する遅い通信だ×デジタルネイティブは4年に1度のアップロード帯域で十分とは思わない×if文から機械学習への道×どんどん複雑な条件分岐になっていく×教師あり学習×ロジスティック回帰×決定木×家族的類似性×東洋人はロジスティック回帰で西洋人は決定木×ルールベースパラダイムが重み付き和パラダイムに負けたエポック×vibe_coding×一部が消えて一部残り新しく生まれる×captcha×人間でないユーザ×認知戦×輿論戦×法は社会のos×九電玄海原発、ドローン侵入か×ウクライナ向け「ストライクキット」3.3万台供給×共有地の悲劇×ossで共有地の悲劇が起こることにどう対処するか×大きな政府と小さな政府×「大きな政府/小さな政府」は誤った二項対立×オストロム×公共財×共有資源×cpr×common-pool_resource×connections_between_indivisuals_as_first-class_objects×intersecting_group×新しいものは登場前にその価値を見積もることができない×ブロードリスニング×ai_objectives_institute×talk_to_the_city×デジタル民主主義2030×広聴AI×ブロードリスニングが国会で野党が総理大臣に質問するために使われた事例×日本維新の会のブロードリスニング事例×polis×既存のsnsは個人に注目させるが、polisは個人ではなく集団に注目させる×citizens_foundation×your_priorities×リプライさせない仕組み×別席調停×左派がよい主張をしているなら、右派がやるべきことは同じくらいよい主張であり、戦うことではありません×いどばたシステム×bitcoinはお金、ethereumはコンピュータ×中央集権の3つの軸×polymarket×1人1票×quadratic_voting×quadratic_funding×vitalik_buterin×gitcoin_grants×retroactive_public_goods_funding×futarchy×an_introduction_to_futarchy×幅がある→
- →社会を人間による計算として考える×hum-free×計算機自然×audrey_tang×多様な人々が協力して物事を成し遂げていくための技術×plurality×新しいものは異なるものの結合によって得られる×新しいものは登場前にその価値を見積もることができない×ブロードリスニング×anti-social×pro-social×地球規模の熟議×予測市場×地球規模に分散しつつ共通の内容を計算できる汎用計算機×普通の人たちを予言者に変える_「予測市場」という新戦略×futarchy×世界は一つの声に塗りつぶされるべきではない×世界はひとつの声に支配されるべきではない×川の流れを計算として考える×均衡×経済安定は不況×if文から機械学習への道×選挙は4年に一度5bit送信する遅い通信だ×弁証法的展開をよしとする文化×ほげ言語のパラドックス→
- →Plurality Tokyo Namerakaigi×サイボウズラボ勉強会×pol.is×community_notes×メカニズムデザイン勉強会×majority_judgement勉強会×pluralityとpolis勉強会×polis勉強会×quadratic_votingとplural_management勉強会×talk_to_the_city勉強会×世論地図勉強会×高次元データ分析勉強会×デジタル民主主義研究ユニット×ピボット×古典期アテネの民主主義のスケール×国民こそが唯一の正統な権威である×フランス革命×フランスでの女性参政権×一人一票×未成年者には投票権がない×成年被後見人の選挙権×ドメイン投票方式×デメニー投票×デーメニ投票×quadratic_voting×glen_weyl×qv×radical_markets×audrey_tang×vitalik_buterin×quadratic_funding×audrey_tangのqv×glen_weylのqv×quadratic_votingがシナジーの発見に有用×台湾総統杯ハッカソン×qvは投票しないことに意味のあるメカニズム×「投票しないことは良くないことだ」は根拠のない思い込み×vitalik_buterinらのquadratic_funding×a_flexible_design_for_funding_public_goods×akb48総選挙×gitcoin×gitcoin_grants×公共財×リソースの再分配×社会的意思決定×メカニズムデザイン×多数決×くじ引き×抽選制×抽籤制×プラトン×アリストテレス×ジェームズ・マディソン×ジョン・スチュアート・ミル×アレクシ・ド・トクヴィル×選挙は4年に一度5bit送信する遅い通信だ×ブロードリスニング×polis×pol.isでのuberの議論×metaがファクトチェックを廃止×community_notesにおける行列分解を用いた信頼度スコアリング×多様な主体から支持されることを評価する仕組み×talk_to_the_city×日テレnews×2024衆院選×ブロードリスニング×シン東京2050ブロードリスニング×umap×世論地図×mielka×2024衆院選×japan_choice×meta-polisの構想×mashbean×協力の深さと広さのトレードオフ×plurality本×aiあんの×タウンミーティング×非同期化×空間と時間の制限から解き放つ×chatgptとaiあんののコミュニケーションの形の違い×ai政治家の3つのレベル×aiが間に入って非同期化×open_space_technology×アジェンダ設定の権限を人々に開放する×vitalik×主観主義×3つのイデオロギーの間に2つの対立軸がある×aiが仲介するコミュニケーション×bluemo×intersubjective_model_of_ai-mediated_communication:_augmenting_human-human_text_chat_through_llm-based_adaptive_agent_pair×時間の制約×心理的安全性×緩やかに繋ぐ×デジタル民主主義2030×同じ時間と場所を共有できない人に機会を用意×metapolis×スケーラビリティ×デジタル民主主義×コミュニティ×大規模コラボレーション×xy問題×熟議のための4つのステップ×リプライはスケールしない×リプライさせない×your_priorities×コトノハ→
- →日記2025-07-18×デジタル民主主義2030×デジタル民主主義2030 MeetUp×leon_erichsenとjade_roche来日×dd2030×qvは決定論的×beyond_collusion_resistance:_leveraging_social_information_for_plural_funding_and_voting×glen_weyl→
- →pluralityとサイボウズ(2023)×ブロードリスニング×都知事選2024×日テレnews×2024衆院選×ブロードリスニング×シン東京2050ブロードリスニング×デジタル民主主義2030×広聴AI×いどばたシステム×AIの進歩とPlurality×plurality本発売×tokyo_plurality_week_2025×チームみらい×デジタル民主主義2030、新ボード体制のお知らせ×チームみらいのソフトウェア開発の4割はai×pluralityとは×singularityでいいのか？×効率と包摂のトレードオフ×100人100通りの働き方×サイボウズの自由すぎる働き方はこんなやり方で管理されていた×メディアとしてのグループウェア×anti-social_media×pro-social_media×政治的対立×polis×polis体験レポート:テロの原因究明をするか×kintone×みらいいどばた会議×デジタル民主主義×代表制民主主義×ヒエラルキー×ティール組織×組織統治メカニズム×ブロードリスニングが1年で標準戦略に×日記2025-07-16→
- →安野_貴博×鈴木_健×東_浩紀×プルラリティ×ゲンロン250626×ised×デジタル民主主義2030×アメリカ大統領選2024ロードトリップ×ハンナ・アーレント×革命について×革命×自由の創設×タウン・ミーティング×評議会×natality×政府効率化省×doge×なめらかな社会とその敵×21世紀のイデオロギー×差異があるという意味において平等×協力の深さと広さのトレードオフ×pluralityとハイプカーブ×ハイプカーブ×community_notes×pol.is×pol.isでのuberの議論×quadratic_voting×quadratic_funding×talk_to_the_city×ブロードリスニングが国会で野党が総理大臣に質問するために使われた事例×ハーバーガー税×joi_ito×創発民主制×weblog×草の根の民主主義×emergent_democracy×伊藤穣一×ブログ×rss×双方向メディア×下からの自己組織化×歴史は循環する、しかし内容はより高次のものとなる×似た物が昔にもあった型思考×テクノ封建制×civilization×東京大学pluralityセミナー2025-05-12×統合テクノクラシー×企業リバタリアニズム×デジタル民主主義×ブロードリスニングが1年で標準戦略に×ひまわり学生運動×radicalxchange×why_i_am_not_a_market_radical×plurality(2022)×pluralityは無色の新語として作られた×tokyo_plurality_week_2025×d/acc×マルクス主義×加速主義×柄谷行人×世界史の構造×マルクスその可能性の中心×探究_ⅰ×誤配×ルクレティウス×ずれ×すべてのものには裂け目がある。そこから光が差し込む×一般意志×全体主義×単一性×エロイーズ×訂正可能性×垂直的×単一的×カール・シュミット×カール・シュミットの「議会批判」と「独裁」論×コネクテッド・ソサイエティ×ダニエル・アレン×規範的plurality×アジェンダ設定の権限を人々に開放する×請願権×オンライン請願×james_s._fishkin×詐欺犯罪危害防制條例×mini-public×いどばた政策×stanford_online_deliberation_platform×forkability×正統性×自己主権型アイデンティティ×伊藤_孝行×安野チーム台湾報告会×audrey+glen+colin+pmt研究会×【オードリータン✖️小川淳也】未来を共創するデジタル民主主義×玉木雄一郎+plurality×愚行権×audrey+tbs_cross_dig×裏ハイデガーとしてのアーレント×今北勢問題×訂正可能性の哲学×家族性×家族×動的な認知的膜×ホロン×クリプキのクワス算×truth_social×政治家は猫になる×社会資本が王である世界×アテンションエコノミー×贈与経済×台湾の同性婚は親族にならない×2ステップの熟議×アーレントのwork×ファンダム→
- →未踏ジュニア×plurality_tokyo_2023×ブロードリスニング×主観か客観かではなく、一人の主観から大勢の主観へ×激動の2024年5月下旬×tttc:_aiと著作権に関するパブリックコメント×funding_the_commons_tokyo_2024×ftc2024安野+audrey×plurality_in_japan×日テレnews×2024衆院選×ブロードリスニング×シン東京2050ブロードリスニング×デジタル民主主義2030×広聴AI×talk_to_the_city_と広聴aiの歴史×ブロードリスニングが国会で野党が総理大臣に質問するために使われた事例×りっけんAI井戸端会議×再生の道ブロードリスニング×ブロードリスニングが1年で標準戦略に×plurality本×協力の深さと広さのトレードオフ×偽情報×audreyとd/accとdifferential×民主主義は社会的技術×qarasu-14bに質問をする×reasoningモデル×無意識データ民主主義×未成年者には投票権がない×台湾のjoinで高校生の提案が制度改善につながった×親ソーシャルメディア×橋渡しする意見×ブリッジングボーナス×灘校土曜講座→
- →週記2025-04-15~2025-04-26×pnp×pbt×v-1グランプリ×bluemoさんにサイボウズでいどばたイベントをしてもらう企画×social_hack_day_#70×scott_wu_youtube_japan_2025-04-22×安野たかひろ参院選出馬検討×デジタル民主主義2030×広聴AI×tokoroten→
- →devinクレジット使い切り4/27×devinクレジット使い切り振り返り×メンテナー×複製できないリソース×パーミッションレス×テイカー×take×共有地の悲劇×日記2025-04-26×日記2025-04-28×日記2025-01-17×日記2024-04-27→
- →なめら会議×plurality_tokyo×デジタル民主主義研究ユニット×funding_the_commons_tokyo_2024×デジタル民主主義をスケールさせるには？×デジタル民主主義2030×安野貴博×tkgshnの鈴木健批判と和解×気流舎×plurality_tokyo_salon_2023-10-06×ハンナ・アーレント×安野チーム台湾報告会×llms_and_public_discourse×plurality_institute×democratization_of_ai_and_social_implementation_using_web3@ftctokyo×tackling_east_asia’s_population_decline_issues_with_local_coop’s_subsystem_for_local_governance×rightscon×シン東京2050×2050東京戦略×unconference×構想日本×濃いクラスタ抽出×投票の選択肢を決めるのの手前に議論が必要×heal_michigan×ヘキサコ×the_dark_triad×自分ごと化会議×pluralityは無色の新語として作られた×ほづみゆうき×kleros×プリンシパルエージェント問題×ダロン・アセモグル×武器としての交渉思考×ビクトリア朝のインターネット×plurality_tokyo_2025-02-25→
- →サイボウズラボ勉強会×デジタル民主主義2030×join×市民参加型の政策形成プロセス×talk_to_the_city×東京都ai戦略いどばた会議×azure_blob_storage×azure_container_app×OSS Weekly Reporter×o1_pro×gpt-4.5→
- →皆がやりたくなるようなインパクトを与える×実装なき思想は、もう要らない。×minimum_viable_product×eariest_testable_product×顧客存在仮説×デジタル民主主義2030→
- →xreal_one×OSS Weekly Reporter×hammerspoon×デジタル民主主義2030×theanineプロトタイプ×接客は必要ない×google_ai_studio×reasoningモデル×ほづみゆうき×日記2025-03-26×コンテキスト外部化の時間コスト見積もりミス×カンバン×第14期サイボウズ・ラボユース成果発表会×google_calendar×ical×google_meet×google_drive×サービスアカウント×google_cloud×chrome拡張からllmへタブ情報を連携×aipm2025-03-11×cline(roo_code)を暴走列車にしたら4日間で数ヶ月分のコードが生成できた×日記2025-04-04×日記2025-04-06×日記2024-12-26×日記2024-04-05→
- →devin.ai×devinを見る会×devin.aiを試す2024×devin.aiを試す2/1~×miro_api×Roo-Cline×踏める地雷は全部踏む×AIエージェント飲み会×browser-use×未練×オーケストレーション層×scott_wu×meeting_with_scott_wu×百聞百見は一験にしかず×表層的な知識×互換性×深い理解×どの部分が有益であり続けるのかは事前に知り得ない×表層的な知識を飛ばして深い理解だけ得ることはできない×グラフdb×構造的プログラミング×旅行×o1_pro×人間の仕事:_aiが書いたものを無慈悲に捨てる×塑像ではなく彫刻×マイナスのデザイン×試行錯誤の自動化×devinを見る会closing×aiエージェントのwriteのスコープ×devinにコードリーディングさせる×devinで4万溶かす方法×aiエージェントがもたらす属人性→
- →サイボウズ×デジタル民主主義をスケールさせるには？×未踏ゲリラ新年会2025-01-24×plurality_tokyo×pluralityとサイボウズ(2023)×シン東京2050ブロードリスニング×デジタル民主主義2030×Devin.aiを試す2025-01×pluralityとは×pluralityは無色の新語として作られた→
- →2018-03×エンジニアのための自分経営戦略_参考文献×"エンジニアのための自分経営戦略"まとめ×陳腐化×if文から機械学習への道×きこりのたとえ×旅人×7つの習慣×新しいこと×不安×損失額の限定×リアルオプション×経営戦略×リソース配分×資源配分×戦略サファリ×スモールスタート×列挙を疑え×お金は使うとなくなる×ポスト資本主義社会×知識獲得戦略×行動×環境×結果×実験×pdcaサイクル×リーン・スタートアップ×知識の交換によって学ぶ×知識が双方向に流れる×知識の少ない人からでも学ぶことができる×知識交換の必要条件×周りと同じものを学んでも知識交換はできない×知識の分布図×競争優位×マイケル・ポーター×ファイブフォース分析×狭き門×市場開拓コスト×状況×状況に埋め込まれた学習×ゲーテッドコミュニティ×共有地の悲劇×二重コミュニティ×答えをコピーしても無益×連続スペシャリスト×π型人材×技術進歩による海面上昇×言葉が熟す×アウトプットを焦ると劣化コピーになる×giver→
- →情報i×中山_心太×仕事に役立つ新・必修科目「情報ⅰ」_感想1×仕事に役立つ新・必修科目「情報ⅰ」_感想2×情報iで取り扱われるプログラミング言語×タユピンコ人の寓話×タユピンコ人のたとえ×事業継続性と人事異動×日本企業のitシステムはボトムの能力に依存する×豚と符号化×因果関係と疑似相関×意思決定をするための指標は作っていい×kpiは人間の舌×続・要件定義はなぜ難しいのか？×変化しうる箇所を事前に考える×プログラマにとって楽な仕様変更と、大変な仕様変更×抽象で尋ねてから、現実に適用する×民主主義×言論の自由×生成ai×装置産業×if文から機械学習への道→
- →ictで社会が変わる事例紹介×エンジニアのための自分経営戦略×itと経営×量子アニーリングマシンのプログラミング×夏プロ報告×部分観測モンテカルロ計画法を用いたガイスターai×交渉力について×if文から機械学習への道×組織横断型研究室構想×2017首都大学東京情報通信特別講義×強化学習その5×「ネットワークを作る」 ってどういうこと？×良いアイデアを出すための方法×強化学習その4×強化学習その3×強化学習その2×強化学習その1×線形？非線形？×機械学習キャンバス0.1×首都大学東京「情報通信特別講義」2016年西尾担当分×勾配降下法の 最適化アルゴリズム×wifiで位置推定×esp8266exで位置推定×raspberry_piで wifiルータを作る×wifiにつながるデバイス(esp8266ex,_esp-wroom-02,_espr_developerなど)×機械学習アルゴリズムの絵本×「ネットワークを作ることで イノベーションを加速」 ってどういうこと？×i2cでraspberry_piから 複数の周辺機器を制御する×未踏社団でのkintoneの活用×2016プロシンスポンサー_加筆版×創造的人材のための知財lt×コミュニティによる生産性向上のすすめ×エンジニアのための学ぶ技術×ルールベースから機械学習への道_公開用×マイコンのioピンはなぜ入出力の両方に使えるのか？×生産性向上ワーキンググループについて×long_short-term_memory×実践多クラス分類_kaggle_ottoから学んだこと×クリーンスペース体験記×kj法のw型問題解決モデルとu理論、それぞれの問題意識_加筆版×kj法のw型問題解決モデルと u理論、それぞれの問題意識×kintoneはじめの一歩×facebookに慣れた人のためのkintone移行tips×クリーンランゲージについて_その2×クリーンランゲージについて×学び方のデザイン名古屋大学版_加筆版×学び方のデザイン名古屋大学版×調査観察データの統計科学1×学び方のデザイン加筆版×灘校土曜講座:_学び方のデザイン×グループウェア×読む技術×聞く技術×描く技術×pdcaサイクルとu曲線の関係×ブレインストーミング×学び方とu曲線の関係×kj法、nm法、gta×03_2_断片的情報の構造化_kj法の実践×03_3_断片的情報の構造化_kj法の背景×11_2日目オリエンテーション×12_多くの案から一つを選ぶ×非参加者オリエンテーション×13_発表方法について×02_書いてから考えよう×01_オリエンテーション×03_1_断片的情報の構造化_前振りと実録kj法の流れ×pyconjp_keynote_speech_(english_version)×pyconjp_keynote_speech_(japanese_version)×般若心経×数学的帰納法は帰納ではない？×モデルが修正されるサイクル×_"distributed_representation_of_sentences_and_documents"の解説×カイ2乗分布について×キャリア戦略論_-_人・生き方・働き方の多様性×一人でやるかみんなでやるか×発表方法について×正しさとは何か×言語化されていない知識×外部の知識を取り入れる×やる気を出すには×多くの案から一つを選ぶ×同調圧力に抵抗する×実現可能性×実現可能性を考える×kj法の背景×kj法の実践×断片的情報の構造化の前振りと実録kj法の流れ×書いてから考えよう×オリエンテーション×db_pressの記事への補足×fpgax_2×何をどう学ぶか？２：三大入力方法×blue*アルゴリズム×何をどう学ぶか？×zdd入門-お姉さんを救う方法×dive_into_.git_日本語版×dive_into_.git×アイデアを塩漬けにしない-世界中の人に手伝ってもらう方法-×テストとデバッグ×モジュールとはなにか？×言語の設計判断→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]