検証: mu-agent を Laya だけで動かしたら、35判定の大半は Laya に届かなかった

Transcript

hostenToday we tested mu-agent, a coding AI, using only the local Laya judge model.

guestja今日は、ローカルの判定モデル Laya だけで、コーディングエージェント mu-agent を動かしてみた検証について話します。

hostenThe surprising finding: of 35 judgment points, Laya never received 24 of them.

guestja驚くべき結果として、35個の判定ポイントのうち、Laya に一度も質問が送られない判定が24個もありました。

hostenThis happens because mu's code explicitly prevents Laya from handling relate, rate, and meta-type questions.

guestjaこれは mu のコードに「Laya には relate・rate・meta系の質問を任せない」というプロファイルが直書きされているからです。

hostenWithout the paid Jev model, headless execution rejects even safe commands like appending to README.

guestja有料の Jev がないと、README に一行追記するような無害なコマンドまで拒否されてしまいます。

hostenOn M1 hardware, each judgment takes roughly 260 milliseconds, or 1 second for four questions.

guestjaM1 での判定レイテンシは、1問あたり約260ミリ秒で、4問ならば約1秒です。

hostenSo Laya alone is effective mainly for preflight checks and risky command detection, not a complete replacement.

guestjaつまり Laya 単体では、事前チェックと危険コマンド検知の機能が有効なだけで、完全な代替にはならないということです。