検証: Switchyardの分類器をJevに替えた: 判定102ms、精度は別の所で落ちた

Transcript

hostenToday we replaced Switchyard's LLM classifier with Jev, a structured decision model.

guestja今日は、Switchyardの分類器をJevという型付き判定モデルに置き換えた実験について紹介します。

hostenJev processed requests 11 times faster: 102 milliseconds versus 1.2 seconds for a small local model.

guestjaJevは処理時間で約11.6倍高速でした。ローカル1.7Bモデルが1.2秒かかるのに対し、Jevはわずか102ミリ秒です。

hostenHowever, accuracy dropped: Jev matched the correct tier only 67.5% of the time, worse than expected.

guestjaしかし精度は期待値に届きませんでした。Jevは40件中67.5%の一致率で、期待したほどではありませんでした。

hostenThe real surprise: extracting features then deciding tier hurt accuracy for all three classifiers.

guestja最大の発見は、Switchyardが売りにしている「特徴抽出→Python決定」という設計が、3つすべての分類器で精度を低下させたことです。

hostenWhen we asked Jev directly for the tier without features, accuracy jumped to 75 percent.

guestja特徴量を経由せず、Jevに直接tierを聞くと75%に跳ね上がりました。

hostenThe core lesson: faster inference doesn't guarantee better routing if the architecture fights the model's strengths.

guestja結論として、推論速度が速くても、アーキテクチャがモデルの強みと相反すれば、良いルーティングにはならないということです。