検証: Jevでダウンロードフォルダ自動仕分け: 正規表現だけで87.5%、Jevで96.7%

Transcript

hostenToday we're looking at how Jev, a new typed AI model, handles download folder sorting—and compares it to regex and larger LLMs.

guestja今日は、新しい型付きAIモデル「Jev」がダウンロードフォルダを自動整理する方法と、正規表現や大規模LLMとの比較について見ていきます。

hostenThe key finding: Jev reached 96.7% accuracy, while regex alone got only 87.5%, but Jev cost 24 times less than Claude Haiku.

guestja重要な発見は、Jevが96.7%の精度に達し、正規表現だけでは87.5%でしたが、Jevの料金はClaudeの1/24で済んだということです。

hostenJev can't generate free text—it only returns typed answers like yes/no or choosing from predefined options, which makes it cheap and fast.

guestjaJevは自由形式のテキストを生成できず、あらかじめ列挙した選択肢から選ぶか、yes/noの確率値しか返さないので、安くて速いです。

hostenThe actual bottleneck wasn't the model choice—it was deduplicating file system events, which alone cut API calls by 4.6 times.

guestja実際のボトルネックはモデル選択ではなく、ファイルシステムイベントの重複排除で、これだけで4.6倍のAPI呼び出し削減につながりました。

hostenOne critical insight: when you trim input to only candidate lines, classification breaks—but field selection stays perfect.

guestja重要な発見として、入力を候補行だけに削ると、分類精度は落ちますが、フィールド選択の精度は変わらないということです。

hostenFinally, don't use Jev's confidence score for uncertainty—use the probability from the yes/no question instead, with a 0.9 threshold.

guestja最後に、Jevの信頼度スコアを不確実性の判定に使うのではなく、yes/noの確率を0.9のしきい値で使うべきという結論です。