検証: REFRAGの前提を自分のZenn記事で実測してみた

Transcript

hostenToday we verify Meta's REFRAG claims using real Zenn articles as a test corpus.

guestja今回は、著者の実際のZenn記事15本を使ってREFRAGの主張を検証した内容です。

hostenREFRAG says that only 5 to 10 chunks matter, even when you send 80 chunks to the LLM.

guestjaREFRAGの主張は、80個のチャンクを送っても実際に効く（正答率を上げる）のは5～10個だけ、という点です。

hostenThe author measured recall and latency: recall plateaus at k=3, but latency keeps rising linearly.

guestja実験結果として、正答率はk=3で0.9に達して停滞するのに対し、レイテンシはk=40でk=1の11倍に伸びました。

hostenBeyond k=5 to 10, extra chunks waste latency without improving accuracy.

guestjaつまり、k≈5～10を超えてチャンクを増やしても、正答率はほぼ変わらずレイテンシだけが3.6倍に膨らむという無駄が発生します。

hostenThis real data confirms REFRAG's target: removing low-value chunks saves latency.

guestjaこの実測データにより、REFRAGが指摘する『余分なチャンクはコストだけ食う』という問題が実際に存在することが実証されました。