GitHub - karpathy/nanochat: The best ChatGPT that $100 can buy.
00:00:46 ・ source: https://github.com/karpathy/nanochat
Transcript
hostenToday we're looking at nanochat, a project that trains GPT-2-level LLMs for under $100.
guestjananochatというプロジェクトで、GPT-2レベルのLLMを100ドル以下で学習できるんですね。
hostenExactly. In 2019, training GPT-2 cost $43,000, but now it takes only about 2 hours and $48 on a single GPU node.
guestja2019年には4万3千ドルかかったGPT-2の学習が、今は2時間で48ドルで実現できるということですか。
hostenYes, and the code is incredibly simple—you just set one complexity dial called depth, and everything else auto-configures optimally.
guestjaつまり、depthというパラメータ1つを設定するだけで、他のハイパーパラメータは自動的に最適化されるというわけですね。