AIBR プレミアム
拓海先生、最近うちの若手が「LLMを現場で使うには微調整が必要だ」と言ってきて困りまして。どこから説明すればいいか分からないのです。まずは要点を教えていただけますか。
素晴らしい着眼点ですね！要点は三つです。第一に、微調整（fine-tuning）は既存の大規模言語モデル（Large Language Model、LLM）を現場用途に合わせる作業であること。第二に、手法にはQLoRAやRAFT、そしてRLHFという違うアプローチがあること。第三に、評価指標によって良し悪しの判断が変わるため、人の評価を残すことが重要であること、です。一緒に噛み砕いていきましょう。
QLoRAとかRAFTとかRLHFって聞き慣れない単語ばかりでして。これって要するに何が違うということですか。コストや導入のしやすさも気になります。
いい質問です！簡単に比喩で言うと、QLoRAは既存の車に安価な部品を付けて性能を補う方法、RAFT（Retrieval-Augmented Fine-Tuning）は車に地図と案内人を常に同乗させるように外部情報を引いてくる方法、RLHF（Reinforcement Learning from Human Feedback、人間のフィードバックによる強化学習）は試行錯誤を人が評価して良い挙動を学ばせる整備チームを付ける方法です。費用対効果ではQLoRAが安価、RAFTが運用の設計を要し、RLHFは最も手間がかかるが挙動を改善しやすい、というイメージです。
なるほど。では評価はどうやってやるのが良いんでしょうか。機械的な指標で良ければ早いけど、それで本当に使えるかは不安です。
そこが肝です。論文では定量的なNLP指標やRAG Assessment（Ragas）といった自動指標と、人間評価、さらにはOpenAIのGPT-4を用いた評価が比較されています。その結果、定量指標と人間評価は一致しないことが多く、GPT-4の評価が人間評価に比較的近い傾向があった、と報告されています。要するに、定量指標だけでは現場での満足度を保証できないのです。
これって要するに、良いかどうかは結局「人が評価するかどうか」で決まるということですか。コストをかけてRLHFまでやる価値があるかどうかはどう判断したらいいですか。
