2 分で読了
1 views

ソフトおよびハードラベル予測のための出力活性化関数の比較

(Lon-eå at SemEval-2023 Task 11: A Comparison of Activation Functions for Soft and Hard Label Prediction)

さらに深い洞察を得る

AI戦略の専門知識を身につけ、競争優位性を構築しませんか?

AIBR プレミアム
年間たったの9,800円で
“AIに詳しい人”として
一目置かれる存在に!

プレミア会員になって、山ほどあるAI論文の中から効率よく大事な情報を手に入れ、まわりと圧倒的な差をつけませんか?

詳細を見る
【実践型】
生成AI活用キャンプ
【文部科学省認可】
満足度100%の生成AI講座
3ヶ月後には、
あなたも生成AIマスター!

「学ぶ」だけではなく「使える」ように。
経営者からも圧倒的な人気を誇るBBT大学の講座では、3ヶ月間質問し放題!誰1人置いていかずに寄り添います。

詳細を見る

田中専務

拓海先生、お時間ありがとうございます。部下から『アノテーターの意見のばらつきを機械で扱う研究』が重要だと聞きましたが、正直ちんぷんかんぷんでして、何をどう改善する論文なのか端的に教えてください。

AIメンター拓海

素晴らしい着眼点ですね!結論から言うと、この研究は『出力層の活性化関数を変えることで、複数の人が付けたラベルのばらつき(ソフトラベル)をどれだけ正確に予測できるかを比べた』研究です。難しそうですが、一緒に噛み砕きますよ。

田中専務

まず『ソフトラベル』とか『ハードラベル』って経営会議で聞く単語ではないんですが、要するにどう違うんですか?

AIメンター拓海

良い質問です。ハードラベルは『合否で白黒をつけるラベル』、ソフトラベルは『複数人の意見の割合を確率で表したラベル』です。経営で言えばハードラベルが最終判断、ソフトラベルが現場アンケートの比率のようなものですね。

田中専務

なるほど。で、本題の『活性化関数』というのは何を指すんでしたっけ。これって要するに、出力の“形”を決めるってことですか?

AIメンター拓海

まさにその通りです。活性化関数は出力をどう変換して確率や判定に結びつけるかの“ルール”です。ここを変えると、ソフトラベル(確率の分布)をモデルがどう学ぶかが変わるんです。

田中専務

で、どの関数が良かったんですか?それを現場に導入する価値はありますか?投資対効果を知りたいのです。

AIメンター拓海

結論はシンプルです。一般的なデータでは従来のシグモイド(sigmoid)という関数が安定して良い結果を出しつつ、特定のデータ(MD-Agreement)では論文で新たに提案したサイヌソイダルステップ関数(Sinusoidal Step Function、略称SSF)が有利でした。投資対効果で言えば、まずは既存手法で得られる安定性を評価し、問題が特殊ならSSFを試す段階的導入が合理的です。

田中専務

それなら我々はまず何をすれば良いですか。現場の注釈がバラバラなら導入すべきという理解で合っていますか。

AIメンター拓海

大丈夫、やればできますよ。要点を3つにまとめますと、1) まずデータのラベル分布(ソフトラベル)を可視化する、2) 既存のシグモイドでベースラインを作る、3) 問題特性が異常ならSSFを追加で検証する、です。これで無駄な投資を避けつつ効果を確かめられますよ。

田中専務

これって要するに、出力層の“ルール”を変えるだけで、アノテーターの意見の幅を機械がより正確に反映できる可能性があるということ?

AIメンター拓海

その通りですよ。しかも重要なのは『万能解はない』という点で、まずは既存の安定解で仮説検証し、必要なら新しい関数を試す運用が賢いです。一緒にやれば必ずできますよ。

田中専務

分かりました。自分の言葉で言うと、『まずは従来の方法で安定性を確認し、特定のケースでは新しい活性化関数(SSF)を当てて改善を図る』ということですね。ありがとうございます、拓海先生。

監修者

阪上雅昭(SAKAGAMI Masa-aki)
京都大学 人間・環境学研究科 名誉教授

論文研究シリーズ
前の記事
自然言語テキストのための変分量子分類器
(Variational Quantum Classifiers for Natural-Language Text)
次の記事
睡眠の質予測における特徴選択手法の統合
(INTEGRATION OF FEATURE SELECTION TECHNIQUES USING A SLEEP QUALITY DATASET FOR COMPARING REGRESSION ALGORITHMS)
関連記事
非表示領域に強いTransformerによる高精度顔ランドマーク検出 — ORFormer: Occlusion-Robust Transformer for Accurate Facial Landmark Detection
スケール認識型二段階高ダイナミックレンジ合成
(Scale-aware Two-stage High Dynamic Range Imaging)
知識グラフ上の推論のためのニューロシンボリックAI:サーベイ
(Neurosymbolic AI for Reasoning over Knowledge Graphs: A Survey)
人間フィードバックからのサンプル効率的強化学習
(Sample-Efficient Reinforcement Learning from Human Feedback via Information-Directed Sampling)
深層転移強化学習対応のネットワークスライシングに対するスマートジャミング攻撃とその緩和
(Smart Jamming Attack and Mitigation on Deep Transfer Reinforcement Learning Enabled Resource Allocation for Network Slicing)
同意率初期化最尤推定器による分類器アンサンブルの統合
(Agreement Rate Initialized Maximum Likelihood Estimator for Ensemble Classifier Aggregation and Its Application in Brain-Computer Interface)
この記事をシェア

有益な情報を同僚や仲間と共有しませんか?

AI技術革新 - 人気記事
ブラックホールと量子機械学習の対応
(Black hole/quantum machine learning correspondence)
生成AI検索における敏感なユーザークエリの分類と分析
(Taxonomy and Analysis of Sensitive User Queries in Generative AI Search System)
DiReDi:AIoTアプリケーションのための蒸留と逆蒸留
(DiReDi: Distillation and Reverse Distillation for AIoT Applications)

PCも苦手だった私が

“AIに詳しい人“
として一目置かれる存在に!
  • AIBRプレミアム
  • 実践型生成AI活用キャンプ
あなたにオススメのカテゴリ
論文研究
さらに深い洞察を得る

AI戦略の専門知識を身につけ、競争優位性を構築しませんか?

AIBR プレミアム
年間たったの9,800円で
“AIに詳しい人”として一目置かれる存在に!

プレミア会員になって、山ほどあるAI論文の中から効率よく大事な情報を手に入れ、まわりと圧倒的な差をつけませんか?

詳細を見る
【実践型】
生成AI活用キャンプ
【文部科学省認可】
満足度100%の生成AI講座
3ヶ月後には、あなたも生成AIマスター!

「学ぶ」だけではなく「使える」ように。
経営者からも圧倒的な人気を誇るBBT大学の講座では、3ヶ月間質問し放題!誰1人置いていかずに寄り添います。

詳細を見る

AI Benchmark Researchをもっと見る

今すぐ購読し、続きを読んで、すべてのアーカイブにアクセスしましょう。

続きを読む