機械学習

知識蒸留：LLMを簡単にし、精度を保存する方法

MLにおける最も重要な指標の1つは損失関数または交差エントロピーです。KDの展開には別のタイプの損失指標—ソフト損失が必要です。「ソフト損失は、異なる重みを割り当てて“教師”モデルからの偽陽性や偽陰性を防ぐときの加重交差エントロピーです。」