每日小編都會(huì)為大家?guī)硪恍┲R(shí)類的文章，那么今天小編為大家?guī)淼氖鞘裁词切畔⒃鲆娣矫娴南⒅R(shí)，那么如果各位小伙伴感興趣的話可以，認(rèn)真的查閱一下下面的內(nèi)容哦。

信息增益（Kullback–Leibler divergence）又稱information divergence，information gain，relative entropy 或者KLIC。

在概率論和信息論中，信息增益是非對(duì)稱的，用以度量?jī)煞N概率分布P和Q的差異。信息增益描述了當(dāng)使用Q進(jìn)行編碼時(shí)，再使用P進(jìn)行編碼的差異。通常P代表樣本或觀察值的分布，也有可能是精確計(jì)算的理論分布。Q代表一種理論，模型，描述或者對(duì)P的近似。

盡管信息增益通常被直觀地作為是一種度量或距離，但事實(shí)上信息增益并不是。就比如信息增益不是對(duì)稱的，從P到Q的信息增益通常不等于從Q到P的信息增益。信息增益是f增益（f-divergences）的一種特殊情況。在1951年由Solomon Kullback 和Richard Leibler首先提出作為兩個(gè)分布的直接增益（directed divergence）。它與微積分中的增益不同，但可以從Bregman增益（Bregman divergence）推導(dǎo)得到。

轉(zhuǎn)載或者卻引因用本文內(nèi)容把請(qǐng)注明來源于芝士回口后答

本文到此結(jié)束，希望對(duì)大家有所幫助。