近日，鄭州大學(xué)計(jì)算機(jī)與人工智能學(xué)院在人工智能領(lǐng)域頂級(jí)學(xué)術(shù)期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE TPAMI)》上發(fā)表信息瓶頸理論長(zhǎng)篇綜述論文“A Survey on Information Bottleneck”。胡世哲副研究員為該論文第一作者，葉陽(yáng)東教授為論文通訊作者，鄭州大學(xué)為唯一第一作者單位和通訊單位。

信息瓶頸 (Information Bottleneck, IB) 是一種用于模式分析和表示學(xué)習(xí)的新型信息理論方法，自1999年誕生以來(lái)受到了廣泛的關(guān)注。它巧妙地平衡了數(shù)據(jù)壓縮和信息保存，并相應(yīng)地提高了預(yù)測(cè)或表示能力。該綜述論文是為了紀(jì)念信息瓶頸理論的創(chuàng)始人之一Naftali Tishby教授。

該綜述總結(jié)了過(guò)去20多年來(lái)IB的理論進(jìn)展和實(shí)際應(yīng)用，系統(tǒng)地探討了IB的基礎(chǔ)理論、優(yōu)化、擴(kuò)展模型和面向任務(wù)的算法。現(xiàn)有的IB方法大致分為兩部分：傳統(tǒng)IB和深度IB。前者包含傳統(tǒng)機(jī)器學(xué)習(xí)分析技術(shù)優(yōu)化且不涉及任何神經(jīng)網(wǎng)絡(luò)的IB，后者包括涉及深度神經(jīng)網(wǎng)絡(luò) (Deep Neural Network, DNN) 的解釋、優(yōu)化和改進(jìn)的IB。具體來(lái)說(shuō)，根據(jù)技術(shù)分類(lèi)，傳統(tǒng)IB進(jìn)一步分為三類(lèi)：基礎(chǔ)IB、信息化IB和傳播IB。根據(jù)問(wèn)題設(shè)置分類(lèi)，深度IB包括：辯論－使用 IB 理解DNN、使用IB優(yōu)化DNN和基于DNN的IB方法。

本項(xiàng)工作受到國(guó)家自然科學(xué)青年基金項(xiàng)目、面上項(xiàng)目的資助，并得到了鄭州大學(xué)計(jì)算機(jī)與人工智能學(xué)院的支持。

論文鏈接：https://ieeexplore.ieee.org/document/10438074