企業(yè)網(wǎng)站設(shè)計(jì)基于機(jī)器學(xué)習(xí)的通用識(shí)別方式
日期 : 2020-12-22 12:11:14
基于機(jī)器學(xué)習(xí)的通用識(shí)別方式。近年來隨著機(jī)器學(xué)習(xí)算法的興起,很多文獻(xiàn)提出將相關(guān)算法用到垃圾頁面識(shí)別并已經(jīng)取得了很好的效果。
由于從本質(zhì)上來說垃圾頁面識(shí)別是一個(gè)二值分類問題,而機(jī)器學(xué)習(xí)中有很多相應(yīng)的算法可以被利用。這些算法的共同點(diǎn)通常都是先將網(wǎng)頁數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集,然后對(duì)網(wǎng)頁數(shù)據(jù)進(jìn)行預(yù)處理,去除數(shù)據(jù)中的無用信息包括HTML標(biāo)簽、Java Script腳本代碼、大量存在的圖片等等,然后對(duì)網(wǎng)頁內(nèi)容特征(網(wǎng)頁字?jǐn)?shù)、標(biāo)題字?jǐn)?shù)、熱門關(guān)鍵詞、網(wǎng)頁壓縮率等)和鏈接結(jié)構(gòu)特征(入鏈數(shù)、出鏈數(shù)、入鏈出鏈比例、Page Rank值等)進(jìn)行提取作為訓(xùn)練集的輸入得出輸入輸出的映射關(guān)系,最后將這種映射關(guān)系用測(cè)試集進(jìn)行驗(yàn)證。
由于從本質(zhì)上來說垃圾頁面識(shí)別是一個(gè)二值分類問題,而機(jī)器學(xué)習(xí)中有很多相應(yīng)的算法可以被利用。這些算法的共同點(diǎn)通常都是先將網(wǎng)頁數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集,然后對(duì)網(wǎng)頁數(shù)據(jù)進(jìn)行預(yù)處理,去除數(shù)據(jù)中的無用信息包括HTML標(biāo)簽、Java Script腳本代碼、大量存在的圖片等等,然后對(duì)網(wǎng)頁內(nèi)容特征(網(wǎng)頁字?jǐn)?shù)、標(biāo)題字?jǐn)?shù)、熱門關(guān)鍵詞、網(wǎng)頁壓縮率等)和鏈接結(jié)構(gòu)特征(入鏈數(shù)、出鏈數(shù)、入鏈出鏈比例、Page Rank值等)進(jìn)行提取作為訓(xùn)練集的輸入得出輸入輸出的映射關(guān)系,最后將這種映射關(guān)系用測(cè)試集進(jìn)行驗(yàn)證。
相關(guān)文章
精彩導(dǎo)讀
熱門資訊
