一．網(wǎng)站日志分析
1.通過網(wǎng)站日志分析我們發(fā)現(xiàn)該網(wǎng)站存在抓取資源浪費,需對抓取進(jìn)行控制。
www.xxxxx.com百度目錄抓取量統(tǒng)計（數(shù)據(jù)來自：愛站SEO工具包）

www.xxxxxx.com百度頁面抓取量統(tǒng)計（數(shù)據(jù)來自：愛站SEO工具包）

2.通過愛站關(guān)鍵詞出詞分布，和頁面出詞量進(jìn)行頁面搜索引擎價值和權(quán)重分析，我們發(fā)現(xiàn)部分優(yōu)質(zhì)內(nèi)容欄目出詞量少。
 
二、解決方案：
 1.robots.txt文件設(shè)置不需抓取的css,js等頁面，指定搜索引擎只抓取收錄特定的部分目錄。
2.首頁入口分配，優(yōu)質(zhì)內(nèi)容優(yōu)先分配。
3.nofollow權(quán)重傳遞控制。
4.加強(qiáng)優(yōu)質(zhì)內(nèi)容欄目外鏈，引導(dǎo)抓取收錄，提升頁面權(quán)重。
三、優(yōu)化結(jié)果：
各子站經(jīng)過類似的日志分析和蜘蛛抓取控制后，抓取資源集中用在價值頁面的抓取，快速提升價值頁面的收錄，從而提升站點收錄率