在網(wǎng)站優(yōu)化的過程中,有的小伙伴可能會(huì)遇到,網(wǎng)站文章一直在更新但遲遲沒有收錄的情況,到后臺(tái)去看,根本就沒有蜘蛛來爬取,這是怎么回事呢?
網(wǎng)站內(nèi)容一直在更新,但蜘蛛就是不來爬取,這個(gè)時(shí)候就要檢查一下網(wǎng)站內(nèi)是否有違規(guī)的內(nèi)容或近期有什么違規(guī)操作,而導(dǎo)致網(wǎng)站被搜索引擎打擊的情況,下面武榮網(wǎng)絡(luò)(0595wr.cn)就來分析一下,那些情況會(huì)導(dǎo)致蜘蛛不來爬取。
采集網(wǎng)站
很多小伙伴在網(wǎng)站上線后就采用大量采集別的網(wǎng)站內(nèi)容來填充自己的網(wǎng)站,同時(shí)也為了能夠快速的提升收錄和排名。
如果時(shí)間點(diǎn)推到搜索引擎才推出的那幾年間,這種手法還是見效很快的,但時(shí)至今日,搜索引擎越發(fā)完善,收錄的內(nèi)容也越來越多,一些垃圾和重復(fù)的內(nèi)容別人根本就看不上,也推出了很多算法來打擊這一行為。
現(xiàn)在網(wǎng)站如果還在使用采集的手段來優(yōu)化和填充內(nèi)容的話,很快就會(huì)被搜索引擎注意到,并打擊、封殺一套處理,如果網(wǎng)站上有大量采集內(nèi)容,那么蜘蛛不來是很正常的。
網(wǎng)站結(jié)構(gòu)
一個(gè)優(yōu)秀的網(wǎng)站,必定是結(jié)構(gòu)清晰、內(nèi)容豐富的,要是你的網(wǎng)站亂糟糟的,不僅用戶體驗(yàn)極差,對(duì)搜索引擎也相當(dāng)不友好。
網(wǎng)站的排版布局不說要多么讓人眼前一亮,至少應(yīng)該能夠保證用戶能夠快速瀏覽并找到想要的信息,且一個(gè)條理清晰的網(wǎng)站必定代碼簡(jiǎn)潔有層次,方便搜索引擎抓取,如果網(wǎng)站排版雜亂、代碼臃腫導(dǎo)致網(wǎng)站抓取速度緩慢,后續(xù)蜘蛛可能就不會(huì)來抓取了。
最重要的一點(diǎn),我們網(wǎng)站上有更改之后一定要在首頁(yè)體現(xiàn)出來,因?yàn)樗阉饕嬖谑珍浘W(wǎng)站之后,再次抓取會(huì)首先抓取首頁(yè),如果首頁(yè)沒有任何變動(dòng),搜索引擎就會(huì)認(rèn)定你的網(wǎng)站沒有變更,就直接返回了,不再進(jìn)行更深層次的抓取。
網(wǎng)站內(nèi)容
網(wǎng)站內(nèi)容里含有黑色、灰色行業(yè)信息和大量與網(wǎng)站主題不符的信息也會(huì)被算法打擊,導(dǎo)致排名、收錄都在掉,蜘蛛也不來抓取,直接就被K了。
除了黑色、灰色信息外,網(wǎng)站上大量的低質(zhì)內(nèi)容也會(huì)讓搜索引擎反感,這些內(nèi)容并不能對(duì)用戶起到幫助,甚至還會(huì)誤導(dǎo)用戶,搜索引擎對(duì)這種擁有大量低質(zhì)內(nèi)容的網(wǎng)站也是極度厭惡。
不安全網(wǎng)站
當(dāng)網(wǎng)站被惡意劫持和掛馬的情況下,搜索引擎察覺到網(wǎng)站跳轉(zhuǎn)不正常,就會(huì)判斷網(wǎng)站不安全,網(wǎng)站就會(huì)降權(quán),嚴(yán)重的可能很長(zhǎng)一段時(shí)間都沒有蜘蛛來光顧了。
服務(wù)器不穩(wěn)定
前面也說了,網(wǎng)站的響應(yīng)速度是非常重要的,要是網(wǎng)站長(zhǎng)期響應(yīng)速度在4秒及以上,搜索引擎就可能抓取不到網(wǎng)頁(yè)內(nèi)容,久而久之就不會(huì)來網(wǎng)站抓取了。
服務(wù)器是影響網(wǎng)站響應(yīng)速度的重要因素,國(guó)外的服務(wù)器肯定延遲比國(guó)內(nèi)同等配置的服務(wù)器響應(yīng)時(shí)間長(zhǎng),同一地區(qū)的虛擬主機(jī)肯定延遲比服務(wù)器高,特別是在多用戶在線的情況下,差異尤為明顯。
大量死鏈接
如果站內(nèi)只有少數(shù)幾個(gè)死鏈接,其實(shí)對(duì)于網(wǎng)站的影響不大,只要注意及時(shí)提交和清理掉就行,但是當(dāng)站內(nèi)出現(xiàn)大量死鏈接的時(shí)候,就會(huì)嚴(yán)重拉低搜索引擎對(duì)網(wǎng)站的評(píng)分,使得蜘蛛來抓取的次數(shù)減少或者直接就不來了。
其實(shí)只要每天檢查一下網(wǎng)站,減少對(duì)于網(wǎng)站的修改,在更新的時(shí)候注意一下,一般來說是不會(huì)出現(xiàn)蜘蛛不來的情況,蜘蛛不來爬取是一個(gè)信號(hào),網(wǎng)站一定出現(xiàn)問題了才會(huì)導(dǎo)致蜘蛛不來爬取,當(dāng)發(fā)現(xiàn)網(wǎng)站沒有蜘蛛的時(shí)候,應(yīng)徹底檢查一下網(wǎng)站,排查和修復(fù)問題。