在網(wǎng)站優(yōu)化的過程中,有的小伙伴可能會遇到,網(wǎng)站文章一直在更新但遲遲沒有收錄的情況,到后臺去看,根本就沒有蜘蛛來爬取,這是怎么回事呢?
網(wǎng)站內(nèi)容一直在更新,但蜘蛛就是不來爬取,這個時候就要檢查一下網(wǎng)站內(nèi)是否有違規(guī)的內(nèi)容或近期有什么違規(guī)操作,而導(dǎo)致網(wǎng)站被搜索引擎打擊的情況,下面武榮網(wǎng)絡(luò)(0595wr.cn)就來說說一下哪些情況會導(dǎo)致蜘蛛不來爬取。
采集網(wǎng)站
很多小伙伴在網(wǎng)站上線后就采用大量采集別的網(wǎng)站內(nèi)容來填充自己的網(wǎng)站,同時也為了能夠快速的提升收錄和排名。
如果時間點推到搜索引擎才推出的那幾年間,這種手法還是見效很快的,但時至今日,搜索引擎越發(fā)完善,收錄的內(nèi)容也越來越多,一些垃圾和重復(fù)的內(nèi)容別人根本就看不上,也推出了很多算法來打擊這一行為。
現(xiàn)在網(wǎng)站如果還在使用采集的手段來優(yōu)化和填充內(nèi)容的話,很快就會被搜索引擎注意到,并打擊、封殺一套處理,如果網(wǎng)站上有大量采集內(nèi)容,那么蜘蛛不來是很正常的。
網(wǎng)站結(jié)構(gòu)
一個優(yōu)秀的網(wǎng)站,必定是結(jié)構(gòu)清晰、內(nèi)容豐富的,要是你的網(wǎng)站亂糟糟的,不僅用戶體驗極差,對搜索引擎也相當(dāng)不友好。
網(wǎng)站的排版布局不說要多么讓人眼前一亮,至少應(yīng)該能夠保證用戶能夠快速瀏覽并找到想要的信息,且一個條理清晰的網(wǎng)站必定代碼簡潔有層次,方便搜索引擎抓取,如果網(wǎng)站排版雜亂、代碼臃腫導(dǎo)致網(wǎng)站抓取速度緩慢,后續(xù)蜘蛛可能就不會來抓取了。
最重要的一點,我們網(wǎng)站上有更改之后一定要在首頁體現(xiàn)出來,因為搜索引擎在收錄網(wǎng)站之后,再次抓取會首先抓取首頁,如果首頁沒有任何變動,搜索引擎就會認(rèn)定你的網(wǎng)站沒有變更,就直接返回了,不再進(jìn)行更深層次的抓取。
網(wǎng)站內(nèi)容
網(wǎng)站內(nèi)容里含有黑色、灰色行業(yè)信息和大量與網(wǎng)站主題不符的信息也會被算法打擊,導(dǎo)致排名、收錄都在掉,蜘蛛也不來抓取,直接就被K了。
除了黑色、灰色信息外,網(wǎng)站上大量的低質(zhì)內(nèi)容也會讓搜索引擎反感,這些內(nèi)容并不能對用戶起到幫助,甚至還會誤導(dǎo)用戶,搜索引擎對這種擁有大量低質(zhì)內(nèi)容的網(wǎng)站也是極度厭惡。
不安全網(wǎng)站
當(dāng)網(wǎng)站被惡意劫持和掛馬的情況下,搜索引擎察覺到網(wǎng)站跳轉(zhuǎn)不正常,就會判斷網(wǎng)站不安全,網(wǎng)站就會降權(quán),嚴(yán)重的可能很長一段時間都沒有蜘蛛來光顧了。
服務(wù)器不穩(wěn)定
前面也說了,網(wǎng)站的響應(yīng)速度是非常重要的,要是網(wǎng)站長期響應(yīng)速度在4秒及以上,搜索引擎就可能抓取不到網(wǎng)頁內(nèi)容,久而久之就不會來網(wǎng)站抓取了。
服務(wù)器是影響網(wǎng)站響應(yīng)速度的重要因素,國外的服務(wù)器肯定延遲比國內(nèi)同等配置的服務(wù)器響應(yīng)時間長,同一地區(qū)的虛擬主機(jī)肯定延遲比服務(wù)器高,特別是在多用戶在線的情況下,差異尤為明顯。
大量死鏈接
如果站內(nèi)只有少數(shù)幾個死鏈接,其實對于網(wǎng)站的影響不大,只要注意及時提交和清理掉就行,但是當(dāng)站內(nèi)出現(xiàn)大量死鏈接的時候,就會嚴(yán)重拉低搜索引擎對網(wǎng)站的評分,使得蜘蛛來抓取的次數(shù)減少或者直接就不來了。
其實只要每天檢查一下網(wǎng)站,減少對于網(wǎng)站的修改,在更新的時候注意一下,一般來說是不會出現(xiàn)蜘蛛不來的情況,蜘蛛不來爬取是一個信號,網(wǎng)站一定出現(xiàn)問題了才會導(dǎo)致蜘蛛不來爬取,當(dāng)發(fā)現(xiàn)網(wǎng)站沒有蜘蛛的時候,應(yīng)徹底檢查一下網(wǎng)站,排查和修復(fù)問題。