她来自胡志明市,草莓rasa,女集中营 电影,艳女复仇

如何鑒別真假蜘蛛,代碼自動化鑒別假蜘蛛的方法

作者:易企推SEO 來源:未知 2021-06-08 18:07

相信所有站長都很痛恨假蜘蛛,我們這里說的蜘蛛是指搜索引擎爬蟲蜘蛛。在我們觀察網站日志的時候我們會發現有一些蜘蛛很有迷惑性,跟真蜘蛛一模一樣,根本無法直接通過肉眼區分出來。

如何鑒別真假蜘蛛,代碼自動化鑒別假蜘蛛的方法
如何鑒別真假蜘蛛,代碼自動化鑒別假蜘蛛的方法

鑒別真假蜘蛛的方法

想要準確無誤的判定蜘蛛的真實性,那么只有一個途徑就是放過蜘蛛的IP反查其解析域名,具體的方法參照真假蜘蛛ip識別。

簡單的講就是我們可以通過電腦的cmd等工具使用“nslookup + ip”,看返回的結果是不是對于搜索引擎的域名。

因為訪問的user-agent是可以修改的,但是這個ip與域名之間的解析,要么是域名所有者或者是劫持域名解析。

對于搜索引擎的來說,通過這個方式的可能性為零,所以我們判定蜘蛛的真實性,只能使用這個方法。

假蜘蛛的目的

那么這些假蜘蛛的目的是什么,大多數就是為了采集你網站的內容、或者是對于網站進行攻擊分析,偽裝成搜索引擎蜘蛛可以獲取站點的信任,降低被發現的可能性。

如果你經常觀察網站日志是很好發現的,搜索搜索引擎不會去抓取內容資源之外的鏈接。同時搜索引擎不會集中時間段去大量抓取內容,也不會去有順序的挨個去抓取頁面內容。

雖然通過日志可以辨別出,但是我們不可能去時時刻刻監控網站日志;對于一些抓取內容的而已蜘蛛我們發現的時候,內容已經被爬了去了再去屏蔽意義也不是很大了,那么有什么辦法自動化處理這些假蜘蛛呢?

代碼自動化鑒別假蜘蛛

分享一個我覺得不錯的方法,那就是在網站后端請求的時候對于訪問客戶端的身份做一個鑒別,對于存在問題的ip立刻進行一個屏蔽處理,就可以盡可能的保護我們的原創內容不被別人抄襲了去。

第一步就是鑒別,訪問者的請求頭也就是user-agent。如果請求頭是蜘蛛名,那么我們就要判斷其真實性,基本的原理就是反查ip。比如在php中我們無法使用nslookup命令去進行反查。但是我們可以使用gethostbyaddr()函數可以實現nslookup同樣的功能。

第二步就是確認蜘蛛真實性,我們把gethostbyaddr()函數的返回值,去匹配下各個蜘蛛域名;就可以確認真的ip是不是真的搜索引擎爬蟲。

第三步屏蔽處理與放通,對于存在問題的蜘蛛我們可以直接屏蔽當前IP訪問網站的權限,同時你也可以直接返回一封警告信給它,估計會被你震驚到的。對于是真實蜘蛛的IP我們添加為白名單,下次直接放通不再做鑒別。


本文地址:武漢SEO優化頻道 http://www.xinu22.com/seojishu/1750.html,武漢易企推網絡公司,是一家專業的武漢網絡推廣,網絡營銷,品牌營銷策劃推廣公司,提供一站式全網營銷推廣服務:小程序開發,網站建設,SEO百度排名,SEM競價托管,品牌營銷推廣、360搜狗百度競價開戶、百度地圖標注、百科詞條創建修改、新媒體引流加粉、企業負面公關處理等;另外,禁止轉載本站文章,謝謝!


相關文章相關文章
  • 網站頁面可讀性的重要性,以及如何影響SEO

    網站頁面可讀性的重要性,以及如何影響SEO

    網站頁面可讀性的重要性,以及如何影響SEO,好久沒有SEO相關的文章了,今天給大家帶來一篇有關文章可讀性與SEO相關的文章內容,文章的可讀性并非僅僅指語句通順就完事了。接下來...

    2021-06-10 18:01
  • 教你如何利用友情鏈接做排名的策略!

    教你如何利用友情鏈接做排名的策略!

    網站優化方式千千萬,但萬變不離其宗,無非就是內容加外鏈,但就這兩點卻可以變化出眾多優化方式,今天剛子講一個一般seoer不曉得的優化策略,利用友情鏈接做權重。 一. 什么網...

    2021-06-04 20:56
  • 那么如何合理規劃網站結構呢?網站結構布局優化的3個步驟!

    那么如何合理規劃網站結構呢?網站結構布局優化的3個

    網站優化是一個老生常談的話題,我們經常說的網站優化,無非是標題、關鍵詞等內容的優化,其實我們 在建設網站的時候,就應該考慮SEO優化,考慮什么樣的網站結構有利于搜索引擎...

    2021-06-04 20:34
  • 如何在百度站長工具平臺上進行“網站驗證”

    如何在百度站長工具平臺上進行“網站驗證”

    作為一名站長,在網站搭建以后,如果想要使用百度站長工具了解網站的相關數據,這時需要先到百度站長工具平臺上驗證您的網站。 站長平臺推薦站長添加主站(您網站的鏈接也許會...

    2020-12-19 17:57
  • SEO關鍵詞如何布局?將關鍵詞從零排名到百度首頁

    SEO關鍵詞如何布局?將關鍵詞從零排名到百度首頁

    在互聯網中,不管采用什么展現方式,都需要以內容為基石。不管是圖片,還是文字、視頻、音頻,都是內容的載體,我們無時無刻都在獲取信息。 而我們作為內容運營者,以SEO所做的...

    2020-12-16 15:38
  • 如何理解SEO行業中的關鍵詞?及關鍵詞的本質是什么?

    如何理解SEO行業中的關鍵詞?及關鍵詞的本質是什么?

    如何理解SEO行業中的關鍵詞,關鍵詞的由來,關鍵詞的本質是什么?關鍵詞如何分類,關于SEO行業中的關鍵詞范例演示,希望對大家有所幫助! 如何理解SEO行業中的關鍵詞?及關鍵詞的...

    2020-12-12 19:51
湖北網絡營銷導航
黃石網絡推廣十堰seo優化恩施seo優化隨州網絡推廣荊州seo優化荊門網絡推廣黃岡seo優化咸寧網絡推廣襄陽seo優化孝感seo優化潛江網絡推廣鄂州網絡推廣天門網絡推廣宜昌seo優化 武漢SEO優化 武漢SEO培訓 百度推廣開戶 今日頭條開戶 危機公關處理 百度百科創建
本地企業
              可提供上門服務

便捷

本地企業可提供上門服務

提供適合、專業可行方案

周到

提供適合、專業可行方案

5-10分鐘售后響應機制<

貼心

5-10分鐘售后響應機制

按效果收費,無效果不收費

放心

按效果收費,無效果不收費

行業高標準,效果穩定可靠

穩定

行業高標準,效果穩定可靠

1-3個月排名上百度首頁

快速

1-3個月排名上百度首頁

武漢易企推網絡公司;公司地址:武漢市武昌區靜安路6號5.5創意產業園4樓;公司官網:http://www.xinu22.com XML地圖

服務熱線:18120550335 / 027-88866235 歡迎來電咨詢; 聯系QQ:1193073039

Copyrigh?2017-2030 版權所有:武漢易企推網絡科技有限公司 備案號:鄂ICP備17012199號 網站地圖 手機站

她来自胡志明市 <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>