她来自胡志明市,草莓rasa,女集中营 电影,艳女复仇

robots.txt文件放網站地圖利于優化?教你正確配置Robots.txt文件

作者:小推 來源:全網營銷 2021-06-13 19:59

robots.txt文件放網站地圖利于優化?教你正確配置Robots.txt文件。首先,我是用寶塔面板操作的,如果你是用ftp等其它工具操作服務器,也可以借鑒學習使用。

robots.txt文件放網站地圖利于優化?教你正確配置Robots.txt文件
robots.txt文件放網站地圖利于優化?教你正確配置Robots.txt文件

因為我的站點是采用Wordpress+Xenforo搭建的,而且兩個站點其實是沒有打通的,特別是Xenforo論壇完全是位于Wordpress的一個文件夾下。為什么我要選擇如此復雜的組合呢,其實是借鑒了國外著名的4pda論壇,此論壇是使用Wordpress+Invision Power Board論壇系統搭建的,而且這兩個產品的數據庫已經打通了。Xenforo和Invison Power Board很像了,而且也有相關插件可以打通Xenforo和Wordpress的數據庫,所以我就選擇了這樣的組合。但是這樣的組合帶來了很多問題,其中之一的問題就是網站的收錄問題,也就是我遇到的問題。

在谷歌搜索框使用命令site:example.com 查看自己網站的收錄情況時,我發現一些沒有價值的頁面,比如會員頁面,會員動態頁面都出現在谷歌搜索結果頁了,而這并不是我想要的方式。于是我在谷歌站點地圖后臺 – 索引 – 刪除,提交了申請移除所有會員頁面,會員動態頁面等我不想出現在谷歌搜索結果頁的內容。這樣就完了嗎?這不是我寫此文的目的。

我們發現了問題,肯定是要從源頭上處理這類的問題,避免以后再犯。

Xenforo的站點地圖和谷歌蜘蛛

Xenforo的安裝文件自身不會生成Robots文件,于是我通過寶塔面板新建了一個Robots.txt的文件。這個Txt文件夾里的內容,我參考了Xenforo論壇,4pda等國外知名網站,并且根據我自身網站架構情況得出了如下Robots內容:

User-agent: *
Disallow: /forum/whats-new/
Disallow: /forum/account/
Disallow: /forum/attachments/
Disallow: /forum/goto/
Disallow: /forum/posts/
Disallow: /forum/login/
Disallow: /forum/admin.php
Disallow: /forum/members/
Disallow: /forum/misc/
Disallow: /forum/online/


Sitemap: http://bbs,nga,cn/sitemap.xml
Sitemap: http://bbs,nga,cn/forum/sitemap.xml

以上這個內容在這個地方可以被訪問到:http://bbs,nga,cn/forum/robots.txt

同時我通過Xenforo后臺的Elasticsearch搜索功能,一鍵重建了站點地圖索引,更新了站點地圖并得到了上述代碼中大家看到的文件

http://bbs,nga,cn/forum/sitemap.xml

WordPress的站點地圖和谷歌蜘蛛

在我的案例中,我的Wordpress沒有安裝什么插件,有自動生成站點地圖的插件,但是卻沒有Robots文件。于是我就自己在寶塔面板新建了一個Robots.txt的文件。參考了好幾家Wordpress知名站點的Robots文件后,我得出了我自己的蜘蛛文件:

User-agent: *
Host: kuajinge.cn
Sitemap: http://bbs,nga,cn/sitemap.xml
Sitemap: http://bbs,nga,cn/forum/sitemap.xml
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Disallow: /wp-includes/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /attachment/
Disallow: /wp-content/themes/
Disallow: /forum/whats-new/
Disallow: /forum/account/
Disallow: /forum/attachments/
Disallow: /forum/goto/
Disallow: /forum/posts/
Disallow: /forum/login/
Disallow: /forum/admin.php
Disallow: /forum/members/
Disallow: /forum/misc/
Disallow: /forum/online/

這個蜘蛛文件包含了Wordpress和Xenforo論壇總共兩個sitemap, 同時規定了什么不可以抓取。

通過以上自定義設置,在一個文件夾里讓谷歌蜘蛛知道了Wordpress和Xenforo的站點地圖,同時規定了Wordpress和Xenforo論壇的抓取方式??梢哉f這是針對Wordpress+Xenforo的組合下目前我能想到的最完美的Robots文件組合方式。預覽地址:http://bbs,nga,cn/robots.txt

看到這里,大家也可以檢查下自己的谷歌蜘蛛和站點地圖是否設置好了。目前我還不知道如何自定義站點地圖里網址的抓取頻率和權重。當然這可能需要我通過Wordpress后臺去安裝插件嘗試。如果有知道的也可以告訴我,定當感謝。

逆向思維,反思時刻

通過觀察一些網站的站點地圖,我發現一些內容站,特別是新聞站的更新頻率一般是一天10篇文章,有些更是一天30多篇文章, 很固定的一個頻率,這可能也是人家成功的一大原因。

還有通過觀察Robots文件,我發現國內知名的游戲玩家論壇NGA使用的是PHPWind搭建的,可見:http://bbs,nga,cn/robots.txt

于是,通過觀察研究站點地圖,Robots文件,我們可以獲得以下認識:

  • 網站最初是由什么系統搭建的(Buildwith插件也可以實現,或者谷歌右鍵查看源代碼)

  • 網站內容的更新頻率怎么樣

  • SEO優化,促進搜索引擎收錄,并且收錄你想要出現在搜索結果的內容(關于SEO優化,有兩個重要的步驟,一個是發內容做外鏈,另外一個是促收錄。而促收錄除了在高權重網站發內容,手動提交給谷歌,在gindex等網站提交外,還應該反思自己的網站內部結構是否合理。并不是谷歌等搜索引擎不想收錄你的網站,而是你沒有告訴它。你對搜索引擎這個重要的客戶并不友好。即除了向外看,還應該向內看自己的結構是否出問題了)

  • 網站屏蔽了的那些抓取頁面是什么?好奇的也可以去看一下,但是千萬不要做壞事。

好了,今天的文章就分享這么多,感謝閱讀。關于SEO方面可以去論壇查看更為系統性的知識,那里面更是有知識樹,SEO系統化知識庫。

----------------------------------

在添加本文最后一個鏈接的時候,我本來是想要“點我傳送門”作為錨點文字,然后使用論壇鏈接 https://xxx,cn/forum/threads/seo.7/

但是剛剛閱讀到谷歌新手指南時,我發現我犯了一個SEO錯誤。錨點的正確使用方法是,可能從來沒有人教過我們:錨點文字要盡可能正確闡述錨點鏈接的內容,避免使用“點擊此處”等寬泛的表述。谷歌SEO新手指南原文描述是:

-----------

選擇描述性文字應避免的做法:

  • 使用寬泛的定位文字,如“網頁”、“文章”或“點擊此處”。

  • 使用與主題或鏈接到的網頁的內容無關的文字。

  • 在多數情況下將網頁的網址用作定位文字。雖然這樣做在某些情況下也合情合理,如宣傳或引用新網站的地址。

文字應簡明扼要

盡量使用簡短但具有描述性的文字 – 通常是幾個字或一個短語。

應避免的做法:

  • 撰寫很長的定位文字,如一個長句或一小段文字。

設置鏈接格式,讓鏈接容易識別

讓用戶能夠輕松區分常規文本和鏈接的定位文字。如果用戶沒有看到鏈接或意外點擊了它們,您內容的實用性將降低。

應避免的做法:

  • 使用 CSS 或文本樣式,讓鏈接看起來像常規文本。

想到這,原先我工作的時候寫產品首發的文章,很多文章都用了“點擊此處”,外部一些網站也有“點擊此處”作為錨文本,實在是不應該啊。應該還是要盡量使用能傳遞網頁信息的簡明扼要的文字。


本文地址:武漢SEO優化頻道 http://www.xinu22.com/seojishu/1759.html,武漢易企推網絡公司,是一家專業的武漢網絡推廣,網絡營銷,品牌營銷策劃推廣公司,提供一站式全網營銷推廣服務:小程序開發,網站建設,SEO百度排名,SEM競價托管,品牌營銷推廣、360搜狗百度競價開戶、百度地圖標注、百科詞條創建修改、新媒體引流加粉、企業負面公關處理等;另外,禁止轉載本站文章,謝謝!


相關文章相關文章
湖北網絡營銷導航
黃石網絡推廣十堰seo優化恩施seo優化隨州網絡推廣荊州seo優化荊門網絡推廣黃岡seo優化咸寧網絡推廣襄陽seo優化孝感seo優化潛江網絡推廣鄂州網絡推廣天門網絡推廣宜昌seo優化 武漢SEO優化 武漢SEO培訓 百度推廣開戶 今日頭條開戶 危機公關處理 百度百科創建
本地企業
              可提供上門服務

便捷

本地企業可提供上門服務

提供適合、專業可行方案

周到

提供適合、專業可行方案

5-10分鐘售后響應機制<

貼心

5-10分鐘售后響應機制

按效果收費,無效果不收費

放心

按效果收費,無效果不收費

行業高標準,效果穩定可靠

穩定

行業高標準,效果穩定可靠

1-3個月排名上百度首頁

快速

1-3個月排名上百度首頁

武漢易企推網絡公司;公司地址:武漢市武昌區靜安路6號5.5創意產業園4樓;公司官網:http://www.xinu22.com XML地圖

服務熱線:18120550335 / 027-88866235 歡迎來電咨詢; 聯系QQ:1193073039

Copyrigh?2017-2030 版權所有:武漢易企推網絡科技有限公司 備案號:鄂ICP備17012199號 網站地圖 手機站

她来自胡志明市 <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>