做SEO優化的人都知道搜索引擎的工作原理。看搜索引擎的工作原理可能聽說過網站的抓取頻率,那么什么是網站抓取頻率呢?目前抓取頻率太大或太小怎么辦?以下小系列將向您解釋,希望對您有所幫助。
什么是網站抓取頻率?
①網站抓取頻率是搜索引擎在單位時間內(天級)抓取網站服務器的總次數。如果搜索引擎抓取網站的頻率太高,很可能導致服務器不穩定。Baiduspider會根據網站內容更新頻率和服務器壓力自動調整抓取頻率。
②Baiduspider會根據站點服務器的壓力自動調整抓取頻率。
③建議您仔細調整抓取頻率的上限值,如果抓取頻率過小,將影響Baiduspider對網站的收錄。
目前抓取頻率過高怎么辦?
您可以按照以下方法依次檢查和解決頻率過高的問題:
①如果您認為Baiduspider抓取了您認為的無價值鏈接,請更新網站robots.txt進行屏蔽抓取,然后在robots工具頁面上生效。
②如果Baiduspider的抓取影響了您網站的正常訪問,請到抓取頻率上限調整頁面,以降低抓取頻率上限。
③如果以上方法無法解決問題,請到百度站長平臺反饋中心反饋。
目前抓取頻率太小怎么辦?
您可以按照以下方法對頻率過小的問題進行排查和解決:
①如果您已經設置了抓取頻率上限,建議您先取消抓取頻率上限設置,或者在抓取頻率上限調整頁面上調整抓取頻率上限。
②如果您沒有設定抓取頻率上限,建議您先使用抓取異常工具,看看是否是抓取異常所致。
③如果你還覺得抓取量小,可能是你沒有提交新鏈接,請去鏈接提交頁面提交數據。
④如果以上方法無法解決問題,請到百度站長平臺反饋中心反饋。