一、什么是Bingbot？
Bingbot 是 Bing 用來(lái)抓取或“蜘蛛”網(wǎng)絡(luò)的爬蟲(chóng)的名稱。Bingbot的工作是尋找新的 并更新了互聯(lián)網(wǎng)上網(wǎng)站上的頁(yè)面，以便可以對(duì)其進(jìn)行索引處理。而 抓取網(wǎng)站，Bingbot查看機(jī)器人.txt文件以獲取來(lái)自網(wǎng)站的特殊說(shuō)明 所有者/網(wǎng)站站長(zhǎng)。Bingbot 遵守機(jī)器人.txt指令，包括抓取延遲：設(shè)置和 在沒(méi)有抓取延遲的情況下，會(huì)尊重網(wǎng)站站長(zhǎng)在抓取控制功能中的輸入。
Bingbot在確定它應(yīng)該訪問(wèn)您網(wǎng)站上的頁(yè)面的頻率方面做得很好，需要機(jī)器人.txt 以及考慮爬網(wǎng)控制規(guī)則和提示。我們稱之為“爬行禮貌”。可能還有 您覺(jué)得 Bingbot 不夠禮貌并且訪問(wèn)您的頁(yè)面比對(duì)您有用的情況（一個(gè)案例 的過(guò)度爬行）。
二、如何處理必應(yīng)蜘蛛過(guò)度爬網(wǎng)？
1.驗(yàn)證您看到的機(jī)器人流量是否確實(shí)來(lái)自有效的 Bingbot 服務(wù)器。您可以通過(guò)以下方式執(zhí)行此操作 查看用戶代理字符串（任何人都可以輕松欺騙）以及 IP 地址。用 這驗(yàn)證 必應(yīng)機(jī)器人工具以獲得驗(yàn)證。
2.驗(yàn)證它是真正的 Bingbot 流量后，您可以使用其中一種來(lái)減少爬網(wǎng)程序流量 以下方法（3、4 或 5，如果您尚未這樣做）。
3.在繁忙時(shí)段使用爬 控制特征。
4.將“抓取延遲：”指令添加到您的機(jī)器人.txt文件中。例如：
A.用戶代理：必應(yīng)機(jī)器人
B.爬網(wǎng)延遲：5
C.爬網(wǎng)延遲限制必應(yīng)機(jī)器人可以爬網(wǎng)的頁(yè)數(shù)。它定義了小的時(shí)間段 窗口（1 到 20 秒），在此期間，Bingbot 只能從您的網(wǎng)站抓取一個(gè) URL。為 例如，如果您將抓取延遲設(shè)置為 5（即，您給出指令以在 1 秒內(nèi)抓取 5 個(gè)網(wǎng)址）， Bingbot每天將能夠抓取17280個(gè)URL。如果將爬網(wǎng)延遲增加到 10，則只有 8640 系統(tǒng)會(huì)抓取網(wǎng)址。爬網(wǎng)延遲越高（最高為 20），頁(yè)數(shù)越少 爬。
5.如果您已按照步驟 1 和 2 操作，但問(wèn)題仍然存在，您可以聯(lián)系必應(yīng)網(wǎng)站站長(zhǎng)支持.填寫 ，然后在“您遇到什么類型的問(wèn)題？”下拉菜單中，選擇“正在抓取” 問(wèn)題”。在“你需要什么幫助？”下拉菜單下，選擇“必應(yīng)也在爬網(wǎng) 很多“，它提供了您問(wèn)題的即時(shí)解決方案。如果您仍有疑問(wèn)，請(qǐng)切換 按鈕為“是”，描述問(wèn)題，然后單擊“獲取幫助”。您可以期待在 24-48小時(shí)。當(dāng)您報(bào)告過(guò)度爬網(wǎng)問(wèn)題時(shí)，支持團(tuán)隊(duì)將要求您提供服務(wù)器日志 在下一步中顯示 Bingbot 在一段時(shí)間內(nèi)的活動(dòng)的示例，因此請(qǐng)確保 隨身攜帶。
