GEOSEO

Cloudflare 9 月 15 日起預設封鎖混合型 AI 爬蟲 —— 香港網站主必知的 GEO 影響

GeoSEO.com.hk

Cloudflare 於 2026 年 7 月宣佈，由 9 月 15 日 起，所有使用其服務且含有廣告的網站，將預設封鎖「混合型」AI 爬蟲（mixed-use crawlers）。這項政策針對那些將搜尋索引、AI 訓練及 AI Agent 功能混雜在同一 User-Agent 中的爬蟲，直接影響你的品牌能否被 AI 搜尋引擎引用。

什麼是「混合型」爬蟲？

Cloudflare 將爬蟲分為三類：

  1. 搜尋索引爬蟲（如 Googlebot、Bingbot）—— 傳統搜尋引擎用於建立索引
  2. AI 訓練爬蟲（如 GPTBot、ClaudeBot）—— 用於擷取內容訓練 LLM
  3. AI Agent 爬蟲（如 ChatGPT-User）—— 即時抓取頁面以回答使用者查詢

混合型爬蟲就是將以上兩種或三種功能合併在同一個 User-Agent 中的爬蟲。Cloudflare 認為，出版商願意讓搜尋引擎索引其內容以換取流量，但未必願意讓同一爬蟲同時將內容餵給 AI 訓練，卻得不到任何回報。

誰受影響？

  • 新 Cloudflare 客戶：預設生效
  • 現有客戶新增的網站：預設生效
  • 所有免費方案客戶：預設生效
  • 付費客戶：可自行在後台覆蓋設定

如果你的香港中小企網站使用 Cloudflare 的免費 CDN 方案（這是香港許多中小企的常見配置），這項改動自動適用，你無需做任何設定就會開始封鎖混合型爬蟲。

對 GEO 的直接影響

Generative Engine Optimization（GEO）的核心目標是讓你的品牌被 AI 搜尋引擎引用。ChatGPT、Perplexity、Gemini 等平台依賴即時抓取網頁內容來產生回覆。如果這些平台的爬蟲被你網站的 Cloudflare 設定封鎖：

  • ChatGPT Search 無法即時引用你的最新內容
  • Perplexity 的即時搜尋結果中你可能消失
  • Gemini 的 AI Mode 無法將你的網站作為來源
  • Google AI Overviews 也可能受影響

簡單來說：你的 GEO 努力變得無效，但你還以為是內容問題。

香港企業的行動指南

第一步：檢查你是否受影響

登入 Cloudflare Dashboard，查看 Security > Bots 頁面中的「Mixed-Use AI Bot」報告，確認有多少請求被阻擋。

第二步：決定你的策略

選項 A（推薦大部分企業）：手動放行特定 AI 爬蟲

在 Cloudflare 的 WAF 或 Bot Management 中，為以下 AI 爬蟲建立白名單：

  • OAI-SearchBot（ChatGPT Search）
  • PerplexityBot（Perplexity）
  • Google-Extended（Google AI 訓練）+ Google-CloudVertexBot（Vertex AI）
  • Claude-Web / ClaudeBot（Anthropic Claude）
  • AppleBot（Apple Intelligence）

選項 B：保留封鎖，專注於傳統搜尋

如果你的業務不依賴 AI 搜尋流量，保留預設封鎖也可。但要注意：AI 搜尋的採用率正在快速增長，未來可能成為主要流量來源。

第三步：檢查 robots.txt 一致性

確保你的 robots.txt 與 Cloudflare 設定一致，不要出現「Cloudflare 放行但 robots.txt 封鎖」或反過來的情況。

行動清單

  1. ☐ 登入 Cloudflare Dashboard，檢查 Mixed-Use AI Bot 報告
  2. ☐ 決定是否放行特定 AI 爬蟲，並在 Cloudflare 設定中手動加入白名單
  3. ☐ 比對 robots.txt 與 Cloudflare 設定的一致性
  4. ☐ 更新後，使用 ChatGPT 和 Perplexity 測試你的品牌關鍵字是否仍被引用
  5. ☐ 將此改動納入每月的 GEO 審核查核項目
返回部落格