Cloudflare Pay Per Crawl 不適合被台灣 SME 當成「AI 爬蟲來了就收費」的快捷鍵。比較務實的做法，是先把網站內容分成需要搜尋曝光、可以讓 AI 搜尋引用、可能不想給模型訓練、值得談付費授權、以及應該封鎖的幾類，再決定每一類要 Allow、Charge 或 Block。對多數中小企業來說，第一個風險不是少收幾美元，而是把 Google 搜尋、ChatGPT 搜尋或重要引用流量一起誤傷。
Cloudflare Pay Per Crawl 到底改變什麼？
Cloudflare 在 2025-07-01 公布 Pay Per Crawl，把 AI 爬蟲存取從「全開或全擋」多加一個收費選項。官方說明裡，網站主可以對爬蟲選擇 Allow、Charge 或 Block；若選擇收費，機制會用 HTTP 402 Payment Required、價格標頭與已驗證爬蟲身分來處理存取。Cloudflare 也明確標示這仍是 private beta。
這和一般 robots.txt 最大的差異，是 robots.txt 多半是宣告爬取規則，Pay Per Crawl 則把「可否存取」和「是否付費」拉到網路層處理。對媒體、內容資料庫、研究資料或高價專業知識站，這可能是談授權的新入口；對一般台灣 SME 官網、電商、服務頁或部落格，則要先判斷內容是否真的有被 AI 爬蟲單次付費存取的價值。
台灣 SME 上線前先查 5 個 AI 爬蟲設定
1. 先保留搜尋可見度，不要把所有 AI user-agent 一起擋掉
OpenAI 的 crawler 文件把 OAI-SearchBot、GPTBot、OAI-AdsBot 和 ChatGPT-User 分開。OAI-SearchBot 用於 ChatGPT 搜尋，GPTBot 則和模型訓練用途有關；文件也提醒，站長可以允許 OAI-SearchBot 以維持搜尋曝光，同時 disallow GPTBot 表示內容不應用於訓練。這個拆法很重要：如果你只是想管訓練授權，卻把 AI 搜尋入口一起擋掉，GEO 反而會受傷。
台灣 SME 應先列出需要被引用的頁面：服務頁、價格說明、案例、FAQ、門市資訊、課程頁、產品比較、退換貨規則。這些頁面通常應維持搜尋與 AI 搜尋可讀，不要一開始就套用全站封鎖或全站收費。
2. 分清 robots.txt、noindex、WAF 與付費存取
Google Search Central 的 robots.txt 介紹提醒，robots.txt 主要是管理 crawler 可存取哪些 URL，不是把頁面排除在 Google 之外的安全機制；若要避免頁面出現在 Google，通常要用 noindex 或密碼保護。這代表你不能把 robots.txt、Cloudflare bot rule、noindex、付費牆當成同一個工具。
簡單判斷是：不重要的重複頁，用 robots.txt 或 canonical 管；不想被索引的頁，用 noindex 或登入保護；惡意爬蟲與假 user-agent，用 WAF 或 bot management；有授權價值的內容，才考慮 Pay Per Crawl 或商務授權。
3. 先盤點哪些內容真的值得 Charge
大多數 SME 的產品頁、服務頁、聯絡頁、FAQ、文章與案例，商業目的通常是被找到、被理解、被詢問，而不是對單次爬取收費。若把這些頁面設成 Charge，短期不一定有收入，反而可能讓 AI 工具抓不到可引用答案。
比較可能考慮 Charge 的內容，是有明確資料價值且不是主要轉換入口的資產，例如研究報告、產業資料庫、完整規格資料、付費教案、深度價格資料、專業名錄或大量原創資料。即使如此，也要先確認 Cloudflare 功能狀態、方案限制、爬蟲是否支援付費標頭，以及你是否有內部流程處理授權與帳務。
4. 不要用收費取代內容授權與引用策略
Pay Per Crawl 是技術存取層，不等於完整授權合約。你仍要寫清楚內容授權、禁止用途、可引用方式、API 或資料集取得方式。若你的目標是讓 AI 回答引用你的品牌，應該優先確保內容頁有清楚標題、日期、作者或公司實體、FAQ、可引用段落、結構化資料與穩定網址。
換句話說，GEO 不是只靠擋或收費。答案引擎要能理解你的實體、產品、服務地區、適用情境和限制。先把內容做成可被引用，再來談哪些內容不想免費讓模型訓練。
5. 設一個每月爬蟲紀錄審查，而不是一次設定後不管
Cloudflare 文件裡也有 bot analytics、verified bots、signed agents 與 bot management 等概念。台灣 SME 不一定需要企業級設定，但至少要每月看一次：哪些 user-agent 來得最多、是否有假冒爬蟲、Googlebot 是否正常、OAI-SearchBot 或 GPTBot 是否被誤擋、重要頁是否回 200、robots.txt 是否被 CDN 或外掛改壞。
若網站改版、換主機、加 WAF、裝安全外掛或改 Cloudflare 規則，都要重測。AI 爬蟲設定最常見的問題不是策略錯，而是技術變更後沒有人重驗。
Allow、Charge、Block 怎麼分配？
| 內容類型 | 建議起點 | 理由 | 要檢查 |
|---|---|---|---|
| 首頁、服務頁、產品頁、案例、FAQ | Allow | 這些頁面通常需要搜尋與 AI 搜尋曝光，能帶來詢問與轉換。 | Googlebot、OAI-SearchBot 是否可抓；重要頁回 200。 |
| 模型訓練不想開放的公開內容 | 依 crawler 分開控制 | 可允許搜尋 crawler，同時限制訓練用途 crawler。 | GPTBot、Google-Extended 等規則是否和搜尋規則分開。 |
| 高價報告、資料庫、研究素材 | 評估 Charge 或授權頁 | 內容本身可能有授權價值，但不一定適合全站收費。 | Cloudflare 功能狀態、方案、爬蟲支援、授權條款。 |
| 後台、客戶資料、訂單、未公開內容 | Block 或登入保護 | 這不是 SEO 或 GEO 資產，不應讓任何公開爬蟲取得。 | 不要只靠 robots.txt；用權限、noindex 或安全規則。 |
| 惡意或假冒爬蟲 | Block | 不應把假 user-agent 當成可談授權的 AI crawler。 | IP、驗證機制、WAF 記錄與 Cloudflare bot 分數。 |
30 分鐘檢查流程
- 打開 robots.txt，確認 Googlebot、OAI-SearchBot、GPTBot、Google-Extended 等規則是否分開。
- 列出前 20 個最重要轉換頁，確認它們沒有被 robots.txt、WAF、noindex 或登入牆誤擋。
- 把內容分成「需要曝光」、「可限制訓練」、「可談授權」、「應封鎖」四類。
- 若使用 Cloudflare，先看 bot analytics 和 security events，不要只看訪客流量。
- 寫下誰有權改規則、改完怎麼驗證、下次何時複查。
資料更新與適用範圍
本文於 2026-06-24 撰寫。Cloudflare Pay Per Crawl 官方文章標示為 private beta，功能、方案與可用範圍可能改變；實作前應重新確認 Cloudflare 文件與帳號功能。Google robots.txt 與 OpenAI crawler 文件則作為 crawler 分流和搜尋曝光判斷的主要官方依據。
本文適用於台灣 SME 官網、B2B 服務網站、電商內容站、部落格與知識型網站的 SEO/AEO/GEO 設定思考。若你是大型媒體、付費資料庫、研究機構或已有授權商務團隊，Pay Per Crawl 的優先順序可能更高；若你只是一般品牌官網，請先確保搜尋曝光與重要頁可抓。
結論：先不要急著收費，先避免誤擋可見度
Cloudflare Pay Per Crawl 代表 AI 爬蟲存取開始往更細的授權和付費機制走，但台灣 SME 的第一步不是立刻開收費，而是把 AI 爬蟲設定從「全開或全擋」改成分層管理。先保住搜尋與 AI 搜尋可見度，再限制訓練用途，最後才評估高價內容是否值得 Charge。這樣做，才不會為了未必存在的爬蟲收入，先犧牲真正會帶來客戶的曝光。
FAQ
Cloudflare Pay Per Crawl 現在一般台灣 SME 都能用嗎？
Cloudflare 官方文章標示 Pay Per Crawl 仍是 private beta，所以實作前要重新確認帳號是否可用、方案限制、付款設定和爬蟲是否支援相關標頭。
開啟 Pay Per Crawl 會影響 Google SEO 嗎？
功能本身不等於 SEO 懲罰，但如果規則誤擋 Googlebot、重要頁回 403/402，或 robots.txt 設錯，就可能影響搜尋抓取與可見度。
可以允許 ChatGPT 搜尋但阻止 OpenAI 訓練嗎？
OpenAI 文件把 OAI-SearchBot 和 GPTBot 分開，站長可以用 robots.txt 分別管理搜尋曝光與訓練用途；設定後仍要等待系統更新並測試重要頁。
Google-Extended 和 Googlebot 是同一件事嗎？
不是同一個決策目標。Googlebot 主要關係到 Google 搜尋抓取；Google-Extended 是控制內容是否可用於 Google 特定生成式 AI 產品的獨立 token。不要把兩者混成一條規則。
中小企業哪些內容最不適合拿來 Charge？
首頁、服務頁、商品頁、案例、FAQ、聯絡方式和價格說明通常應以曝光與轉換為優先。若把這些頁面先設成付費存取，可能讓搜尋與 AI 回答更難理解你的品牌。