robots.txtでAIの学習を断る書き方｜新しい共通のしるしとGPTBot・Google-Extendedの違い、検索への影響

AIの学習を断るには、いまはGPTBot・Google-Extended・ClaudeBotなど、会社ごとの名前をrobots.txtに書く方法が使えます。新しい共通のしるし__usage_ai-trainingは、Microsoftが2027年2月1日から、Googleが2027年の早い時期に読み始める予定で、まだ効き始めていません。両方を書いておくと、いまとこれからの両方に対応できます。

11月1日7時41分時点の、IETF（インターネットの標準を決める団体）の文書と、Google・Microsoft・OpenAI・Anthropicの公式の情報の内容です。

結論：AIの学習を断るrobots.txtの要点

新しい共通のしるし__usage_ai-trainingの書き方

サイト全体をAIの学習に使わせない

User-agent: __usage_ai-training
Disallow: /

サイトのいちばん上の階層にあるrobots.txtに書きます。__usage_ai-trainingは、ロボットの名前ではなく「AIの学習に使ってよいか」を表すしるしです。対応した会社は、それぞれのロボットで集めた内容を、このしるしに沿って学習に使うかどうか決めます。

一部のページだけ学習に使ってよいことにする

User-agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

この例では、/press-kit/の下だけ学習に使ってよく、ほかのページは使ってほしくない、という意味になります。パスの書き方は、ふつうのrobots.txtと同じです。

新しいしるしについて知っておくこと

• IETFの文書は、2026年10月30日に出たインターネットドラフト（下書きの段階の文書）で、IETFが認めた標準ではありません。中身が変わることもあります。
• User-agent: *のグループは、このしるしに当てはまりません。__usage_ai-trainingのグループがないrobots.txtは、「学習について何も意思を示していない」と扱われます。
• このしるしは、ロボットの巡回を止めるものではありません。巡回そのものを止めたいときは、ロボットの名前で書きます。
• 会社ごとの名前で書いたルールは、共通のしるしより優先されることがあります。

いま効く、会社ごとの書き方

OpenAI・Google・Anthropicの学習を断る

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

Anthropicは、サブドメインごとに、それぞれのrobots.txtに書くよう案内しています。

いまとこれからの両方に対応する

User-agent: __usage_ai-training
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

OpenAIもGoogleも、新しいしるしに対応したあとも、いまの会社ごとの書き方を使えるとしています。すでに会社ごとの名前を書いているサイトは、そのまま残して、新しいしるしを足すだけで済みます。

検索やAIの回答に出るかどうかへの影響

Google

Google-Extendedは、Google検索に出るかどうかや、検索の順位には関係しません。Googleは、新しいしるしで学習を断っていて、Google-Extendedについて何も書いていないサイトは、Google-Extendedを断ったものとして扱う予定です。

Google-Extendedを許可しているサイトは、Geminiアプリの回答の根拠として出て、クリックされることがあります。

Geminiアプリの回答には出て、ほかの学習は断る

User-agent: __usage_ai-training
Disallow: /

User-agent: Google-Extended
Allow: /

Google-Extendedを許可すると、Geminiのモデルの学習にも使われることになります。

OpenAI

ChatGPTの検索に出るためのロボットは、学習用のGPTBotとは別のOAI-SearchBotです。GPTBotを断っても、OAI-SearchBotを許可していれば、ChatGPTの検索の結果に出られます。

Microsoft（Bing）

Microsoftは、学習を断っても、Bing検索に出られるかどうかは変わらないとしています。2027年2月1日から新しいしるしを読み始め、ページごとに学習やAIの回答への利用を断るしるしにも対応します。

1ページだけBingの学習を断る

<meta name="Bingbot" content="ai-training:disallow">

ページのheadの中に書きます。いまNoArchiveやNoCacheで学習を断っているサイトは、2027年3月1日までに新しい書き方に変えるよう、Microsoftが求めています。この日のあとは、NoArchiveとNoCacheは学習やAIの回答への利用を断るしるしとして読まれなくなります。

Anthropic

Anthropicは、学習用のClaudeBotのほかに、検索用のClaude-SearchBotと、利用者の指示でページを読みにくるClaude-Userを使っています。Claude-SearchBotやClaude-Userを断ると、Claudeでの検索の結果に出にくくなることがあります。

出典

• IETF｜Machine-Readable Training Preference Signal
• Google検索セントラル ブログ｜AIの学習の新しいコントロール（2026年10月30日）
• Google｜Googleの一般的なクローラー（Google-Extended）
• Microsoft Bing｜Your content, your choice（2026年10月30日）
• OpenAI｜Helping websites express AI training preferences
• OpenAI｜Overview of OpenAI Crawlers
• Anthropic｜Does Anthropic crawl data from the web, and how can site owners block the crawler?