Kuroma
クロール可能性とアクセシビリティ
この項目があなたのページで読み取るもの
robots.txt をサイトから取得し、この URL に対して1行ずつ評価します。特定のパスだけを対象にした Disallow も正しく読み取ります。回答の根拠を集めるクローラー（OAI-SearchBot や PerplexityBot など）と、学習用のクローラー（GPTBot など）は区別し、学習用クローラーのブロックは報告するだけで減点しません。回答クローラーを1つブロックするごとに、スコアからその分の割合を差し引きます。meta robots の noindex はスコアを0にし、noarchive は AI回答の場を1つ失ったものとして数えます。残りの点は、このページがクローラーに開いている道から決まります。リンク先の同一サイト内のページが何件あるか、アンカーのうちクローラーが実際にたどれるものの割合、crawl-delay の有無、そして小さな加点として、URL と一致する canonical、robots.txt の Sitemap 行、doctype、lang 属性、宣言された charset です。
証拠に対する私たちの判定
証拠に裏付けありテクニカル面で最も強い項目です。可視性クローラーをブロックすると、そのエンジンの回答からサイトが消えることが検証されており、OpenAI もこれを公式に文書化しています。採点にはボットの種類ごとのマトリクスを使い、減点の対象になるのは可視性ボットのブロックだけです。学習用ボットのブロックは運営方針の選択として、中立に報告します。
OpenAI crawler documentation (blocking OAI-SearchBot removes a site from ChatGPT search answers) · Vercel and MERJ AI crawler study (569M GPTBot requests: zero JavaScript execution, no image fetches) · Bing webmaster documentation: NOARCHIVE prevents content from being used in Copilot responses and grounding
この項目の配点が大きいのは、仕組みが文書で裏付けられている唯一の項目だからです。OpenAI は、検索用クローラーをブロックしたサイトは ChatGPT の検索回答から外れると明言しており、Bing も Copilot における noarchive について同じことを述べています。クローラーを入口で追い返してしまえば、ページ上の他のものは何の意味も持ちません。
配点
「テクニカル最適化」の65%、総合100点のうち13点にあたります。
診断済みページの得点分布
診断済みの30,738ページに基づきます。
中央値のページは52点で、中央の半数のページは41点から70点の間に収まります。
- 良好（75 から 100）5,440 (18%)
- 普通（50 から 74）11,072 (36%)
- 要改善（25 から 49）12,515 (41%)
- 深刻（0 から 24）1,711 (6%)
診断済みページの46%が、この項目で50点未満です。
不合格が最も多い業種と最も少ない業種
不合格が最も多い業種
- 銀行・ネオバンク：診断済みの363ページのうち59%が不合格
- ゲーム：診断済みの817ページのうち58%が不合格
- インシュアテック・保険：診断済みの144ページのうち58%が不合格
- マーケットプレイス：診断済みの211ページのうち55%が不合格
- フィンテック・決済：診断済みの201ページのうち55%が不合格
不合格が最も少ない業種
- ECプラットフォーム：診断済みの154ページのうち31%が不合格
- マーテック・マーケティングプラットフォーム：診断済みの201ページのうち33%が不合格
- デジタルヘルス・ヘルステック：診断済みの128ページのうち34%が不合格
- メンタルヘルス・ウェルネス：診断済みの117ページのうち35%が不合格
- SaaS・クラウドソフトウェア：診断済みの188ページのうち36%が不合格
改善方法
- robots.txt を開き、引用されたいページで、この項目が名前を挙げているAI検索クローラー（OAI-SearchBot、PerplexityBot、Claude-SearchBot、Claude-User、Bingbot、Googlebot と、診断結果に載っているその他のクローラー）のどれにも Disallow が当たっていないことを確認します。学習用クローラーをブロックしたい場合は、別の行で指定します。
- AI回答に使われることを期待するページからは、noindex、nofollow、noarchive を外します。
- href="#" と javascript: のリンクを実際の URL に置き換え、そのページから自サイトの他のページへのリンクを増やします。
- canonical はそのページ自身の URL に向け、robots.txt に Sitemap の行を追加します。
- doctype、html 要素の lang 属性、charset を宣言します。
この項目の変更履歴
- 診断基準バージョン 2026-08-10
- 診断基準バージョン 2026-07-07：カテゴリ内の配点が20%から65%に変更
5件のバージョンは、個々の項目に対応づけられない変更を記しているため、そのいずれかがこの項目を変えた可能性があります。それらは完全な変更履歴に掲載しています。