SEO探偵 クローリーSEO Crawler

使い方ガイド

SEO探偵 クローリー の基本操作をひと通り解説します。各画面はクロール後に上部のナビゲーションから切り替えます。
※ 掲載の画面はすべてサンプル（架空のデモサイトのデータ）です。

はじめに（起動）

  1. ダウンロードした SEO-Crawler.exe を起動します。
  2. 専用ウィンドウ（またはブラウザ）でツールが開きます。インストール不要です。
  3. 初回のセキュリティ警告が出たら「詳細情報 → 実行」で起動できます。

現在は Windows 版のみを提供しています（macOS 版は準備中）。データはすべてあなたのPC内に保存され、外部送信されません。

新しいクロール

Dashboard の「New Crawl」から開始します。モードは2種類：

  • Spider（Crawl site）：開始URL（seed）からリンクを辿ってサイト全体を巡回。
  • List（Analyze URLs only）：貼り付け／.txt 取り込みした指定URLだけを解析（リンク追跡なし）。

URLを入れて Start Crawl を押すと開始します。List モードは URL を CSV 出力したり、URL テーブルで選択したものを送り込めます。

クロール設定の意味

  • Max Pages：取得する最大ページ数の上限。
  • Max Depth：seed からのリンク深さ（0 = seed のみ）。Spider のみ。
  • Concurrency：同時取得数。大きいほど速いが負荷大。
  • Rate Limit (req/s)：1秒あたりの最大リクエスト数。相手サーバーへの配慮。
  • Respect robots.txt：robots.txt の許可/拒否に従う。
  • User Agent：Googlebot / Chrome 等を選択、または任意指定。
  • Crawl scope (XPath)：リンク抽出を指定DOM内に限定（例 //main）。ヘッダー/フッターのリンクを除外したい時に。空＝ページ全体。
  • Custom Extraction (XPath)：任意のXPathで独自データを各ページから抽出し、URLテーブルに列追加。

既定値（Max Pages/Depth/Concurrency/Rate Limit）は ⚙ 設定の「Crawl defaults」で変更でき、次回以降の初期値になります。

クロール中の操作

  • ライブフィード：取得したページがリアルタイムで流れます（# / Status / URL / Title / Time）。
  • 進捗バー：おおよその進捗・残り時間（ETA）・速度（pg/s）を表示。
  • Start / Elapsed / End：開始時刻・経過・終了時刻。
  • Pause / Resume / Stop：一時停止・再開・停止。停止後すぐ再クロールも可能。

クロールを開始すると、自動的に URL テーブルでそのクロールが選択され、結果が見られるようになります。

ダッシュボード / 履歴

下部の「Crawl History」に過去のクロールが一覧表示されます。

  • View：「All crawls」と「Group by domain」（ドメイン別グループ・折りたたみ）を切替。
  • View ボタンでそのクロールを開き、Delete で個別削除、Delete All で全削除（IDも1から振り直し）。
ダッシュボード画面

URL テーブル

ページ単位の一覧です。上部のコントロールで絞り込み・表示を調整します。

  • クロール選択：最新が自動選択。切り替え可能。
  • View（フォーカスビュー）：Overview / All / Canonical / Headings / Meta & Title / Social(OG) / Indexability / Custom を切替。表示列が変わります。
  • 検索 / Status フィルタ / 行数：URL検索、ステータスコード絞り込み、1ページ件数（25〜500）。
  • ヘッダー固定：スクロールしても列名が追従。
  • 行クリック：そのページの詳細（基本情報・inlink/outlink・リダイレクト）をモーダル表示。
  • 選択 → List：チェックして「Selected → List」で List モードへ送り込み。
  • Export CSV：画面のフィルタ条件のまま全件をCSV出力。
URL テーブル画面

パターン

ID違いの類似URLを /shop/view/{id}/ のようにパターン化してまとめます。

  • 各パターンの件数・ステータス・代表URLを表示。
  • パターン名クリックで、そのパターンの全URLを URL テーブルに絞り込み表示。
  • 行を展開すると所属URLを10件ずつ確認（各URLのステータス付き）。
パターン画面

画像

クロールで見つかった全画像を一覧します。

  • サムネイル / 画像URL / alt / alt有無 / 参照元ページ。
  • All / Missing alt タブで alt 欠落だけ抽出。
  • View: By pattern：画像URLをパターン化して集約（拡張子以降のパラメータは無視）。展開で各画像＋参照元ページ。
  • サムネイルクリックで画像全体を拡大表示（ライトボックス）。
  • Export CSV 対応。
画像画面

比較（Compare）

2つのクロールを左右で突き合わせ、差分を表示します。

  • Crawl A vs Crawl B を選択。既定で A=1つ前 / B=最新。
  • 各URLを Added / Removed / Changed / Same に分類。サマリーとフィルタ付き。
  • 比較項目：Status / Title / Meta説明文 / H1 / Canonical / Indexable / Robots / OGタグ。変更は 旧 → 新 で色分け。
  • Export CSV 対応（各項目の A/B 値）。
比較（Compare）画面

Issues

SEO上の問題を集計します。

  • title欠落 / 長すぎ・短すぎ / meta説明欠落 / H1なし・複数 / canonical不一致 / noindex / alt欠落 / 低速 / 4xx・5xx など。
  • 件数のある項目をクリックすると、該当ページを URL テーブルで一覧（関連ビューに自動切替）。
  • 壊れたリンク・リダイレクト連鎖も表示。
Issues 画面

カスタムルール（独自の検知設定）

組み込みのIssuesに加えて、自分だけの検知条件を作れます。Issues画面の「カスタムルール」から フィールド + 演算子 + 値 を選んでルールを追加します。

  • 対象フィールド：タイトル長 / メタ説明 / ステータスコード / 応答時間 / H1数 / alt欠落画像数 / canonical / インデックス可否 など。XPathカスタム抽出した独自フィールドも選べます。
  • 演算子：数値は > ≥ < ≤ = ≠、テキストは 含む / 含まない / 完全一致 / 空 / 正規表現、真偽は はい / いいえ。
  • 各ルールに現在のクロールでの該当件数が表示され、件数をクリックすると該当ページをURLテーブルに絞り込み表示します（組み込みIssuesと同じ操作感）。
  • 作成したルールはこの端末（ブラウザ）に保存され、別のクロールでもそのまま再利用できます。各ルール名の前に「Custom」タグが付きます。

本文テキストはクロール時に保存していないため、本文中の文字列を対象にしたルールは作成できません（タイトル・メタ・見出しなどのメタ要素は対象にできます）。

カスタムルール画面

AI Bots（AIクローラ許可状況）

ChatGPT・Claude・Perplexity・Google-Extended などのAIクローラが、対象サイトの robots.txt で許可されているかブロックされているかを一覧で点検します。AI検索（GEO/LLMO）時代の可視性チェックに使えます。

  • 上部ナビの AI Bots タブを開き、クロールを選択すると、そのサイトのホストの robots.txt を取得して解析します。
  • 各AIクローラを 許可 / 一部制限 / ブロック の3状態で表示。許可数・一部制限数・ブロック数のサマリーも出ます。
  • ルール根拠：そのボット専用の指定（明示）か、User-agent: * からの継承かを表示。
  • 行をクリックで展開：適用される User-agent グループと、Disallow（赤）/ Allow（緑）の具体パスを全件表示。「一部制限」がどのパスを拒否しているかがその場で分かります。
  • robots.txt が見つからない場合は「全ボット許可扱い」と表示。検出した sitemap も一覧します。

これは robots.txt のポリシー可視化です。ブロック＝問題とは限らず（AI学習を意図的に拒否する場合もあります）、許可がAI回答での引用を保証するものでもありません。判定は対象クロールの開始URLのホストを基準にします。

AI Bots（AIクローラ許可状況）画面

JS依存コンテンツ検出

本文がJavaScript実行後にしか表示されないページを、生HTMLの解析だけで検出します（ブラウザ不要・追加インストール不要）。レンダリングを行わないAIクローラ（ChatGPT / Claude / Perplexity など）には本文が見えない可能性があり、AI検索での露出リスクになります。

  • Issues に 「JS-Dependent Content」として件数が出ます。クリックで該当ページを URL テーブルに絞り込み表示。
  • ページ詳細を開くと スコア（0–100）と根拠を表示：空のSPAマウント要素（#root / #app など）、本文テキストが極端に少ない、noscript のJS有効化案内、フレームワーク痕跡 など。
  • 50点以上で「疑いあり」。サーバーサイドレンダリング（SSR）済みのページは本文が生HTMLにあるため誤検知しません。

これは「確定診断」ではなく強い疑いの提示です。確実な確認には実際のレンダリング比較が必要ですが、本機能はブラウザを使わず生HTMLのシグナルから判定するため、ローカルで軽量に動作します。

JS依存コンテンツ検出（ページ詳細のスコアと根拠）

CSV エクスポート

各画面の「Export CSV」で、画面のフィルタ条件のままCSV出力できます（ページング関係なく全件）。アプリウィンドウ版では保存ダイアログが開きます。

設定（⚙）

右上の歯車から：

  • 表示モード：通常版とクローリー版を切替。クローリー版は探偵クローリーが画面に登場する楽しい見た目で、機能は通常版とまったく同じです。
  • Crawl defaults：New Crawl フォームの初期値（Max Pages / Depth / Concurrency / Rate Limit）。

データ保存 / FAQ

  • 保存場所：Windows %LOCALAPPDATA%\SEO Crawler\。
  • ログ：同フォルダの seo-crawler.log（不具合時はこれを確認）。
  • 起動時のセキュリティ警告：未署名のため。Windows「詳細情報→実行」で起動できます。
  • 停止後すぐ再クロールできます。

← トップへ戻る