分析傾向AI比較実験突然ですが、今回は簡単な実験をレポートしてみたいと思います。弊社では業務でsimilarwebを活用しています。お客様サイトと競合サイトの比較分析や、特定のキーワード群のトレンド分析、SEO対策検討などです。今回はCHAT-GPTの25年3月〜5月のサイト流入キーワードデータから・CHAT-GPTご本人（4oを使用）・GEMINI（2.5Flashを使用）・CLAUDE（ Sonnet4を使用）それぞれに同じプロンプトで分析を依頼したらどうなるのか？を見てみたいと思います。使用プロンプト以下は今回の実験に使用するために用意したプロンプトです。簡単に作ったものなので、データクレンジングや細かい出力指示などは省いています。もし使えそうならご自由にコピペして試してみてください。#前提条件- UserはマーケティングやSEOに関する実務を担う専門家である。- 分析対象は、特定WEBサイトにおける直近3ヶ月間の検索キーワード変遷データであり、CSVファイルにて提供される。- ASSISTANT（あなた）は検索行動分析、トレンド抽出、施策提言に精通したデジタルマーケター／SEOアナリストである。 #ゴールと変数の定義 - ゴール：指定されたCSVデータに含まれるキーワード情報の変遷から、全体傾向、特徴的パターン、仮説、施策示唆を導出することである。 - 変数： ・キーワード（A列） ・クリック数（B列） ・Traffic（C列） ・変化傾向（D列） ・Organic/Paidの割合（E列、F列） ・デバイスシェア（G列、H列） ・検索意図カテゴリ（I列） ・検索回数、月次平均（J列、K列） ・ゼロクリック率（L列） ・順位と変動（M列、N列） ・上位表示URL（O列） ・SERP機能の有無（P列） #手順の実行プロセス- [C1] UserがCSVデータをアップロードする。 - [C2] データを読み込み、欠損・異常値を処理しながら整形する。 - [C3] 以下の観点で傾向・特徴を抽出する： ・全体的な検索意図の分布と変動傾向 ・大きな順位変動・クリック変動を示すキーワード群の抽出 ・デバイス（PC/モバイル）別・Organic/Paid別の偏りと推移 ・検索ボリュームと実際のクリックの乖離（ゼロクリック含む） ・上位URLやSERP機能との関連性 - [C4] 各観点ごとに仮説と施策示唆をパラグラフ構造で提示する。- [C5] Userからの指示に応じて、特定キーワード群の掘り下げや視覚化（チャート）を実施する。 #出力形式 - パワポ転用可能なインサイトレポート構成（見出し＋要点＋理由・仮説）- 「傾向 → 特徴 → 仮説 → 示唆」の4段階構成で要点整理 - 必要に応じて：キーワード一覧表、トレンド上昇ワードランキング、変化率上位などを表形式で提示 #制約事項- 実行にはCSVファイルのアップロードが必要 - 不足する分類情報（検索意図やSERP機能の定義など）は補足指示がない限り仮分類として処理- 特定URLの中身や意図までは深掘りしない（外部情報に依拠する） - 出力内容は確率的推定に基づく仮説であり、断定的な判断は控える以下それぞれの結果です。長くなるので別ページに分けています。・CHAT-GPT(4o)https://brand-engineering.net/knowledge/7dk_glhT・GEMINI(2.5Flash)https://brand-engineering.net/knowledge/GkOcP8Zj・CLAUDE(Sonnet4)https://brand-engineering.net/knowledge/yss7Ye_3結論！結論から言うと、今回のプロンプトではCHAT-GPTが一番正確で個人的には読みやすい処理でした。他のAIは他にも取り上げるべきキーワードや数値があるのに見逃しているケースが多く見られ、正確性はGPTに劣るイメージでした。ただ、モデルを変更したり、データをしっかりクレンジングしておいたり、プロンプトを作り込んだりすればまた違った結果になるかもしれません。一旦ざっくりデータ傾向を把握したい場合はCHAT-GPTを使っておけば問題ないかと思いますが、全てが完璧に処理分析される訳ではないので最後は他の人のチェックやご自身の感覚と相違ないかなど確認した方が良いかと思います。それぞれの結果をCHAT-GPTにも分析考察させてみたせっかくなので各AIの結果をGPTにも考察してもらいました。皆さんも色々実験をしてみてはいかがでしょうか？YouTubeなどでモデルの違いなど解説されていますが、自分で使ってみた方が実感できることも多いかと思います。🔬AI分析ツール比較実験レポート：ChatGPT・Gemini・Claudeによるキーワード変遷分析の出力差異【1. 実験の目的】生成AIを用いたマーケティングレポート自動化の可能性を検証するため、同一のプロンプト条件とCSVデータをもとに、ChatGPT（GPT-4o）、Gemini、Claudeに「ChatGPT関連キーワードの変遷分析（直近3ヶ月）」を依頼。各モデルの出力傾向・構成・仮説生成の違いを比較し、実務における活用可能性と留意点を明らかにすることを目的とした。【2. 実験設計】使用プロンプト：事前に統一した構造化プロンプト（目的／観点5分類／出力形式／制約条件）を用意入力データ：同一のSimilarweb由来CSV（ChatGPTドメインの検索キーワード変遷データ）出力媒体：Word文書（Gemini／Claude）とChatGPT上での出力を比較分析観点：以下5分類で出力を依頼検索意図の傾向と変化クリック・順位変動キーワードの抽出と示唆デバイス別／流入チャネル別の傾向CTR／ゼロクリック率の分析と解釈SERP機能と上位URLの関係分析【3. 比較観点】本レポートでは、「ツールの性能差を明示する」ことを重視し、以下5つの視点で比較を行った：観点検証の主旨① 分析の正確性実データの数値・変化率に基づいた分析か／仮説に裏付けがあるか② 構造の一貫性と明瞭性出力がパラグラフ構造で読みやすく、論理的に構成されているか③ 仮説と施策の実用性出力が施策検討や企画設計に転用しやすい粒度か／現実的かつ具体的か④ SEO・マーケ視点の深さ表層的な観察ではなく、SEO施策やマーケティング実務に耐える分析があるか⑤ 発見の独自性特徴的な気づき、ユーザー視点・SERP挙動などへの深い解釈が見られるか【4. 出力内容の比較と評価】🔹① 検索意図分析（傾向と変化）モデル概要評価ChatGPTInformationalの圧倒的な多さに加え、ユーザーの深化ニーズとブランドリピーターの混在構造まで仮説化✅深く正確Geminiブランド系キーワードの減少と「生成AI」などジェネリックワードの台頭に注目◯現象は把握Claude実用フェーズへの移行、指名検索と探索検索の併存状態を明確化◯丁寧だが定性的🔹② クリック・順位変動の分析モデル概要評価ChatGPTGPTs名や誤字検索など細かいタイプまで網羅。急増・急落の裏にある検索文脈の変化まで考察✅網羅的かつ洞察的Geminispicy writerやchatgpt 無料などを取り上げ、GPTs利用ニーズと誤字対応を示唆◯要点抽出は良いClaudeトレンド上昇ワードとタイポ減少を対比し、検索リテラシーの向上を仮説として提示◯仮説主導型🔹③ デバイス／チャネル別傾向モデル概要評価ChatGPTPC偏重の背景に「作業的利用」「法人利用」を想定。モバイル比率の高い機能も検出✅文脈・用途理解が深いGeminiPC主流・オーガニック主体を把握しつつも、具体的な施策展開には踏み込まない△表層止まりClaudeビジネス用途や作業効率の視点でPC環境優位性を詳述◯的確だが汎用的🔹④ CTR・ゼロクリック分析モデル概要評価ChatGPT翻訳や天気などのクリックしないキーワードを具体例で提示。SERP完結型ワードの分類も精緻✅分類精度が高いGeminiゼロクリック率の高さを強調し、機能クエリでの完結傾向に触れるが数値裏付けは弱い△やや抽象的Claude情報完結キーワードを「料金」「使い方」などで例示。構造化データによる対策を示唆◯提案は有効🔹⑤ SERP機能と上位URL分析モデル概要評価ChatGPTSERP内での表示多様化（動画／関連質問／スニペット）の構造を理解し、URL戦略も内部リンクまで言及✅戦術的視点が豊富GeminiGPTs別URLやSERP機能（AI overview含む）を定性的に分類△浅めClaude分散型集客、SERP内競争の構造化理解あり。画像・動画まで含む面積最大化戦略を提示◯粒度は十分【5. 総合所見（結論）】最も定量精度と実務応用性が高かったのはChatGPTである。→ 実際の数値計算・CTR算出・トレンドランキング等が正確に抽出されており、出力の粒度・読みやすさ・仮説の質が高かった。Claudeは仮説思考と丁寧な構成が強みだが、数値的裏付けにはやや欠ける。→ 実用コンテンツ設計向きだが、出力のやや長文化や抽象性は注意点。Geminiは要点抽出は早いが、読み取り精度と深掘りの弱さが残る。→ フラットでまとめやすいが、施策レベルに落とし込むには追加加工が必要。📝活用へのヒント利用目的推奨ツール理由数値をベースにしたSEO戦略立案ChatGPT正確な変化率／CTR／流入構造の算出が可能コンテンツ案の初期発想Claude実用的な構成提案や見出し案に強く、思考整理に向くレポート雛形や概略抽出Gemini要点を素早くサマライズする点で軽量タスクに適する#ライターの紹介-横内 圭介（Musubi Inc.）：調査・分析、戦略〜施策の立案と実行まで担当略歴 ##略歴"""-総合商社にて、主に製造業を中心としたマーケティング・営業を担当。15年以上に亘り、国内外メーカーの海外進出支援や営業・マーケティング戦略の立案から実行までを行う。2015年にMusubi Inc.を設立してから全く畑の違うブランディングの業務に従事。製造、建設、サービス、銀行、飲食、ホテル、運送、流通、リサイクルなど多くの業界を担当し、様々な領域の課題可決をコンサルタントとして担当している。ここ1年ほど様々なAIツールに触れ自身の業務効率が格段に上がったことから、兼業でブランディングやマーケティング業務を担われている方などに向けて情報発信できたらなと考えています。兼業でなかなか時間が割けない＝ブランディング・マーケティング活動ができないといった方々に少しでも役に立てればと思っています。"""