23記事分のAI統合コメントを見比べたら、平均46%が同じ文字列でした。文章力の問題だと思っていましたが、原因は文章の外にありました。
何を変えたのか
RE-AIの診断結果には、収益性AI・融資AI・リスクAIなど複数のAIエージェントの判断をまとめた「統合AIコメント」が表示されます。今回、このコメントを生成する仕組みを作り直しました。変更点は大きく3つです。各AIが算出した数値と判断根拠をコメント生成側に渡すようにしたこと、文章の型を「結論・根拠・次の一手」の3段落に変えたこと、免責文を本文から分離したことです。
以前はどう考えていたか
これまでは、コメントの品質を「型」で担保しようとしていました。プロンプトには「1段落250〜350字」「『本物件は』のような書き出しにすること」といった指定を入れており、これで一定のトーンと読みやすさが保てると考えていました。
何が問題だったのか
実際に生成済みの23記事分のAI統合コメントを比較したところ、平均46%が同じ文字列で構成されていました【開発記録】。表現を変えても、内容の抽象度がどれも同じ水準になっていたということです。
なぜそうなっていたのか
原因を確認すると、2つありました。
1つ目は、コメントを生成するAIに渡していた情報が「名前・スコア・総評」だけだったことです。各AIエージェントが計算していた実質利回りや損益分岐空室率といった具体的な数値、そしてその判断に至ったreasons(根拠)は、呼び出し側で捨てられていました。材料がないので、生成側は「収益性AIが48点」のようにスコアを言い換えるしかなく、結果として似た文章になっていました。
2つ目は、プロンプト側の指定そのものが均一さを強制していたことです。段落の文字数と書き出しの形式を固定していたため、どの記事も同じ長さ・同じ書き出しになるのは、ある意味で仕様通りの結果でした。
実際にどう改善したのか
各AIのmetrics(実質利回りなどの数値)と、reasonsのうち重要な3件をコメント生成側に渡すよう変更しました。あわせて、プロンプトの構成を「結論・根拠・次の一手」の3ブロックに変え、書き出しの形式指定はやめました。数値は「月々いくら」のように体感できる形に翻訳させています。
自由度を上げた分、ガードレールも追加しました。入力に存在しない数値を創作しないことに加えて、検証中に実際に見つかった問題への対処として、「条件付き購入」を「購入を推奨しない」のように、最終判断ラベルより強い表現へ言い換えることも禁止しています。
示されていない数値の創作は禁止する。最終判断のラベルより強い表現へ言い換えることも禁止する。
変更後は実データ4件でコメントを生成し、出力された数値がすべて入力側に存在することを確認しました【開発記録】。また、300字のコメントのうち3分の1ほどを占めていた免責文は本文から切り離し、表示側で注記として別に出すようにしました。
やってみて分かったこと
似たような文章が並ぶのは、文章の書き方の問題ではなく、AIに渡す材料が足りないことが原因でした。プロンプトを工夫する前に、そもそも何を渡しているかを疑うべきだったというのが、今回の一番の学びです。
もう1つは、自由度を上げるほどガードレールの設計が重要になるということです。表現の幅を広げた瞬間に、意図しない言い換え(条件付き購入→購入を推奨しない)が実際に発生しました。これは検証をしていなければ気づかずに公開していた可能性があります。
まだ解決していないこと
過去に生成・保存済みのコメント(ブログへの転載記事など)は、この仕組みでは作り直していません。表示時に定型文だけを取り除く対応をしていますが、根本的な再生成はまだ行っていません。また、コメントの内容が変わったことで、読了率や登録率にどう影響するかは、これから確認する段階です。
次に試すこと
過去コメントの再生成を範囲を決めて進めることと、コメントの構成変更が実際の診断結果への納得感にどう影響するかを追うことを考えています。
今回変更した統合AIコメントは、無料診断から実際の表示を確認できます。
前回までの流れ
RE-AI開発日誌では、これまでも診断ロジックの前提が実態とずれていた事例を記録してきました。前回は、全額現金購入という入力によって融資AIが実態と異なる高評価をつけていた問題を扱っています。全額現金で買うと、融資AIが満点をつけていましたもあわせてご覧ください。
あわせて読みたい
この記事をシェアする
この記事を書いた人
鈴木基公
RE-AI開発者・不動産投資分析サービス運営者
1件の物件を買うか判断するために、4時間。 場合によっては、答えが出るまで何日もかかる。 その間にも、良い物件は他の投資家に買われていきます。 「分析に時間を使うのではなく、判断に時間を使うべきではないか。」 この疑問から開発したのが「RE-AI」です。 数時間かかっていた分析をAIがサポートし、投資家が本来やるべき『比較・現地調査・意思決定』に時間を使える環境を目指しています。
関連記事
外部データが揃う前に、AIはコメントを書き始めていました｜RE-AI開発日誌 #014
2026/8/17
全額現金で買うと、融資AIが満点をつけていましたRE-AI開発日誌 #003
2026/8/1
熊本の検証物件で、家賃単価が本来の5分の1になっていました｜RE-AI開発日誌 #011
2026/8/12
正直に言うと、良いAIを作れば自然に売れると思っていましたRE-AI開発日誌 #002
2026/7/30
同じ「借入ゼロ」が、シナリオ比較でまた100点を出していました｜RE-AI開発日誌 #013
2026/8/14
サイトマップが7時間動かず、公開した記事が検索から見えなくなっていましたRE-AI開発日誌 #006
2026/8/10
18日前に直したのと同じ抜け穴が、別のAPIにも残っていました｜RE-AI開発日誌 #012
2026/8/13
住所を1文字間違えただけで、査定価格が740万円動いていましたRE-AI開発日誌 #005
2026/8/8