診断精度98%は、書類を確認していなくても出せる数字でしたRE-AI開発日誌 #008

STEP3の診断精度は、書類の中身を一つも確認していなくても、チェック欄に印を入れるだけで98%まで到達していました。何を確認したかではなく、確認したと申告したかどうかで数字が決まっていたということです。

何を変えたのか

RE-AIのAI診断には、入力する情報が増えるほど上がっていく「診断精度」という数字があります。STEP1（簡易診断）は書類なしで物件情報を入力するだけの段階、STEP2（精密診断）は空室率や運営費などの数値を追加する段階、STEP3（契約前診断）はレントロール・インスペクション・確認済証・検査済証・境界確定・アスベスト調査・PCB調査・越境確認など、契約前に確認すべき9項目をチェックする段階です。

2026年7月10日、このSTEP3の診断精度の算出方法を作り直しました。それまでチェックボックスへの自己申告だけでカウントしていた9項目を、書類に記載された実データを入力しない限りカウントしない仕様に変更しました。

以前はどう考えていたか

STEP3を設計した当初は、「レントロールを確認した」「アスベスト調査をした」という項目にチェックが入っていれば、それは確認が済んだということだと考えていました。診断精度・投資家保護AIのスコアも、このチェックの数だけを見て計算していました。9項目すべてにチェックが入れば、診断精度は98%まで上がる仕様でした。

何が問題だったのか

チェックボックスは、確認した「事実」ではなく確認した「申告」でしかありません。レントロールの実際の家賃合計を入力しなくても、確認済証の交付年を入力しなくても、チェックさえ入れれば同じ98%に到達できました。

さらに、STEP2で空欄のままにした項目は、AIが市場データから自動推定して埋める仕様になっていましたが、この自動推定された値までユーザーが入力した項目として診断精度の充足率にカウントされていました。ユーザーが何も入力していなくても、AIの推定によって数字だけが底上げされる状態でした。

同じ頃、STEP1側にも表示と実態のずれがありました。トップページには「診断精度 約70%」と書いていましたが、STEP1の必須項目はほぼ全てが入力必須かデフォルト値で埋まる仕様だったため、実際の利用では常に上限の75%になっていました（2026年7月8日に修正）。

なぜ変更したのか

「良い指標が並んでいる」ことと「良い診断である」ことは別だと考えるようになったからです。契約前診断という名前がついている以上、この数字は投資家が最後にリスクを確認するための材料になります。確認した「つもり」で数字が上がる設計のままでは、投資家保護という機能の名前自体が実態と合わなくなると判断しました。

実際にどう改善したのか

STEP3の9項目それぞれに、書類記載の実データ入力欄を追加しました。レントロールなら月額賃料合計、確認済証・検査済証なら交付年、境界確定なら測量年、アスベスト・PCB・越境なら調査結果です。チェックを入れた場合は、この実データの入力を必須にしました。

診断精度と投資家保護AIのスコアは、チェックと実データの両方がそろった項目だけをカウントするよう変更しました。AIが自動推定で埋めた項目は、充足率の計算から除外しています。

レントロールの実データは、STEP1で入力した満室想定年収と突き合わせ、15%以上の乖離があれば警告を出すようにしました。アスベスト「使用あり（未対応）」・PCB「使用機器あり（未対応）」・越境「あり（覚書なし）」など、確認した結果「問題あり」だった場合は、確認済みであってもスコアを減点する処理も加えました（それぞれ8点・5点・5点の減点）。

表示文言も実態に合わせ、STEP1「診断精度 約70%」→「最大75%」、STEP2「90%以上」→「最大92%」、STEP3「98%」→「最大98%」に修正しました。ウィザード画面・トップページ・FAQの3箇所です。この変更を確認するテストも14件追加しました。

やってみて分かったこと

表示を「約70%」「98%」から「最大75%」「最大98%」に変えたことで、この数字が自動的に到達する目標ではなく、実データの裏付けがあって初めて到達する上限であると示せるようになりました。

以前は、チェックが入っていることを「確認済み」と同じ意味で扱っていました。今は、チェックは確認する意思表示にすぎず、根拠となる実データがなければ確認したことにはならない、という前提で数字を作るようにしています。

まだ解決していないこと

実データ入力を必須にしたことで、STEP3まで進んでも診断精度が98%に届かないケースは増えているはずですが、その頻度は追跡できていません。レントロールの乖離警告（15%以上）がどれくらいの頻度で出ているかも、現時点では計測していません。

次に試すこと

融資AI・価格査定AI・リスクAIなど、他のAIエージェントの採点ロジックにも、「前提が成立しない入力では加点しない」という同じ考え方を当てはめられる箇所がないか確認していく予定です。実際、この2日後には融資AIについても同様の見直しを行っています（全額現金購入で満点になっていた問題、RE-AI開発日誌 #003）。

STEP3で確認する9項目の多くは、不動産売買の重要事項説明の内容と重なります。重要事項説明書で見落とすと危ない7項目ではこの観点を扱い、収支計算全体の考え方は収益物件の収支計算完全ガイドにまとめています。スコアの信頼性という点では、全額現金で買うと、融資AIが満点をつけていましたや統合AIコメントの平均46%が、実は同じ文章になっていましたも同じ問題意識から生まれた修正です。

今回変更したSTEP3の診断は、現在の無料診断から確認できます。