物件URLを貼るだけの自動取得機能を、その日のうちにやめましたRE-AI開発日誌 #009

物件情報の入力の手間を減らすために、楽待・健美家・at homeのURLを貼るだけで物件データを自動入力する機能を作りました。ところが本番環境に出してから3時間もしないうちに、この機能はやめることになりました。原因はCloudflareのボット対策で、本番からのURL取得が安定して通らなかったためです。

何を変えたのか

2026年7月25日、物件ポータルのURLをSTEP1フォームに貼り付けると、Claude APIがページ本文を読み取り、価格・所在地・構造・利回りなどの項目を自動入力する機能を実装しました。対象は楽待・健美家・at homeの3サイトです。ところが同じ日の夕方、この機能はPDF・画像アップロードによる抽出に置き換えられました。コミットの記録では16時06分に実装、18時54分に置き換えで、間は2時間48分でした。

最初はURLを貼るだけにした理由

STEP1は物件の基本情報を14〜15項目ほど入力する画面です。ポータルに掲載済みの物件であれば、URLを貼るだけでこの入力を省けると考えました。実装時点のコミットメッセージには、対象ポータルの利用規約が自動収集行為を明示的に禁止していることも記録してあります。規約変更や警告があれば速やかに機能を止めるという前提のうえで、リスクを承知して作った機能でした。

本番で起きたこと

Vercel上の本番環境からポータルのページを取得しようとすると、Cloudflareのボット対策に阻まれて安定して取得できませんでした。開発中に動いていた処理が、本番のネットワーク経由では通らないという壁にぶつかりました。

同じ日のうちにファイルアップロードへ置き換えた

結論として、URLを貼って第三者のページを取得する方式そのものをやめ、ユーザー自身が物件資料のPDFや画像をアップロードし、そこからClaude APIで情報を抽出する方式に切り替えました。取得先が自分のファイルになったことで、ポータルの規約に関する懸念も同時になくなりました。ただしこれは規約対策として最初から狙った設計ではなく、ボット対策という技術的な理由で選んだ方式が、結果として規約リスクも避けられていた、というのが実際の順序です。同じコミットで、STEP1の自己資金額も任意入力から必須入力に変更しています。

置き換えた先にも、別の壁があった

ファイルアップロードへの切り替えから6日後の7月31日、今度は抽出そのものが「物件情報の抽出に失敗しました」というエラーで止まる事象を調査しました。原因は、抽出結果をひとつのスキーマで一括検証していたことでした。総戸数が0になっている、数値が文字列で返ってくる、「RC造」という表記のゆれ、容積率が上限を超えているなど、実測で11パターンの想定外の値が見つかっており、そのうち1項目でも検証に引っかかると、正しく読めていた残り14項目ごと結果が破棄されていました。加えて、失敗時のcatchが空だったため、本番で何が起きているのか記録が残らない状態でした。

この修正では、項目ごとに独立して検証し、想定外の値が出た項目だけをnullにする方式に変更しました。失敗理由もAPIエラー・空応答・パース失敗・データなしの4種類に分類し、Sentryとログに残すようにしています。ログに残すのは失敗の分類までで、資料の中身や読み取った本文そのものは送らないようにしました。

やってみて分かったこと

ひとつは、規約リスクを避けられたのは結果であって、最初から規約を理由に設計を選んだわけではなかったということです。実際にサービスを止めたのは技術的な不安定さでした。もうひとつは、AIによる抽出は「全部合っているか、全部捨てるか」という検証の仕方と相性が悪いということです。15項目のうち1項目が想定外なだけで、正しく読めていた14項目まで失っていたのは、最初の設計で見落としていた部分でした。

まだ確認できていないこと

この修正のあと、ファイルアップロードによる抽出が実際にどれくらいの割合で成功しているかは、この記事の時点で継続的な数値として確認できていません。失敗理由をSentryに分類して残すようにしたので、今後はここから実態を追っていく段階です。

今回のURL取得からファイルアップロードへの切り替えと、その後の抽出精度の修正は、いずれもClaude(Sonnet 5・Opus 5)をペアプログラミング相手にしながら進めました。何を作り、何をやめるかの判断は人が行っていますが、コード変更の実装部分の多くはAIとのやり取りの中で書かれています。

これまでの開発日誌では、住所の入力ミスが査定額を動かしていた話や、診断精度の数字と書類確認の話など、STEP1〜STEP3の入力データにまつわる記録を書いてきました。今回はその手前にある、物件情報そのものをどう取り込むかについての記録です。

現在の物件情報の取り込みは、無料診断のSTEP1にあるPDF・画像アップロードから確認できます。