1. クラウドソーシングTOP
  2. みんなのお仕事相談所
  3. 不動産売出データ 特定サイトよりCSV読込 PDFの図面管理できるようにするには
みんなのお仕事相談所

「みんなのお仕事相談所」では、ユーザーさまのご依頼の相場や製作期間、
契約書やお金に関する悩みを気軽に相談できるQ&Aコミュニティです。
違反案件についてはよくある質問の「【共通】違反のお仕事とは」をご覧ください。
また、違反報告についてはよくある質問の「【共通】違反報告とは」をご確認ください。

発注者からの相談
データベース設計・構築の見積もり・相場に関する相談

不動産売出データ 特定サイトよりCSV読込 PDFの図面管理できるようにするには

回答
受付中
回答数
8
閲覧回数
2265
すぐ知りたい!  : すぐ知りたい!

不動産価格の相場を把握するために
特定のサイトから定期的にCSVデータを読込、特定条件の物件の図面(PDF)を管理できる
データベース設計の依頼を検討しているのですが
何の使って、どのように作成し、どれくらいの費用になるかがわかりません

現在はサイトで対象エリアすべてチェックし
PDF図面をダウンロードし、
履歴はPDFに書込み
フォルダ名及びファイル名で検索できるようにしていますが
合理化できないかと思案中です

下記に要件を書きますので、簡単な見積もりをいただけませんでしょうか。

1.お願いしたいこと

190駅分の売出事例を1ヶ月毎にCSVダウンロード
必要な項目を抽出し過去データと比較
同サイトより図面(PDF)をダウンロード
消去された物件は消去された日時別に管理
価格変更した物件は上書き(価格変更履歴も記載)

2.使っている(使おうとしている)データベース

PDF&エクセル

よろしくお願い致します。

2015年02月23日 15:15
CodeLabさんからの回答

これだけの情報では何とも言えませんが、エクセルとかPDFではちょっと難しいと思います。

CSVのデータ1行ごとに対応するPDFが1つ以上あるということかと思いますので、すべてDB上で管理して、それらをひもづけていけば、管理に関してはそう難しいものでもないと思います。

たとえば、Webアプリにしてサイトの走査やCSVやPDFのダウンロードを自動化。履歴や情報などはブラウザ上で検索して表示するものを作る、ということなら可能です。

これだけの情報だとお見積もりが難しいのですが50万~といった感じだとおもわれます。

詳細連絡いただければお見積もりします。

2015年02月23日 15:32
(退会済み)
(退会済み)さんからの回答

CodeLab様もおっしゃられるように、見積もりの条件が不足しております。
また、あいまいな点もございます。

対象のサイトからCSVデータがダウンロードできるのか
または、webページを分析してCSVに変換するのか?

などです。
私も以前、個人的に不動産投資をしようとおもい、不動産サイトから価格や位置などを情報を
取得するプログラムを作成した経験がございます。
もしよろしければ、お見積りいたします。

正確な金額は打ち合わせ後ですが、CodeLab様と同じ価格感からスタートといったところでしょうか。

2015年02月24日 10:05
yamgonさんからの回答

はじめまして、yamgonと申します。
テトテ様が普段チェックしているサイトを1~2ヶ提示頂けると、CSV、PDFのダウンロードの可能性も含めて検討しやすいのではと思います。
ツールに関してですが、現状のやり方を踏まえ、データの移行も考慮すべきとも思いますので、現状EXCELであればそれをベースにして検討を一緒にできればいいのかなと思います。
要件から受ける感じでは最低10~の作業かなと思われます。

2015年02月24日 13:23
相談者コメント

みなさま、早速のアドバイスありがとうございます。

不動産業者専用のサイト(レインズ)で
サイトからCSVでダウンロード可能です

現状の作業の流れ
*レインズより190駅分の特定事例のみを抽出
*PDF図面を個別にダウンロード
*路線、駅ごとにフォルダを作成、管理
*ファイル名で検索できるようにファイル名に情報を明記
*各駅ごとに既存ファイルと照合し、新規物件は図面を追加保存
*価格変更がある物件はPDF図面の名前変更及び変更期日を図面にメモ書き
*削除された物件は成約フォルダに移動

要望及び課題
入力作業の効率化
*レインズデータがCSVでダウンロードできるので入力作業の効率化ができないか?(2週に1回更新)
*実際に利用時に利用しやすいようにするにはどうすればよいのか?

当方、システムに関して素人なのでお手柔らかにお願いします。。。


2015年02月24日 16:37
yamgonさんからの回答

テトテ様
レインズで検索しましたがいくつかのサイトがヒットしました。
それらしいサイトがわかりません。ひとつIDとパスワードを入力するサイトがありましたが、それでしょうか?
URLをお教え頂けると分かりやすいですが、いかがでしょうか。

2015年02月24日 19:48
相談者コメント

yamagonさま

https://system.reins.jp/

東日本不動産流通機構が運営する
不動産業者専用のサイトなのでIDとパスワードがないと閲覧はできません。。

2015年02月24日 20:24
yamgonさんからの回答

次を自動化できる方法を調査する必要がありますが、なければログインはマニュアル、ダウンロードは自動化など、運用的な検討も必要になります。
・ログイン
・ログイン状態でダウンロード
・コンテンツ情報の取得
ちょっと調べてみますが、よい方法があればまたコメントします。

2015年02月25日 01:45
yamgonさんからの回答

テトテ様

調べてみました。
既存のツールを利用することで実現できそうですが、詳細な事柄まで踏み込んでお話しできないと難しそうです。
個別にご連絡頂ければ、ご相談させて頂きます。

2015年02月27日 12:07
dais.cnsさんからの回答

こんにちは。
本件、一般的にはスクレイピングという手法になります。
スクレイピングは、日本ではまだまだですが、世界的にはかなり利用されていて、
大方のことは実現できます。
が出たとこ勝負というか、やってみないと判らない点も多いのが通常です。
したがって、契約方法として、考慮すべきポイントが多々となります。
A. 時給制での契約が一番好ましいが、支払う側が先を読み辛いのが難
B. 最小コスト(数万円程度)からスタートして、順次追加工数を加算してゆく
C. ある程度の工数を見込んでおいて(10万円程度)、その範囲でできない場合に追加工数を加算する

どれも一長一短で、お客様のご理解と技術者サイドも悪い心の持ち主でないことが要求されます。
(でないと何らかの問題が起こることでしょう)

【実現が難しい場合(ポイント)】
★サイトに自動化への対策がされている場合
 → 例)目視して崩れた文字の英数字などを手入力させるような認証パターン

【大まかなポイント】
※webページで、右クリックして『ソースを表示』としてそこに出てくる情報は、
 プログラムにて取得、解析等できます。ダウンロードも可。
 それを踏まえて、そのロジックが確定さえすれば、プログラムでの自動化が可能。
※通常実施しているマニュアル操作を自動化するため、そのマニュアル操作が詳しく判るような
 資料(スクリーンショットなどを多用するのが判りやすい)が必須。

【工数が掛かってしまうポイント】
★該当ページに javascript などにより、プログラムでの解析に難があるケース
★ログインもしかり、その他、条件入力等にてページ内容が変わったり、他のページへ遷移するケース
★スクレイピング(解析、取得)ロジックに曖昧な点があったり、
 出てくるページの詳細構成がいくつかのパターンに分岐されるようなケース
などなど。

ご参考まで。

2015年03月03日 11:43
dais.cnsさんからの回答

本件、一点補足します。
★該当サイトのページの構成が変更された場合、それまでは正常にスクレイピングできていた
 処理もできなくなる可能性を秘めています。

昨日はできていたのに、今日は。。。。。
ということもあり得ます。その場合のリスクを技術者サイドに振るには、それなりの金額・契約が
必要となるでしょう。
通常は、そうではなく、金額を抑えてそこまでの保証をしない形でジョブとすることが多いかと。
裏を返すと、お客様サイドでそのリスクを認識して、そうなったときの対処を、という事です。

当然ですが、その変更がどれだけ影響するかによって、修正工数は変動します。

取り急ぎ、ご参考まで。

2015年03月04日 00:42
不安や疑問に真摯に向き合い改善につとめます クラウドワークス安心安全宣言