クローラーの制作とクローラーを活用したデータ収集について（1サイト）

【相談項目】
・クローラーの言語について --> Python 3

・相場観 --> 直接公募して入札希望者に見積額を提示してもらい確認・検討する

・その他クラウドワーカーを選ぶ基準 --> 過去の評価実績・価格・納期・作業契約条件等々

あと、わかっていると思いますが一応言っておきます。

クローラーは場合によっては「著作権法」に引っかかります。
具体的には下記の３つです。

・複製権
・翻案権
・公衆送信権

私的使用の範囲内の複製、使用目的によっては著作権者の承諾の必要はありませんが。
そうでなければ基本的に著作権者の承諾が必要です。


具体的には「著作権法　第４７条の６とそれに関連するする政令」等を確認すると良いです。　また、運用にあたり顧問弁護士等にも確認を取られるのをお勧めします。


著作物が自由に使える場合
http://www.bunka.go.jp/seisaku/chosakuken/seidokaisetsu/gaiyo/chosakubutsu_jiyu.html

当然ですが、用途が違法になるような場合には依頼できません。
公募する時はその辺りも明確に提示しておきましょう。

クローラー・スクレイピングは対象サイトの仕様変更で動かなくなるので継続的なメンテが必須です。
これを何万回言っても理解できな人ばかり。動かなくなってから泣きついてきても遅い。

ずっと見ていれば変更されてもすぐに修正できる。
時間経ってから修正を依頼されてもすぐには修正できない。
さらに元々の開発者とは別の人に依頼とかは最悪の方法。
クラウドワークスとかスキルの低いエンジニアばかりなのでとんでもなくひどいプログラムで他人には全く修正できない。
全部作り直したほうが早い。