スクレイピングツールのお見積り依頼業務システム・ソフトウェアの仕事の依頼

レベルアップ

5.0 (2件のレビュー) 本人確認済み発注ルールチェック未回答

クラウドワークスで発注するにあたり、必要な知識・ルールを確認するためのチェックテストです。
もっと詳しく

仕事の概要

固定報酬制	ワーカーと相談する
納品完了日	-
掲載日	2018年06月27日
応募期限	2018年07月08日

応募状況

応募した人	13 人
契約した人	0 人
募集人数	1 人
気になる！リスト	10 人

この仕事に応募したクラウドワーカーを見る

仕事の詳細

Webサイトスクレイピングツールのお見積りをお願いします。
以下のようなクローリングツールを作成する必要があり現在処理を検討しています。

現在はGASで実装しているのですが、Googleの制約があるためかゆいところに
手が届かない状況なので、GAS以外での作り直しを検討しています。

対象は海外のアパレルサイトになります。

■スクレイピング対象サイト（一部）
１．https://goo.gl/qZaYSF
２．https://goo.gl/83inHU
３．https://goo.gl/PrfcD8

処理の概要は、一覧ページのURLを指定するとその一覧ページに含まれる詳細ページ内の
商品情報を抽出して、商品ごとにフォルダに保存するイメージです。
・抽出情報：商品画像、商品名、金額、説明など

上記に加えて、追加したい機能が以下になります。

■追加機能（かゆいところ）
１．クローリング処理の複数実行（Aサイト、Bサイト同時に実行）
２．処理の連続実行（GASは1処理6分の制約があるため）
３．クローリング済の情報をDBに保存して重複処理しない
４．処理の日時実行（CRON）
５．完売商品の検知

実装言語・サーバーは自由で構いませんが、サイトからIP BANされる可能性もあると思いますので、
その前提でサーバーはクラウドにするなどの考慮が必要かなぁと思っています。

お見積りと開発期間をお教えいただけますと幸いです。
・対象サイトによって工数が前後すると思いますので、そこは1サイトあたりでお見積りください。
・お見積りの際に構築内容の想定もお教えください。

よろしくおねがいします。

クライアント情報

サイト構築
コンテンツ制作
システム開発
その他IT活用のコンサル等

レベルアップの詳細を見る

最近応募したクラウドワーカー

クラウドワーカー	応募日時
malor	2018/07/08 23:13
（退会済み）	2018/07/08 20:39
ksii0105	2018/07/08 01:48
dovelive	2018/07/04 20:35
000_hivetool	2018/06/28 23:04
べるくす	2018/06/28 19:29
Adachi.stand	2018/06/27 20:19
BestForYou	2018/06/27 17:19
webdevel	2018/06/27 14:54
crowd_crow	2018/06/27 11:36
（退会済み）	2018/06/27 10:47
rikikuchi	2018/06/27 10:27
yokky3	2018/06/27 09:33

スクレイピングツールのお見積り依頼 業務システム・ソフトウェアの仕事の依頼