×
固定報酬制
|
540,000円
|
---|---|
納品完了日
|
- |
掲載日
|
2018年11月28日 |
応募期限
|
2018年12月05日 |
必要なスキル
|
応募した人 | 3 人 |
---|---|
契約した人 | 0 人 |
募集人数 | 1 人 |
気になる!リスト | 15 人 |
1.以前募集を見ていただいた方向け *前回との相違点 ・(既存のツールを採用すれば)スクレイピングツールの開発が不要。 ・各在庫元の分析作業不要 ・価格改定ツールの開発が不要。 ・自動発注機能の削除。 ・自動メール送信機能の削除。 2.依頼内容 ・「既存若しくはオリジナルのスクレイピングツール」でとAPIiで自動更新するデータベースの作成とクラウド環境の構築 ・上記のテスト設計(単体テスト-結合テスト-総合テスト-受入テスト) ・上記のツールの即使用可能な環境構築(サーバーの選定やプログラムの稼動検証等 ・上記のツールのシステム監視・保守・障害復旧対応 *特に全体の冗長化についてもご提案願います。 3.ご提案の仕方 ご提案いただきたいシステムのは大きく以下の2パターンを想定しています。 ①「既存のスクレイピングツール」+「IPローティション環境」+「データベース」 ②「オリジナルのスクレイピングツール(IPローティション環境)」+「データベース」 4.既存スクレイピングツールについて 「octopus」 http://jp.octoparse.com/ *上記以外のサービスを提案若しくは自作されても以下の条件に当てはまれば可です。 ・Api対応であること。 ・IPをローティションしてアクセスすること。 ・並行して複数のサイトにアクセス可能であること。 ・下記2タイプの設定が両方可能か、若しくは②に該当するサービスであること ① 固定のURLに送りページ回数を指定=1設定×100設定(クローラー)までとするサービス ② 単純にURLリスト(csv)を読み込ませる=1設定×10設定(クローラー)までとするサービス 5.自作のIPローティション環境について ・IP追加変更が簡易であること。 ・無関係の10~100以上のIPアドレスをローティション。 ・並行タスク数50個以上。 【注意】octopus採用をベースに仕組みを提案される場合はローカルマシンに置く前提ならば同時稼働数に制限はないので クラウド上にダウンロードして、IPローティションと組み合わせとなります。 ・アクセスのインターバルの設定(10秒から1分) ・クラウド上での24時間運用。 ・IPを効率的にローティションすること。 例えばABCDEの5つのアクセス先があり、IPが10個でローティションするとする。 仮にBでローティションするIPがエラーになった際にエラーになったIPはBを アクセス先から外してACDE間のみローティションを行う。 6.データベースとのAPI連携 スクレイピングツールで収集したデータを自動で取込んで更新するデータベース ・クラウド上にデータベースを置いて自動更新すること。すぐ稼働できる状態での引き渡し希望 ・データベースの登録商品数は300万件以上に上る為、滞りなく処理できること。 ・データベースは常に最新のバックアップを更新し、有事に迅速に切替えられること。 7.想定する処理フロー 1.スクレイピングするURLを(1)データベース及び固定URLリストから自動抽出 2.既存のスクレイピングサービス(api対応)に自動反映 3.スクレイピングツールから更新情報を自動抽出 4.データベースに自動反映 5.データベースから最適化した情報を自動抽出 8.提供資料 ・データベースの雛形(*簡単な関数で作成したもの) |
特記事項 |
---|
|
クラウドワーカー | 応募日時 |
---|---|
Adachi.stand | 2018/11/29 22:59 |
noma3 | 2018/11/29 13:36 |
bfujii | 2018/11/29 10:10 |