Seleniumを使った天気情報の自動取得業務システム・ソフトウェアの仕事の依頼

a_okada

4.9 (1129件のレビュー) 本人確認済み発注ルールチェック未回答

クラウドワークスで発注するにあたり、必要な知識・ルールを確認するためのチェックテストです。
もっと詳しく

仕事の概要

固定報酬制	ワーカーと相談する
納品完了日	-
掲載日	2017年04月03日
応募期限	2017年04月17日
必要なスキル	Java MySQL selenium Eclipse Solr

応募状況

応募した人	3 人
契約した人	1 人
募集人数
気になる！リスト	15 人

この仕事に応募したクラウドワーカーを見る

仕事の詳細

▽システム開発依頼の目的・概要・Seleniumを使用してブラウザを自動操作し、ページに掲載されている天気情報を自動取得して頂きます。 ▽開発するプログラムの諸注意（必ず守って下さい。）・完全自動運用できる（cron処理：1日1回）・動作途中で止まらない(以下の理由等で停止しない。) -> ブラウザのクラッシュ -> タイムアウト -> Element：NotFound -> Page：NotFound 404 -> プログラムエラー等・常に最後までバッチ処理が完了すること。・動作ログの出力（バッチの実行時刻、終了時刻、取得件数）・上記のことを厳守しCW様ご自身の環境でテストを行い、完全に動作することを確認して下さい。 ▽Selenium実行環境・Ubuntu 14 ・Mac OS ▽使用するWebDriver ・chrome driver https://sites.google.com/a/chromium.org/chromedriver/downloads ▽パースのメンテナンス性ページのHTMLのClass名やID名に変更がある場合、欲しい情報が取得できなくなる場合があります。そのため、Class,ID名の修正がカンタンに行えるプログラム設計をよろしくお願いいたします。 ▽データ取得対象サイト対象サイト：tenki.jp（実際の取得先は異なります。）ページURL：http://www.tenki.jp/ 対象地域：4階層目の天気情報（例：トップ (1階層目)> 関東・甲信地方(2階層目) > 東京都(3階層目) > 港区(<- ここ 4階層目)）対象ページ例：http://www.tenki.jp/forecast/3/16/4410/13109-10days.html ▽データ取得箇所・フォーマット【天候情報テーブル仕様.xlsx】をご参照くださいませ。 ▽データ出力方法・CSVで出力。 ▽システム開発に利用するプログラミング言語・使用言語：Seleniumが開発できる環境と言語（制限はありません）・サーバ構築、管理の技術（VPS、クラウドサーバーなど） ▽納品物・ソースコード一式・バッチファイル ▽重要視する点・経験・ブラウザの自動操作の経験・Seleniumを使った開発経験・Seleniumで取得したデータを自動的にMySqlやSolrなどのデータベースに登録できれば尚可・視覚性・メンテナンス性の高いコーディング力・クライアント企業とのコミュニケーションに慣れている方・秘密保持契約を結べる方 ▽継続した業務の依頼・株価情報のデータ自動取得以外にも「商品情報」「SNS・ブログ記事」など様々なサイトのデータ収集を継続してお願いいたします。 ▽注意点・禁止事項 ※開発したシステムに関する情報を第三者に漏洩すること ▽その他コメント ※実際のシステム開発の進め方・別途詳細は、クラウドワークスのメッセージでやりとりして決められればと思います。 ※このお仕事以降も、継続的に追加で開発依頼をさせていただくことも可能です。たくさんのシステムエンジニアの方からのご連絡・ご応募お待ちしております。
特記事項
プロフェッショナル求む

▽システム開発依頼の目的・概要
・Seleniumを使用してブラウザを自動操作し、ページに掲載されている天気情報を自動取得して頂きます。

▽開発するプログラムの諸注意（必ず守って下さい。）
・完全自動運用できる（cron処理：1日1回）
・動作途中で止まらない(以下の理由等で停止しない。)
-> ブラウザのクラッシュ
-> タイムアウト
-> Element：NotFound
-> Page：NotFound 404
-> プログラムエラー等
・常に最後までバッチ処理が完了すること。
・動作ログの出力（バッチの実行時刻、終了時刻、取得件数）
・上記のことを厳守しCW様ご自身の環境でテストを行い、完全に動作することを確認して下さい。

▽Selenium実行環境
・Ubuntu 14
・Mac OS

▽使用するWebDriver
・chrome driver
https://sites.google.com/a/chromium.org/chromedriver/downloads

▽パースのメンテナンス性
ページのHTMLのClass名やID名に変更がある場合、欲しい情報が取得できなくなる場合があります。
そのため、Class,ID名の修正がカンタンに行えるプログラム設計をよろしくお願いいたします。

▽データ取得対象サイト
対象サイト：tenki.jp（実際の取得先は異なります。）
ページURL：http://www.tenki.jp/
対象地域：4階層目の天気情報（例：トップ (1階層目)> 関東・甲信地方(2階層目) > 東京都(3階層目) > 港区(<- ここ 4階層目)）
対象ページ例：http://www.tenki.jp/forecast/3/16/4410/13109-10days.html

▽データ取得箇所・フォーマット
【天候情報テーブル仕様.xlsx】をご参照くださいませ。

▽データ出力方法
・CSVで出力。

▽システム開発に利用するプログラミング言語
・使用言語：Seleniumが開発できる環境と言語（制限はありません）
・サーバ構築、管理の技術（VPS、クラウドサーバーなど）

▽納品物
・ソースコード一式
・バッチファイル

▽重要視する点・経験
・ブラウザの自動操作の経験
・Seleniumを使った開発経験
・Seleniumで取得したデータを自動的にMySqlやSolrなどのデータベースに登録できれば尚可
・視覚性・メンテナンス性の高いコーディング力
・クライアント企業とのコミュニケーションに慣れている方
・秘密保持契約を結べる方

▽継続した業務の依頼
・株価情報のデータ自動取得以外にも「商品情報」「SNS・ブログ記事」など様々なサイトのデータ収集を継続してお願いいたします。

▽注意点・禁止事項
※開発したシステムに関する情報を第三者に漏洩すること

▽その他コメント
※実際のシステム開発の進め方・別途詳細は、クラウドワークスのメッセージでやりとりして決められればと思います。
※このお仕事以降も、継続的に追加で開発依頼をさせていただくことも可能です。

たくさんのシステムエンジニアの方からのご連絡・ご応募お待ちしております。

特記事項

プロフェッショナル求む

添付ファイル

天候情報テーブル仕様.xlsx

※ 募集が終了したお仕事の添付ファイルは、ダウンロードできません。

追記

2017年04月04日 14:16

・添付ファイルを更新しましたので、ご参照くださいませ。
・情報を取得するツールは【Selenium】にこだわる必要はありません。
JSなどのライブラリ利用での開発も可とします。
・情報が取得でき且つ完全自動運用【開発するプログラムの諸注意を守る】できればどんなツールでも可とします。
・予算のご質問に関する回答はいたしておりません。

以上、よろしくお願いいたします。

天候情報取得先テーブル仕様書.xlsx