Webサイトクローラー・スクレイピング開発業務システム・ソフトウェアの仕事の依頼

ict4e

4.9 (54件のレビュー) 本人確認済み発注ルールチェック未回答

クラウドワークスで発注するにあたり、必要な知識・ルールを確認するためのチェックテストです。
もっと詳しく

仕事の概要

固定報酬制	300,000円〜 500,000円
納品完了日	2014年09月30日
掲載日	2014年09月01日
応募期限	2014年09月08日
必要なスキル	Python MySQL プログラミング UNIX Shell

応募状況

応募した人	10 人
契約した人	1 人
募集人数
気になる！リスト	15 人

この仕事に応募したクラウドワーカーを見る

仕事の詳細

弊社顧客向けの社内向けの情報収集システムを開発しており、プログラマーの方を募集します。お仕事の詳細： ▽システム開発依頼の目的・概要クローリング・スクレイピングを行い本文データー等のDB保存する開発をお願いしたいと思っています。 Webスクレイピング（クローラー＋本文抽出）と、結果のタグ付け　1) 約５つ程度の海外ニュースサイトのindexページを監視して、　　　新しいニュースがあれば、本文タイトルなどを取得する　2) 取得データーに、任意のキーワードがあれば該当タグをつける　3) 特定のタグだった場合には、一日一回メールで通知　4) DB情報の管理画面と、データーのCSV出力その他　・タグ設定がかわった場合には、2)を個別実行する事もある　・対象サイトが増えた場合に、追加の手順・設定ファイルなどを考慮ください　・対象サイトの構造が変更になった場合に、何らか気づく方策など、運用のアドバイスをいただけると嬉しいです ▽システム開発に利用するプログラミング言語　・使用OS：Redhat or CentOS or Ubuntuを予定　（バージョンなどは、顧客と調整中）　・使用言語：Shell+wget / Python2.7以降（その他、適切なものがあれば検討しますので提案ください）　・cronでの定期バッチ化、MySQLへのデーター保存 ▽納品物　・ソースコード一式　・開発物を理解する為の簡単な説明・資料 ▽重要視する点・経験　・業務用のシステム開発・システム設計の経験　・該当サービスの開発の経験があると尚可　・秘密保持契約を結べる方 ▽注意点・禁止事項　※開発したシステムに関する情報を第三者に漏洩すること ▽その他コメント　※実際のシステム開発の進め方・別途詳細は、クラウドワークスのメッセージでやりとりして決められればと思います。たくさんのプログラマーの方からのご連絡・ご応募お待ちしております。
特記事項
急募オフィス訪問不要プロフェッショナル求む

弊社顧客向けの社内向けの情報収集システムを開発しており、プログラマーの方を募集します。

お仕事の詳細：
▽システム開発依頼の目的・概要

クローリング・スクレイピングを行い本文データー等のDB保存する開発をお願いしたいと思っています。

Webスクレイピング（クローラー＋本文抽出）と、結果のタグ付け
　1) 約５つ程度の海外ニュースサイトのindexページを監視して、
　　　新しいニュースがあれば、本文タイトルなどを取得する
　2) 取得データーに、任意のキーワードがあれば該当タグをつける
　3) 特定のタグだった場合には、一日一回メールで通知
　4) DB情報の管理画面と、データーのCSV出力

その他
　・タグ設定がかわった場合には、2)を個別実行する事もある
　・対象サイトが増えた場合に、追加の手順・設定ファイルなどを考慮ください
　・対象サイトの構造が変更になった場合に、何らか気づく方策など、運用のアドバイスをいただけると嬉しいです

▽システム開発に利用するプログラミング言語
　・使用OS：Redhat or CentOS or Ubuntuを予定　（バージョンなどは、顧客と調整中）
　・使用言語：Shell+wget / Python2.7以降（その他、適切なものがあれば検討しますので提案ください）
　・cronでの定期バッチ化、MySQLへのデーター保存

▽納品物
　・ソースコード一式
　・開発物を理解する為の簡単な説明・資料

▽重要視する点・経験
　・業務用のシステム開発・システム設計の経験
　・該当サービスの開発の経験があると尚可
　・秘密保持契約を結べる方

▽注意点・禁止事項
　※開発したシステムに関する情報を第三者に漏洩すること

▽その他コメント
　※実際のシステム開発の進め方・別途詳細は、クラウドワークスのメッセージでやりとりして決められればと思います。

たくさんのプログラマーの方からのご連絡・ご応募お待ちしております。

特記事項

急募

オフィス訪問不要

プロフェッショナル求む

追記

2014年09月04日 19:56

沢山の相談・応募をいただけましたので、
予定より早く募集期間を終了させていただきました。

いただいた提案を検討いたしまして、個別にご連絡させていただきます。

クライアント情報

プログラミング教育・教材開発と、Web系ITシステムの利用・構築コンサル、などを手がけている福井県の会社です。

プログラミング教育：
　・IchigoJamによるプログラミング体験教室
　・IchigoJam英語版テキストの作成
Web系ITシステム：
　・アパレルEC インフラコンサル
　・Pythonクローラーサイト構築

社名は、IT/ICTを(for/4)すべての人々(Everyone)の身近な存在にという思いでつけております。まだ挑戦中ではありますが、日本の技術などをもって、東アフリカでのプログラミング教育事業の可能性についても模索しております。

ict4eの詳細を見る

最近応募したクラウドワーカー

クラウドワーカー	応募日時
レイ(Ray)	2014/09/04 16:13
mjun	2014/09/04 11:37
tanaka_jp	2014/09/04 00:03
mudsheep	2014/09/03 17:35
アルヤグローバルインド	2014/09/02 17:53
kaisar	2014/09/02 09:20
nomadse	2014/09/01 14:28
株式会社SoupPot!	2014/09/01 13:57
kzdev	2014/09/01 13:35
グローバルITカフェ	2014/09/01 12:39

Webサイト クローラー・スクレイピング 開発 業務システム・ソフトウェアの仕事の依頼