クローラーの設定ファイル作成のお仕事 « エンジニア・デザイナーのクラウドソーシング

× このお仕事の募集は終了しています。

×

仕事の概要

公開日 2012年05月22日
応募期限 2012年07月05日
仕事の種類 システム開発 » Web開発・システム設計 » その他(システム開発)
支払い方式 固定報酬制 予算 〜 1,000円
納品希望日 -
求めるスキル

仕事の詳細

■ 依頼の目的/概要
当社は東京にて、オンライン求人媒体を運営している企業です。
運営している求人媒体に載せる情報を収集するために必要なサイト・クローリングの設定ファイルを作成してください。

(新たにクローラーを作っていただくのではありません。既にあるクローラー用の設定ファイルを作成していただきます。)

ひとつのサイト用の設定ファイルを作成して頂きます。
仕様の概要は次のようになっております。

設定仕様概要
・対象サイトのクロール開始URLの設定
・クロール対象外のURLパターンを正規表現で設定
・スクレイピング対象ページのURLパターンを正規表現で設定
・スクレイピング対象ページから抽出したいデータをXPathで取得し、rubyスクリプトで正規化
・スクレイピング対象ページからフルテキスト検索に使用しない不要なテキストをXPathで指定

クロール対象のサイトURL、クローラ設定の詳しい仕様については、見積もり提示後、商談をしていただく方にのみ公開いたします。

■ 重視する点/検討基準
・予算
・正確さ

■ 必要なスキルや知識
・XPath
・正規表現
・Ruby
・HTTPプロトコル

会員登録(無料)

他の仕事:Web開発・システム設計の仕事を探す

β版ご意見箱

× 今後表示しない