WEBシステム開発
スマホアプリ開発
スマホアプリ開発
Pythonでのクローラ開発とクロール 業務システム・ソフトウェアの仕事の依頼
仕事の概要
|
固定報酬制
|
10,000円 〜 50,000円
|
|---|---|
|
納品完了日
|
- |
|
掲載日
|
2021年04月09日 |
|
応募期限
|
2021年04月23日 |
|
必要なスキル
|
応募状況
| 応募した人 | 27 人 |
|---|---|
| 契約した人 | 4 人 |
| 募集人数 | 5 人 |
| 気になる！リスト | 37 人 |
仕事の詳細
|
Pythonでの美容関連サイトをクロールするクローラ開発（5サイト分） ■ 概要 指定の美容サイトと不動産サイトをクロールして、サイトに掲載されている情報をスクレイピングするクローラの開発をします。 基本的にPython3のScrapyでクローラを作成していただきますが、弊社で作成したフォーマットにしたがって作成していただきます。 開発したクローラはクラウド環境でデータをDBに保存することになるので、SQLAlchemyによるテーブル設定も行っていただきます。 弊社では多数のクローラ開発案件を取り扱っていますので、依頼終了後も継続的に別サイトのクローラも開発していただけると幸いです。 ■ 依頼内容 美容サイトの店舗情報と不動産サイトの賃貸情報をクロールするクローラ開発です。 5サイトクロール分のご依頼となります。 依頼工程： 1. クローラの設定と開発 2. 開発したものを弊社で動作させてエラーをチェック 3. エラーなくクロールできると確認できたら納品完了 実装内容： ・Python3のScrapyでのクローラ開発（依頼を引き受けていただける場合はフォーマットのリポジトリに招待します） ・SQLAlchemy によるテーブルスキーマ設定 設定内容： ・テーブルカラムの項目名の日本語名（項目のカラム名と日本語名をキーバリューで設定するだけの簡単なものです） ・クロールするScrapyのスパイダーとSQLAlchemy のモデルの設定（単純に設定ファイルにスパイダークラスとモデルクラスを設定するだけです） ※ 設定については、弊社で提供するフォーマットに’例を記載しているのでご安心ください。 ※ もしも、クロールできないサイトだった場合は、作成できたクローラ分の料金をお支払いいたします。 ■ 技術要件 ・python3 クローラフレームワークScrapyでのクローラ作成経験 ・データベース操作の経験 ■ 納品内容 ・python3のScrapyで作成したクローラのスクリプトファイル ・SQLAlchemyのスキーマなどの設定のスクリプトファイル |
クライアント情報
最近応募したクラウドワーカー
| クラウドワーカー | 応募日時 |
|---|---|
（退会済み）
|
2021/04/10 02:28 |
SmallBaby
|
2021/04/09 08:59 |
Fujita Haru
|
2021/04/03 23:33 |
|
ksac
|
2021/04/01 23:37 |
234545345434
|
2021/03/30 00:21 |
tkhm
|
2021/03/26 22:32 |
|
yoyotei
|
2021/03/26 17:51 |
もす@動画とIT
|
2021/03/24 18:21 |
すいすん
|
2021/03/24 16:53 |
黄金翼
|
2021/03/23 21:46 |
Deep2AI
|
2021/03/23 17:34 |
こまくろ
|
2021/03/15 21:28 |
|
Nouri
|
2021/03/13 07:01 |
|
keiitiro_k
|
2021/03/11 00:52 |
|
tasklp
|
2021/03/09 15:08 |
|
Shosuke
|
2021/03/09 10:40 |
|
farblue1220
|
2021/03/07 10:01 |
golden_21b6
|
2021/03/07 00:00 |
Suzuki154
|
2021/03/06 09:53 |
Paracelジャパン
|
2021/03/05 13:33 |
