【Python】Webクローリング/スクレイピングによるデータ収集スクレイピング・データ収集の仕事の依頼

カトウヒデユキ

5.0 (5件のレビュー) 本人確認未提出発注ルールチェック未回答

クラウドワークスで発注するにあたり、必要な知識・ルールを確認するためのチェックテストです。
もっと詳しく

仕事の概要

時間単価制	4,000円〜 5,000円
稼働時間/週	7時間/週
期間	1週間〜1ヶ月
掲載日	2023年02月16日
応募期限	2023年02月21日
必要なスキル	クローリング・スクレイピング github git Python

応募状況

応募した人	17 人
契約した人	1 人
募集人数	1 人
気になる！リスト	16 人

この仕事に応募したクラウドワーカーを見る

仕事の詳細

【概要】人事専門検索サイト用に、厚生労働省「雇用・労働」分野のデータ収集（PDF含む）をお願いします。【依頼内容】以下の機能の開発：・010001：厚生労働省「雇用・労働」分野（https://www.mhlw.go.jp/stf/seisakunitsuite/bunya/koyou_roudou/）をクローリングしてURL、ページタイトル/PDF1ページ目、更新日時を取得しリストを作成。PDFを含みます。・010002：010001で取得したURLのサイトやPDFをスクレイピングして情報を抽出しCSVを作成。・010003：010002で作成したCSVから特定のフォーマットのJSONに変換、およびJSONからCSVへ変換。 ※フルリモートで業務していただけます。 ※ 詳細な仕様をオンラインミーティングで相談させていただいて決めたいです。上記依頼内容として考えていることは以下の通りです。 - 厚生労働省「雇用・労働」分野からリンクされるmhlw.go.jpのサブドメインあり。 - サイトへ過度のアクセスをしない。 - 無限ループしない。 - コードを繰り返し使える。 - ローカルで実行する。 - 検索サイトに使用するデータであるため、検索用のデータとして意味のある部分を取得したい（基本、サイトのヘッダー、サイドメニュー、フッターなど他のページと同じ部分はデータ収集不要）。 - スクレイピングするURLは重複しない。 - スクレイピングしたい1つのURLだけでも指定することができる。 - CSVから出力する1つのJSONファイルは4MBまで。 - PDFは1ページずつスクレイピングする。開発手法・言語等は下記になります。 - Python（VSCode・Git/GitHub） - バックエンド：AWS CloudSearch・API Gateway（上記の依頼内容010003で作成したJSONをCloudSearchにアップロードして検索できるようにします）【用意してあるもの】・AWS CloudSearchにアップロードするIndex Fields：決まっている・サーバー：決まっている（フロントエンドはFirebase、バックエンドはAWS CloudSearch）・ドメイン：決まっている【納期】相談させてください。 1日7時間前後で週1日、まずは3～4週間で開発できるところまでお願いしたいです。【契約金額（税抜）】時給制（4,000～4,500円/時間）ご応募いただいた方に詳細情報を提供しますので、上記【依頼内容】の機能010001～010003に対して完成までそれぞれ何時間くらいかかるか、概算でお見積もりいただきたいです。 ※契約金額（税込）からシステム利用料を差し引いた金額が、ワーカーさまの受取金額となります【重視する点】・必須：Pythonによるクローリング/スクレイピング・Git/GitHub・VSCodeでの開発経験・必須：日本語によるオンラインミーティング可能な方（機能開発前に詳細な仕様の相談をオンラインミーティングで行いたいため）・必須：Pythonによるコードの実行手順など私の方で不明な点を教えていただけるとありがたいです【応募方法】・自己紹介や実績、ポートフォリオ（制作物、GitHubソースコードや仕様書・設計書など）をご提示ください。・ご契約いただくまえに秘密保持契約をお願いいたします。ご質問がありましたら、お問い合わせください。応募をお待ちしております！
特記事項
オフィス訪問不要継続依頼あり

【概要】
人事専門検索サイト用に、厚生労働省「雇用・労働」分野のデータ収集（PDF含む）をお願いします。

【依頼内容】
以下の機能の開発：
・010001：厚生労働省「雇用・労働」分野（https://www.mhlw.go.jp/stf/seisakunitsuite/bunya/koyou_roudou/）をクローリングしてURL、ページタイトル/PDF1ページ目、更新日時を取得しリストを作成。PDFを含みます。
・010002：010001で取得したURLのサイトやPDFをスクレイピングして情報を抽出しCSVを作成。
・010003：010002で作成したCSVから特定のフォーマットのJSONに変換、およびJSONからCSVへ変換。

※フルリモートで業務していただけます。
※ 詳細な仕様をオンラインミーティングで相談させていただいて決めたいです。上記依頼内容として考えていることは以下の通りです。
- 厚生労働省「雇用・労働」分野からリンクされるmhlw.go.jpのサブドメインあり。
- サイトへ過度のアクセスをしない。
- 無限ループしない。
- コードを繰り返し使える。
- ローカルで実行する。
- 検索サイトに使用するデータであるため、検索用のデータとして意味のある部分を取得したい（基本、サイトのヘッダー、サイドメニュー、フッターなど他のページと同じ部分はデータ収集不要）。
- スクレイピングするURLは重複しない。
- スクレイピングしたい1つのURLだけでも指定することができる。
- CSVから出力する1つのJSONファイルは4MBまで。
- PDFは1ページずつスクレイピングする。

開発手法・言語等は下記になります。
- Python（VSCode・Git/GitHub）
- バックエンド：AWS CloudSearch・API Gateway（上記の依頼内容010003で作成したJSONをCloudSearchにアップロードして検索できるようにします）

【用意してあるもの】
・AWS CloudSearchにアップロードするIndex Fields：決まっている
・サーバー：決まっている（フロントエンドはFirebase、バックエンドはAWS CloudSearch）
・ドメイン：決まっている

【納期】
相談させてください。
1日7時間前後で週1日、まずは3～4週間で開発できるところまでお願いしたいです。

【契約金額（税抜）】
時給制（4,000～4,500円/時間）
ご応募いただいた方に詳細情報を提供しますので、上記【依頼内容】の機能010001～010003に対して完成までそれぞれ何時間くらいかかるか、概算でお見積もりいただきたいです。
※契約金額（税込）からシステム利用料を差し引いた金額が、ワーカーさまの受取金額となります

【重視する点】
・必須：Pythonによるクローリング/スクレイピング・Git/GitHub・VSCodeでの開発経験
・必須：日本語によるオンラインミーティング可能な方（機能開発前に詳細な仕様の相談をオンラインミーティングで行いたいため）
・必須：Pythonによるコードの実行手順など私の方で不明な点を教えていただけるとありがたいです

【応募方法】
・自己紹介や実績、ポートフォリオ（制作物、GitHubソースコードや仕様書・設計書など）をご提示ください。
・ご契約いただくまえに秘密保持契約をお願いいたします。

ご質問がありましたら、お問い合わせください。
応募をお待ちしております！

特記事項

オフィス訪問不要

継続依頼あり

クライアント情報

東京都渋谷区のシステム開発会社です。
人事・社会保険労務士向けのサービスを開発しています。

カトウヒデユキの詳細を見る

最近応募したクラウドワーカー

クラウドワーカー	応募日時
kajimiura	2023/02/21 11:52
Sakura5Leaves	2023/02/20 10:16
ミナピ	2023/02/19 21:42
fantadev	2023/02/17 16:49
Monoceros	2023/02/17 14:42
Princess113	2023/02/17 13:22
You_and_Me	2023/02/17 10:17
HiroGori	2023/02/17 09:51
to_ma	2023/02/17 09:41
misuzu2019	2023/02/17 08:15
[岡本]	2023/02/17 01:17
yosshit47	2023/02/17 01:08
golden_21b6	2023/02/16 22:08
subnamer	2023/02/16 19:28
[モモ]	2023/02/16 17:35
「遙香」	2023/02/16 17:22
LettyCoach	2023/02/16 16:32

【Python】Webクローリング/スクレイピングによるデータ収集 スクレイピング・データ収集の仕事の依頼