PythonによるWebスクレイピング（継続あり・自走型者優先・複数フリーランス活動中）スクレイピング・データ収集の仕事の依頼

yoko_seller

4.9 (39件のレビュー) 本人確認済み発注ルールチェック済み

クラウドワークスで発注するにあたり、必要な知識・ルールを確認するためのチェックテストです。
もっと詳しく

仕事の概要

時間単価制	1,000円〜 1,500円
稼働時間/週	30時間/週
期間	1週間〜1ヶ月
掲載日	2022年06月07日
応募期限	2022年06月17日
必要なスキル	Python

応募状況

応募した人	4 人
契約した人	1 人
募集人数	2 人
気になる！リスト	17 人

この仕事に応募したクラウドワーカーを見る

仕事の詳細

御覧いただきありがとうございます。弊社はスポーツをはじめ、様々なジャンルの商品を販売する、ネット通販を主とした会社となります。この度は仕入れ先問屋さんの各ウェブサイトのスクレイピングをしていただける方を募集させていただきます。条件としては以下の内容となります。 1. スクリーンショットモニターという作業時間確認ソフトをパソコンに入れていただき時間の計測をしていただきます。 2. 連絡は原則Chatworkとなります。指定問屋サイトにログインして定価、仕入れ価格、JANコード、商品名、発注単位(特定の商品を発注するのは複数個の発注が必要か)、在庫数、在庫有商品か予約商品なのか、などの情報をスクレイピングしてエクセルかCSVで出力されるようにしていただきます。現在5問屋以上スクレイピングが必要なサイトがあります。毎月複数問屋が増えていきますので納期やコミュニケーションに問題が無ければ長期間続けていただける方を希望しております。現状スクレイピング対象サイトが増え、1人の方では追い付かなくなってきましたので追加人員として募集させていただきます。既に仕事をしていただいている方もおられるので、相談等していただきやすいと思います。サイトによって取得商品数が数百行～数万行と幅があります。ボリュームゾーンとしては数千行程度になります。商品一覧でデータを取得出来る場合と各商品ページに入って情報を抜く必要がある場合、在庫数表示がない場合は商品をカートに入れて在庫数を確認しないといけない場合等各問屋によって必要な作業が異なります。 1日1回回るようにしていただきます。 ■スクレイピングの実行環境について■ ・Python 3.9 ・ライブラリは主に Selenium ・データベースは基本的に SQLite（データ保持必要な場合）・ブラウザ　作成・テスト環境はGoogle Chrome、サーバー上はPhantomJSで実行中です。・requirements.txtの添付・可能な限り3時間以内（プログラム実行時間）で処理が終わるように。並行処理などでサーバー負荷増が考えられる場合は相談ください。・適所に logging.info() を実行し、実行後にログファイルの出力もお願いします。例えば、個別商品URLやエラー発生時のlog収集として。・要素表示、要素クリックまでの待機は、基本的にtime.sleep(2)ではなく、WebDriverWait()でお願いします。（Seleniumの場合）・スクレイピングで取得したデータの出力ファイルは、.xlsx もしくは .csv(shift-jis)にて下記保存先に出力。・データ取得後のファイル保存先　　2022年5月27日に実行した場合　/csv/20220527/〇〇/△△.csv　　/〇〇/サイト名もしくは問屋さん名.py　<--実行ファイル csv/　下の日付ディレクトリは動的に生成お願いします。（毎日自動的にスクレイピングするため）日付ディレクトリ名の生成コード例： dt_now = datetime.datetime.now() folder_name = dt_now.strftime('%Y%m%d') 出力するログファイルの内容例（後でエラーなどを確認できるように） { "start": "2021年11月25日 19:40:18", "end": "2021年11月25日 21:34:34", "check_count": 707, "error": [ [ "〇〇カテゴリ", "https://www.〇〇.html" ] ] } ・作成したプログラムは、当方に提出頂きます。・当方にてサーバー環境で実行し、問題なく出力されているか確認します。・最近は、ページ読み込み後、ボタンを押した後にデータが変わるWebページも増えています。労働時間最短化に向けて、自力では解決できないことはチームで解決します。自己向上力も必要ですが、過度な心配は無用です。・Python力、データ解析力等の向上は期待できます。是非ご検討よろしくお願いいたします。募集途中でありましても良さそうな方からの提案がございましたらどんどん連絡させていただきますのでよろしくお願いいたします。
特記事項
オフィス訪問不要プロフェッショナル求む

御覧いただきありがとうございます。
弊社はスポーツをはじめ、様々なジャンルの商品を販売する、ネット通販を主とした会社となります。
この度は仕入れ先問屋さんの各ウェブサイトのスクレイピングをしていただける方を募集させていただきます。
条件としては以下の内容となります。
1.
スクリーンショットモニターという作業時間確認ソフトをパソコンに入れていただき時間の計測をしていただきます。
2.
連絡は原則Chatworkとなります。

指定問屋サイトにログインして定価、仕入れ価格、JANコード、商品名、発注単位(特定の商品を発注するのは複数個の発注が必要か)、在庫数、在庫有商品か予約商品なのか、などの情報をスクレイピングしてエクセルかCSVで出力されるようにしていただきます。
現在5問屋以上スクレイピングが必要なサイトがあります。
毎月複数問屋が増えていきますので納期やコミュニケーションに問題が無ければ長期間続けていただける方を希望しております。
現状スクレイピング対象サイトが増え、1人の方では追い付かなくなってきましたので追加人員として募集させていただきます。既に仕事をしていただいている方もおられるので、相談等していただきやすいと思います。

サイトによって取得商品数が数百行～数万行と幅があります。ボリュームゾーンとしては数千行程度になります。
商品一覧でデータを取得出来る場合と各商品ページに入って情報を抜く必要がある場合、在庫数表示がない場合は商品をカートに入れて在庫数を確認しないといけない場合等各問屋によって必要な作業が異なります。
1日1回回るようにしていただきます。

■スクレイピングの実行環境について■
・Python 3.9
・ライブラリは主に Selenium
・データベースは基本的に SQLite（データ保持必要な場合）
・ブラウザ　作成・テスト環境はGoogle Chrome、サーバー上はPhantomJSで実行中です。
・requirements.txtの添付
・可能な限り3時間以内（プログラム実行時間）で処理が終わるように。並行処理などでサーバー負荷増が考えられる場合は相談ください。
・適所に logging.info() を実行し、実行後にログファイルの出力もお願いします。例えば、個別商品URLやエラー発生時のlog収集として。
・要素表示、要素クリックまでの待機は、基本的にtime.sleep(2)ではなく、WebDriverWait()でお願いします。（Seleniumの場合）
・スクレイピングで取得したデータの出力ファイルは、.xlsx もしくは .csv(shift-jis)にて下記保存先に出力。
・データ取得後のファイル保存先　
　2022年5月27日に実行した場合
　/csv/20220527/〇〇/△△.csv　
　/〇〇/サイト名もしくは問屋さん名.py　<--実行ファイル

csv/　下の日付ディレクトリは動的に生成お願いします。（毎日自動的にスクレイピングするため）
日付ディレクトリ名の生成コード例：
dt_now = datetime.datetime.now()
folder_name = dt_now.strftime('%Y%m%d')

出力するログファイルの内容例（後でエラーなどを確認できるように）
{
"start": "2021年11月25日 19:40:18",
"end": "2021年11月25日 21:34:34",
"check_count": 707,
"error": [
[
"〇〇カテゴリ",
"https://www.〇〇.html"
]
]
}

・作成したプログラムは、当方に提出頂きます。
・当方にてサーバー環境で実行し、問題なく出力されているか確認します。
・最近は、ページ読み込み後、ボタンを押した後にデータが変わるWebページも増えています。労働時間最短化に向けて、自力では解決できないことはチームで解決します。自己向上力も必要ですが、過度な心配は無用です。
・Python力、データ解析力等の向上は期待できます。

是非ご検討よろしくお願いいたします。
募集途中でありましても良さそうな方からの提案がございましたらどんどん連絡させていただきますのでよろしくお願いいたします。

特記事項

オフィス訪問不要

プロフェッショナル求む

クライアント情報

ご覧いただきありがとうございます。
ネットショップを主な事業としております。
スポーツ用品の販売から始まり、現在ではオールジャンルのネットショップとなっております。

yoko_sellerの詳細を見る

最近応募したクラウドワーカー

クラウドワーカー	応募日時
zs2stzk	2022/06/17 14:13
softengineer	2022/06/16 22:55
photocatalyst	2022/06/08 14:35
shoichi4	2022/06/08 14:08

PythonによるWebスクレイピング（継続あり・自走型者優先・複数フリーランス活動中） スクレイピング・データ収集の仕事の依頼