ソフトウェア開発スクレイピング・データ収集の仕事の依頼

円福寺

4.9 (21件のレビュー) 本人確認未提出発注ルールチェック済み

クラウドワークスで発注するにあたり、必要な知識・ルールを確認するためのチェックテストです。
もっと詳しく

仕事の概要

時間単価制	1,000円〜 1,500円
稼働時間/週	20時間/週
期間	1週間〜1ヶ月
掲載日	2023年05月12日
応募期限	2023年05月16日
必要なスキル	Python

応募状況

応募した人	3 人
契約した人	1 人
募集人数	1 人
気になる！リスト	5 人

この仕事に応募したクラウドワーカーを見る

仕事の詳細

今回Twitterをスクレイピングし，データセットを整備するためのソフトウェアの作成を依頼できる方を探しています．大まかには要件は以下のようになります．細かいところは議論できれば幸いです．目的：機械学習用に，著名人のツイートへのリプをペアとして集める．仕様： - 大量に収集する - 収集するのは著名人のツイートと，それについているリプ単独のツイートにはあまり価値がなく，機械学習でデータとして使用したいのは，リプの方．タスクとしては，ツイートを入れると，それに対するリプを生成するモデルを作成します．モデルの作成は今回の依頼には含まれています． - 様々なメタデータも収集 - １行に，オリジナルのツイートと，リプそれぞれのメタデータが並んだjsonファイルを作成する - pythonで書く - 対象となるのは日本語転用できる実装の例： https://github.com/bisguzar/twitter-scraper https://github.com/shaikhsajid1111/twitter-scraper-selenium#keyword JSONファイルの例: PARENTが元ツイート，CHILDがリプ { PARENT{ "1430938749840629773": { "tweet_id": "1430938749840629773", "username": "Microsoft", "name": "Microsoft", "profile_picture": "https://twitter.com/Microsoft/photo", "replies": 29, "retweets": 58, "likes": 453, "is_retweet": false, "retweet_link": "", "posted_time": "2021-08-26T17:02:38+00:00", "content": "Easy to use and efficient for all \u2013 Windows 11 is committed to an accessible future.\n\nHere's how it empowers everyone to create, connect, and achieve more: https://msft.it/6009X6tbW ", "hashtags": [], "mentions": [], "images": [], "videos": [], "tweet_url": "https://twitter.com/Microsoft/status/1430938749840629773", "link": "https://blogs.windows.com/windowsexperience/2021/07/01/whats-coming-in-windows-11-accessibility/?ocid=FY22_soc_omc_br_tw_Windows_AC" }, CHILD{ "1430938749840629773": { "tweet_id": "1430938749840629773", "username": "microsoft_lover", "name": "microsoft_lover", "profile_picture": "https://twitter.com/Microsoft/photo", "replies": 4, "retweets": 0, "likes": 4, "is_retweet": false, "retweet_link": "", "posted_time": "2021-08-26T17:02:38+00:00", "content": "Wow, it's wonderful.", "hashtags": [], "mentions": [], "images": [], "videos": [], "tweet_url": "https://twitter.com/Microsoft/status/1430938749840629773", "link": "https://blogs.windows.com/windowsexperience/2021/07/01/whats-coming-in-windows-11-accessibility/?ocid=FY22_soc_omc_br_tw_Windows_AC" }, } 以上何卒ご検討のほどよろしくお願いいたします．
特記事項
継続依頼あり

今回Twitterをスクレイピングし，データセットを整備するためのソフトウェアの作成を依頼できる方を探しています．

大まかには要件は以下のようになります．細かいところは議論できれば幸いです．
目的：機械学習用に，著名人のツイートへのリプをペアとして集める．

仕様：
- 大量に収集する
- 収集するのは著名人のツイートと，それについているリプ
単独のツイートにはあまり価値がなく，機械学習でデータとして使用したいのは，リプの方．
タスクとしては，ツイートを入れると，それに対するリプを生成するモデルを作成します．モデルの作成は今回の依頼には含まれています．
- 様々なメタデータも収集
- １行に，オリジナルのツイートと，リプそれぞれのメタデータが並んだjsonファイルを作成する
- pythonで書く
- 対象となるのは日本語

転用できる実装の例：
https://github.com/bisguzar/twitter-scraper
https://github.com/shaikhsajid1111/twitter-scraper-selenium#keyword

JSONファイルの例:
PARENTが元ツイート，CHILDがリプ
{
PARENT{
"1430938749840629773": {
"tweet_id": "1430938749840629773",
"username": "Microsoft",
"name": "Microsoft",
"profile_picture": "https://twitter.com/Microsoft/photo",
"replies": 29,
"retweets": 58,
"likes": 453,
"is_retweet": false,
"retweet_link": "",
"posted_time": "2021-08-26T17:02:38+00:00",
"content": "Easy to use and efficient for all \u2013 Windows 11 is committed to an accessible future.\n\nHere's how it empowers everyone to create, connect, and achieve more: https://msft.it/6009X6tbW ",
"hashtags": [],
"mentions": [],
"images": [],
"videos": [],
"tweet_url": "https://twitter.com/Microsoft/status/1430938749840629773",
"link": "https://blogs.windows.com/windowsexperience/2021/07/01/whats-coming-in-windows-11-accessibility/?ocid=FY22_soc_omc_br_tw_Windows_AC"
},
CHILD{
"1430938749840629773": {
"tweet_id": "1430938749840629773",
"username": "microsoft_lover",
"name": "microsoft_lover",
"profile_picture": "https://twitter.com/Microsoft/photo",
"replies": 4,
"retweets": 0,
"likes": 4,
"is_retweet": false,
"retweet_link": "",
"posted_time": "2021-08-26T17:02:38+00:00",
"content": "Wow, it's wonderful.",
"hashtags": [],
"mentions": [],
"images": [],
"videos": [],
"tweet_url": "https://twitter.com/Microsoft/status/1430938749840629773",
"link": "https://blogs.windows.com/windowsexperience/2021/07/01/whats-coming-in-windows-11-accessibility/?ocid=FY22_soc_omc_br_tw_Windows_AC"
},
}

以上何卒ご検討のほどよろしくお願いいたします．

特記事項

継続依頼あり

クライアント情報

東京大学

円福寺の詳細を見る

最近応募したクラウドワーカー

クラウドワーカー	応募日時
陽-葵	2023/05/16 17:45
Kikuchi2212	2023/05/16 16:34
kinrou2016	2023/05/13 17:27

ソフトウェア開発 スクレイピング・データ収集の仕事の依頼