Google検索結果のデータ収集サンプルプログラムの作成業務システム・ソフトウェアの仕事の依頼

kazunii_ac

4.9 (62件のレビュー) 本人確認済み発注ルールチェック未回答

クラウドワークスで発注するにあたり、必要な知識・ルールを確認するためのチェックテストです。
もっと詳しく

仕事の概要

固定報酬制	10,000円〜 50,000円
納品完了日	2017年01月28日
掲載日	2017年01月22日
応募期限	2017年01月25日
必要なスキル	.NET Visual Basic (VB) ウェブブラウザスペシャリスト

応募状況

応募した人	6 人
契約した人	1 人
募集人数
気になる！リスト	7 人

この仕事に応募したクラウドワーカーを見る

仕事の詳細

Google検索結果について、IEを操作することでデータ収集するサンプルプログラムの作成を依頼したいと考えており、エンジニア・プログラマの方を募集します。お仕事の詳細： Google検索結果に関する情報収集をしたいと思っております。現在、InternetExplorerをVB.NETから操作し、Googleの検索結果の情報を自動収集しております。その中で、Google検索結果の広告枠の飛び先ページURLを収集したいと思っております。 -- 例：添付画像の Induro Japna 公式サイト - 秋のキャンペーン2016開催中 - induro.jp‎ の直接リンク先URLは http://www.google.co.jp/aclk?sa=L&ai=DChcSEwjvkeT14NTRAhVLCioKHVp0AssYABAF&sig=AOD64_2o7tduu4lxrD8G3AgGLYDXt-LAWA&rct=j&q=&ved=0ahUKEwj13d_14NTRAhXHwLwKHWbnAzMQ0QwIhgE&adurl= ですが、そこから自動遷移して、最終的には http://www.induro.jp/ へ飛びます。この「 http://www.induro.jp/ 」のようなURLを収集したいです。 -- サンプルプログラムへ渡す引数は、下記の二つを想定しています。なお、必要に応じて引数の追加等はご相談に乗れます。・IEでの検索結果をオブジェクトとして、VB.NET上の「SHDocVw.InternetExplorer」で参照渡し・上記「http://www.google.co.jp/aclk?sa=L&ai=DChcSEwjvkeT14NTRAhVLCioKHVp0AssYABAF&sig=AOD64_2o7tduu4lxrD8G3AgGLYDXt-LAWA&rct=j&q=&ved=0ahUKEwj13d_14NTRAhXHwLwKHWbnAzMQ0QwIhgE&adurl=」へのリンクが入っているaタグへのXPATH（例："//[@id='s3p1c0']" ）サンプルプログラムの呼び出し方は、例えば下記のようなモジュールから呼び出します。なお、下記ソースコード内に書き込んでいますが、単純にaタグのhref要素に objIE.Navigate すると、私の環境では400エラーが出て、遷移できませんでした。一方、ブラウザ上から右クリックでリンクをコピーし、別のブラウザのURL入力欄にペーストしてEnterすると、普通に遷移します。この状況から、Google側で、何らかのbot対策をしているのかな？と感じています。 -- 呼び出し元コード -- Imports SHDocVw Module tempModule Sub Main02() Dim objIE As InternetExplorer = New InternetExplorer objIE.Visible = BrowserVisible System.Threading.Thread.Sleep(10000) objIE.Navigate("https://www.google.co.jp/#hl=ja&q=%E4%B8%89%E8%84%9A", , , , ) '「三脚」のGoogle検索結果ページです。検索文字列は一例です。 waitIE1(objIE) Dim XPATH As String = "//[@id='s0p2c0']" 'このidは、検索結果上部2個目の広告のaタグのid 'ここで呼び出す関数を作って欲しい Dim DestinationURL As String DestinationURL = GetDestinationURL(objIE, XPATH) End Sub Sub waitIE1(ByRef objIE As InternetExplorer) 'ページの表示完了を待ちます。 Dim i As Integer = 0 While objIE.ReadyState <> 4 Or objIE.Busy = True System.Windows.Forms.Application.DoEvents() System.Threading.Thread.Sleep(1000) End While End Sub Function GetDestinationURL(ByRef objIE As InternetExplorer, ByVal XPATH As String) As String 'この関数を作成してほしい。 'XPATHのaタグのhref要素には、 'http://www.googleadservices.com/pagead/aclk?sa=L&ai=DChc～ 'のようなURLが入っているが、そこへアクセスした場合の最終遷移先のURLを返してほしい。 'なお、当方で作成してみたところ、google側から、上記URLに objIE.navigate() すると '400エラーが返ってきてしまい、通常のクリックでの遷移先が取得できなかった。 End Function End Module -- ※VB.NETで作成した既存のソースコードがかなりの量ありますので、　ブラウザ自動操作をSelenium等に乗り換えるという選択肢は、できれば取りたくありません。　但し、何らかの形で既存のVB.NETプログラムから呼び出し、遷移先URLが取得できるのであれば、　今回の納品物はVB.NETでなくても構わないとは思っています。 ▽開発に使用するプログラミング言語・VB.NET ▽重要視する点・開発経験・目的を完遂できること・Windowsアプリケーションの開発経験おそらく、技術の高い方にとっては簡単な開発なのではないかと思います。私は不慣れなもので、今回ご依頼させて頂きました。相場感もわからないので、一旦3～5万円くらいかな？と思っておりますが、金額面については、率直な内容でご提案頂ければと思います。たくさんのエンジニア・プログラマの方からのご連絡・ご応募お待ちしております。
特記事項
オフィス訪問不要

Google検索結果について、IEを操作することでデータ収集するサンプルプログラムの作成を依頼したいと考えており、
エンジニア・プログラマの方を募集します。

お仕事の詳細：
Google検索結果に関する情報収集をしたいと思っております。

現在、InternetExplorerをVB.NETから操作し、Googleの検索結果の情報を自動収集しております。
その中で、Google検索結果の広告枠の飛び先ページURLを収集したいと思っております。

--
例：
添付画像の

Induro Japna 公式サイト - 秋のキャンペーン2016開催中 - induro.jp‎

の直接リンク先URLは

http://www.google.co.jp/aclk?sa=L&ai=DChcSEwjvkeT14NTRAhVLCioKHVp0AssYABAF&sig=AOD64_2o7tduu4lxrD8G3AgGLYDXt-LAWA&rct=j&q=&ved=0ahUKEwj13d_14NTRAhXHwLwKHWbnAzMQ0QwIhgE&adurl=

ですが、そこから自動遷移して、最終的には

http://www.induro.jp/

へ飛びます。この「 http://www.induro.jp/ 」のようなURLを収集したいです。
--

サンプルプログラムへ渡す引数は、下記の二つを想定しています。
なお、必要に応じて引数の追加等はご相談に乗れます。

・IEでの検索結果をオブジェクトとして、VB.NET上の「SHDocVw.InternetExplorer」で参照渡し
・上記「http://www.google.co.jp/aclk?sa=L&ai=DChcSEwjvkeT14NTRAhVLCioKHVp0AssYABAF&sig=AOD64_2o7tduu4lxrD8G3AgGLYDXt-LAWA&rct=j&q=&ved=0ahUKEwj13d_14NTRAhXHwLwKHWbnAzMQ0QwIhgE&adurl=」へのリンクが入っているaタグへのXPATH（例："//*[@id='s3p1c0']" ）

サンプルプログラムの呼び出し方は、例えば下記のようなモジュールから呼び出します。
なお、下記ソースコード内に書き込んでいますが、
単純にaタグのhref要素に objIE.Navigate すると、私の環境では400エラーが出て、遷移できませんでした。
一方、ブラウザ上から右クリックでリンクをコピーし、別のブラウザのURL入力欄にペーストしてEnterすると、
普通に遷移します。
この状況から、Google側で、何らかのbot対策をしているのかな？と感じています。

-- 呼び出し元コード --
Imports SHDocVw
Module tempModule
Sub Main02()
Dim objIE As InternetExplorer = New InternetExplorer
objIE.Visible = BrowserVisible
System.Threading.Thread.Sleep(10000)
objIE.Navigate("https://www.google.co.jp/#hl=ja&q=%E4%B8%89%E8%84%9A", , , , ) '「三脚」のGoogle検索結果ページです。検索文字列は一例です。
waitIE1(objIE)
Dim XPATH As String = "//*[@id='s0p2c0']" 'このidは、検索結果上部2個目の広告のaタグのid
'ここで呼び出す関数を作って欲しい
Dim DestinationURL As String
DestinationURL = GetDestinationURL(objIE, XPATH)
End Sub
Sub waitIE1(ByRef objIE As InternetExplorer)
'ページの表示完了を待ちます。
Dim i As Integer = 0
While objIE.ReadyState <> 4 Or objIE.Busy = True
System.Windows.Forms.Application.DoEvents()
System.Threading.Thread.Sleep(1000)
End While
End Sub
Function GetDestinationURL(ByRef objIE As InternetExplorer, ByVal XPATH As String) As String
'この関数を作成してほしい。
'XPATHのaタグのhref要素には、
'http://www.googleadservices.com/pagead/aclk?sa=L&ai=DChc～
'のようなURLが入っているが、そこへアクセスした場合の最終遷移先のURLを返してほしい。
'なお、当方で作成してみたところ、google側から、上記URLに objIE.navigate() すると
'400エラーが返ってきてしまい、通常のクリックでの遷移先が取得できなかった。
End Function
End Module
--

※VB.NETで作成した既存のソースコードがかなりの量ありますので、
　ブラウザ自動操作をSelenium等に乗り換えるという選択肢は、できれば取りたくありません。
　但し、何らかの形で既存のVB.NETプログラムから呼び出し、遷移先URLが取得できるのであれば、
　今回の納品物はVB.NETでなくても構わないとは思っています。

▽開発に使用するプログラミング言語
・VB.NET

▽重要視する点・開発経験
・目的を完遂できること
・Windowsアプリケーションの開発経験

おそらく、技術の高い方にとっては簡単な開発なのではないかと思います。
私は不慣れなもので、今回ご依頼させて頂きました。
相場感もわからないので、一旦3～5万円くらいかな？と思っておりますが、
金額面については、率直な内容でご提案頂ければと思います。

たくさんのエンジニア・プログラマの方からのご連絡・ご応募お待ちしております。

特記事項

オフィス訪問不要

添付ファイル

20170122-01_2.png

※ 募集が終了したお仕事の添付ファイルは、ダウンロードできません。

クライアント情報

・アフィリエイトサイトの運営
・WordPress・php・mysql等に関する請負作業

kazunii_acの詳細を見る

最近応募したクラウドワーカー

クラウドワーカー	応募日時
noma3	2017/01/24 11:58
chiyopen	2017/01/23 18:06
tech-design	2017/01/23 11:55
toshio_n	2017/01/22 19:20
（退会済み）	2017/01/22 17:03
Mask_Siva	2017/01/22 12:51

Google検索結果のデータ収集サンプルプログラムの作成 業務システム・ソフトウェアの仕事の依頼