検索エンジンに詳しい方に相談です

ご連絡ありがとうございます。

ご希望の内容ですが、詳細をもう少し伺ってみないと、
クローリングの精度を上げれるかわかりませんが、
技術的には問題なくやれると思います。

１つ質問ですが、バイトを雇ってgoogleで検索されるようなことでは足りないということでしょうか？

ご参考ください。

仕事でそんな関係している人間です。
『クローリング』、できますけど、範囲と精度が課題です。

ドメイン数とかで範囲を区切って、、ですが
クローリングとかだと結構高くつく可能性があるため、
数百ドメイン数千ページのレベルであればアルバイトとかの方が安い可能性大です。

また、
○○ドメインに××というキーワードあるか？
であればクローリング（機械的）でもいいですが、
○○商材持っているところが数千社のうちいくつあるのか？
とかのお話であればアルバイト（目視）の方が確実であると思います。

基本的には、htmlパース技術を使用したデータ収集になると思います。プログラムで、検索エンジンを使用して、ｈurlと名称を抽出し、重複データを削除した後、不要データの削除（手作業　該当htmlが、システムの作成会社や、システムの販売会社等）。抽出プログラムの作成は、ｃ＃,ruby,vba等どんな言語でも、数日あれば作成可能だと思います。ただし、必ず、不要データの削除作業がでてくるので、それは、抽出したデータ件数に依存します。