テレビCM放映中!
  1. 指定URLページの更新を数十秒毎にチェックするソフト
みんなのお仕事相談所
発注者からの相談
業務システム・ソフトウェアの見積もり・相場に関する相談

指定URLページの更新を数十秒毎にチェックするソフト

解決済
回答数
3
閲覧回数
2087
困ってます  : 困ってます

業務システム・ソフトウェアの依頼を検討しており、下記のようなシステムを作りたいと思っているのですが、どれくらいの相場感・費用になるかがわかりません。

下記に要件を書きますので、簡単な見積もりをいただけませんでしょうか。

2000〜3000程の指定したURLのページが更新されたかどうかをチェックするソフトです。
更新内容は差分で抜き取った後にメールとソフトウェア上で出力します。
サーバー等が必要でしたら別途提示していただければ当方で準備します(予算は毎月1万円前後)。
更新のチェック頻度は少なくとも毎分2000〜3000のサイトをチェックします(希望は20秒毎)。
ソフトウェア製作後も当方である程度管理できるようなインターフェイスまで作っていただきたいです 。
(更新チェックするサイトURLの追加変更削除・サーバーの再起動・その他不具合が起きた場合の対処コマンドなど)

よろしくお願い致します。

2016年01月09日 09:13
新日本事業開発桜井一樹さんからの回答

恐らくスクラッチになるでしょうし、システム開発側の保守というメリットもないので、そこそこの予算は検討された方がいいかもしれませんね。余談ですが、このサイトを見ていると結構クローラー系の案件が多いことに驚かされます。いっそ誰かクローラー系のクラウドを開発しても面白いかもしれませんね。私感ですので、いち参考まで。

2016年01月09日 12:14
O.C.M.さんからの回答

お世話になります。
インターネットサービスの監視システムの機能で「ページの改ざんチェック」がありますので
それを利用すればシステムを作る必要はございません。監視システムの導入・設定に特別な知見は不要です。
詳細は下記となります。

http://www.zabbix.com/

以上、宜しくお願いいたします。

2016年01月10日 00:14
myhiro.cometureさんからの回答

毎分2000〜3000のサイトをチェックします(希望は20秒毎)。 パフォーマンス希望は実現するのは難しいのではないでしょうか

①かわったの判定に当然履歴をもつ必要がある、何が変わったのか(HTML、TEXT、SCRIPT、CSS)を判定する必要がある

②相手側のWebサービスに相当な負荷をかけるので、スパマーと同じ判定をされる
 
 1サーバーで運用されているWWWサーバーの秒間は 20-100(htmlだけではなく、css、画像等も含む)なので最悪ダウンする

③サイトと言うからには同一ドメインの階層も含まれるはず、1サイト100Pならば200000Pからになる


クローラを作るようなものなので安易に考えないほうが得策とおもいます

2016年01月12日 14:39
ご意見箱

× 今後表示しない