公表済み統計アンケートデータを使い易いように編集したデーターベースを利用して貰うサイト構築に関する費用概算について

内容からお察ししますのは、それなりの性能要求を必要としている気がします。

>ファイル数は10万単位のファイルがありますが、主にテキストデーターであり、
>公表日付やファイルの種類で纏めれば、幾ばくかの大きなくくりで纏めることも可能です

オラクルDBなどが実装しているパーティションチューニングのイメージでしょうか？
パーティションチューニングとパラレルチューニングを組み合わせる事で確かに処理速度はある程度期待できます。

但し、そういうRDBMS製品は製品自体が非常に高価です。
http://otndnld.oracle.co.jp/training/ord-seminar/partition01/partitioning.pdf
自社内でRDBMS Serverを構築されるのか？　レンタルサーバー上に実装されるのかで価格は違ってきます。

サーバー自体のレンタル料は業者によりまちまちですから、レンタル業者に問い合わせるのが正解だと思います。
機密保護に関しましても、ネット上のセキュリティを指しておられるのでしたら
同様にレンタルサーバーの保守契約になると考えます。

当然ですが、性能要求が高ければ高いほど比例して高額になってまいります。

アプリ側でパラレルチューニングやパーティションチューニングに対応したアプリを構築希望されているのであれば100万円〜と考える方が良いかもしれません。

ちなみにパラレルチューニングは物理CPUの数で大きく性能が左右されます。

ちなみに、パーティションチューニング・パラレルチューニングオプションはRDBMSメーカーの有償商品です。
これらはOracle社などに直接製品の総合価格を問い合わせるのをお勧めします。

こちらでは、純粋に開発料金のみのご提示しかできません。

レンタルサーバーの性能保証などはアマゾンクラウドサーバーなどいろいろなブランがありますので、規模や性能要求をお話しされて見積もってもらうと良いと思います。

10万単位のファイルがあると言う事をどうお考えになるかでしょう。
それをどう組み合わせるのかは、私どもではわかりませんが。

また、どういうふうにそれだけの数のファイル（テーブル）をJOINするのかも想像できておりませんが、価格を抑えるのでしたら性能を犠牲にするしかないと思います。

理屈だけで言えば、ファイル数（テーブル）が多いほど、ディスクのアクセスは頻繁になります。　つまり、数が多ければ玉(HDD)の数を増やしてHDDを分散します。

それによりディスクヘッドが増えますので物理的によくなると言われています。
また、クラスタリングを構築される際、パーティション単位でディスクをわけると効果がでます。

パーティション分割をされたテーブルをパラレルチューニングしたSQL（パラレルSQLと言います）で処理を発行しますとパーティション単位に物理CPUを割り当てます。

つまり、パーティションが２つの組みでCPUが２つ搭載されていれば、並列してアクセスパスを発行しにいきます。

ただし、それに対応しているRDBMSが必要です。　対応していなければ・・・パーティション単位でCPUに割り当てをしませんのでそのような効果は期待できません。


条件と言うか・・・テーブル数が多くそれらを結合するなら当然結合処理が発生しますのでそれ相応の処理が必要となります。

ファイル（テーブル）をまとめてしまえば、JOINの処理はアクセス時に発生しませんので少しは改善が見込めるでしょう。

また、巨大なテーブルはメモリーを圧迫します。
必要最小限の情報以外は切り捨てる事で改善できる可能性もあります。

10万のファイル(テーブル)の情報が本当に全部必要なら調整しようがありません。
また、HDDをSSDなどにする事でアクセス処理を改善できると思います。

おそらく高価なRDBMSを導入するより、HDDをSSDにするなどの工夫をするほうが安くあがります。　
自分の「想像」ではパーティションチューニングパック・パラレルチューニングパック・Oracle エンタープライズ RDBMSを導入するだけで500万円前後するかと思いますので。

それなら大容量のSSDを多く導入したハードを購入されるほうが安くあがるでしょう。


>素人甚だしい質問で恐縮ですが、テキストデータから抽出した内容をエクセルにすると、行が4000、列が2000、行は3つのグループに、列は大項目で2グループ、中項目で5グループに纏められます。
>セルの内容は数値だったり、文字列だったりでして、文字列は大体2000字以内です。

10万のファイルをアクセスした結果でしょうか？　
その中の数種類のファイルではないのでしょうか？

全部で１０万のファイルがあると言う事ですが、必要なファイルは数種類なら話はまた変わってくると思います。

本当に利用するファイルの数だけで良いと考えます。

情報を取得・生成するのに必要な同時にアクセスする必要になるファイルの数はどれくらいあるのでしょうか？
１０万のファイル全部を同時にアクセスするわけではないのですよね？

私の理解が不適切で、ファイルが10万でそれに伴いテーブルも１０万テーブルではなく
たんなるデータが10万レコードなんでしょうか？

見方を変えて、10万ファイルと言うのを10万のデータがあると仮定します。
これを特定条件(Key)で分別してデータを抽出させると仮定します。

>行は3つのグループに、列は大項目で2グループ、中項目で5グループに纏められます。
>セルの内容は数値だったり、文字列だったりでして、文字列は大体2000字以内です。
これは10万件のデータから特定の条件で抽出した該当データと言う事でしょうか。

※ Execlで１０万個のファイルをアクセスして抽出条件を判断して出力させたと言う事でしょうか？

仮に10万ファイルでなく、10万レコードだと考えましてもそれなりに時間を要すると思いますが
ファイルの種類で、どれだけの数に分類できるのでしょうか？

といいますか・・・仮にそうだとしまして・・・。
10万データを正しく分類して登録すると言う作業は開発と言う作業に含めておられますか？　
（登録作業をご自身で行われるのであれば、このケースなら価格は大きく下がると思います。）

単純な登録業務であれば、登録専用オペレータを依頼する方法もございます。
ただ、10万件のデータが何万件になるのかで問合せ処理能力は左右されます。

このデータは閲覧できるだけで、よろしいのでしょうか？

補足しますと、１０万レコードのデータをテーブルに条件Keyを設定してアクセスする事をお考えでしたら・・・。
おそらく性能要求は相当にひどい物になると思います。
※ 搭載メモリーを多くされますと、それなりに改善はされるとは思います。

完全にテーブル自体を分離して区分けできるのであれば、それなりの性能が出せるかもしれません。

性能要求を要求されないのであれば、それならそこそこ安くなると思います。

仮定としまして、
同時問合せ利用者が100人いて、10万データをアクセスするとします。
結果をXX秒以内に全て表示させる必要がある。　等々の条件があれば価格はあがります。

結果が表示されるまで、どれだけまたされてもよい！と言うのであれば価格は下がります。

おはようございます。

岡崎様の回答のとおり、内容を拝見しますとDB的にはとても大規模かつ高機能のように感じました。
しかし、個人で運営されるということに対してデータの量が多すぎるかの知れないと思いました。
実はもう少し単純なのではないかと。

そこで、回答する上で知っておきたいことは次のとおりです。

１）
＞列が2000
これはDB的には項目数が２０００項目あることを意味します。
しかし、本当に２０００項目あるのでしょうか。
Excelで横に２０００項目あったら一覧表を閲覧するにも大変ですし、それを情報を限定してユーザーに見せるにしても、どう閲覧させるか想像がつきません。
この２０００項目というのは、なにかのピボットテーブル的に縦横集計したあとのデータなのではないでしょうか。
集計前は、実は項目数は少ないとかございませんか？
そういう意味でも、まずは、データの正規化のプロセスを一旦踏まないと全体が見えないかも知れません。

２）
サイトの目的です。
個人で運営ということでした。しかし、ある程度大きな費用は発生すると思います。
ボランティア的にデータを提供するサイトを作りたいのか、閲覧は無料だけど広告収入を得るだとか、会員制のサイトにするとかあると思います。
それによってデータの正確性だったり、速度だったり、使いやすさが変わります。

３）
運用は全自動でお考えでしょうか？
本当に仰るとおりの大きさのデータであれば、サーバーサイドで全自動で行うととても負荷が高く、専用サーバーを使用する＝メンテナンスが大変だったり技術トレーニングが必要だったりという要素が増えるとかになってしまいます。
データの収集と集計は今実際にやられていたように手元のパソコンでExcel的に行って、その結果をサーバーにアップロードするという非常にローカルで単純なシステムという選択肢もあります。
毎日なにかしらの手作業やパソコンを占有して使うことになったり、パソコンが壊れた時のことを考えなければならなかったり、いろいろ不安定な要素は増えますが、理解しやすいシステムで工数もおのずと少なくなります。
それは極端としても、例えば元データは日々更新されるものではなく、１年１回とかであれば自動取得の意味もあまりないかも知れないです。

４）
＞システム関連について全くの素人
とのことですが、これだけのシステムを理解していただくためには１００ページのマニュアルと５０時間程度のトレーニングが必要です。
実際はExcelのデータベース機能を使えるとか、phpmyadminの画面でMySQLを操作したことがあるとか、そのくらいのスタートで考えることができれば、数ページのマニュアルと１時間のSkype打ち合わせ数回で済むかも知れません。

以上４点お聞きしたいと思います。