ワーカープロフィール
個人 / 男性 / - ( 神奈川県 )
最終アクセス: 3ヶ月前
- ステータス
- 対応可能です
- 時間単価
- 3,500 〜 5,000円
-
稼働可能
時間/週 - 20〜30時間
- 登録日
- 2018年09月02日
| 職種 |
|---|
| スキル |
|---|
自己紹介
エンジニアの経験年数は６年です。
Web系のベンチャー企業に４年ほどおりまして、そこで課金システムのマイクロサービス化やユーザの営業活動のデータ管理システムなどの開発を行っていました。
要件定義からデータ設計、実装からAWSへのデプロイまでを担当していました。
また、学習用のデータやビジネス企画の検証用のデータを収集するためにいろいろなページをスクレイピングしていました。静的なサイトからReactなどによる動的なサイトのスクレイピングなどを行っていましたので、だいたいどんなサイトもスクレイピングできます。ReactなどのSPAのサイトはスクレイピングするときにヘッドレスクロームを動かす必要があり、APIのデータ取得とレンダリングを待つ必要があるのでそこの安定化は苦労するポイントでした。
その後大手キャリアのR&D部門でビッグデータ基盤の開発に携わっていました。
KubernetesやEMRを用いた大規模データの並列分散処理の設計から実装、パフォーマンス・チューニングなどを行っていました。データの規模は１日あたり２TBほどのデータを処理していたので、システムの規模としてはかなり大きいものでしたが、ほぼ一人で担当するというものでした。
現在は受託開発の会社で設計から開発、インフラの構築から運用などほぼすべての工程に関わっています。最近一番苦労した実装は、課金に関わる夜間バッチで一晩で扱うデータ数が１８００万レコードを超えても２時間以内に収まるように、GCPのFunctionとPub/Subを用いて並列処理するようにした実装です。