Transformerモデルの量子化フレームワークの提案 AI・チャットボット開発の仕事の依頼
仕事の概要
|
固定報酬制
|
22,000,000円
|
|---|---|
|
納品希望日
|
- |
|
掲載日
|
2026年06月26日 |
|
応募期限
|
2026年07月10日 |
応募状況
| 応募した人 | 59 人 |
|---|---|
| 契約した人 | 0 人 |
| 募集人数 | 3 人 |
| 気になる！リスト | 24 人 |
仕事の詳細
|
クラウドワークス掲載用：新しい量子化フレームワーク開発 提案依頼書（RFP） 概要 当方では、ローカルLLMおよび推論環境向けに、新しい量子化フレームワークの開発を検討しています。 本プロジェクトを簡潔に説明すると、 「10GB級のLLMを極低ビット量子化しても、品質劣化をほぼ発生させない新しい量子化手法の開発」 を目的としています。 競合・比較対象としてはLiteRT系アプローチを想定していますが、単なる軽量化ではなく、LLM特化の推論品質維持を最重要視します。 既存のGGUF / GPTQ / AWQ / EXL2等とは異なるアプローチを含め、推論速度・VRAM効率・品質維持を重視した新方式の研究・実装を進めるため、設計・実装・検証を担当できるエンジニア／研究開発パートナーを募集します。 本案件は単なる変換ツールではなく、独自の量子化アルゴリズム設計・CUDA最適化・推論統合まで含む、中長期的なR&D案件です。 依頼内容 開発対象 以下を含む新しい量子化フレームワークの設計・開発。 想定要素 LLM向け量子化アルゴリズム設計 CUDA / Triton / Vulkan等による高速化 低VRAM推論最適化 KV Cache最適化 Layer単位の動的量子化 混合精度推論 CPU/GPUハイブリッドロード モデル変換パイプライン ベンチマークシステム 推論ランタイム統合 Ollama / llama.cpp / vLLM 等との互換性検討 参考アーキテクチャ 本案件では、GoogleのLiteRT（旧TensorFlow Lite系統の軽量推論思想）に近い「軽量・高速・省メモリ」設計思想も参考対象としています。 ただし単純なLiteRT互換実装ではなく、LLM向けに以下を重視した独自拡張を検討しています。 大規模Transformer向け量子化 GPUネイティブ最適化 ローカルLLM特化設計 動的推論最適化 KV Cache最適化 CUDA/Triton統合 GGUF系とは異なる新フォーマット検討 Edge/ローカル推論向け軽量ランタイム また、LiteRTのような以下の特徴も参考にしています。 モデル実行の軽量化 メモリ効率改善 推論ランタイム簡素化 ハードウェア適応最適化 推論時最適化 現在想定している方向性 以下は現時点のアイデアであり、実際には提案ベースで柔軟に変更可能です。 候補アイデア Weightごとの非均一量子化 レイヤー重要度ベース量子化 動的再量子化 推論時適応型量子化 Sparse化とのハイブリッド 独自フォーマット化 メモリマッピング最適化 GPUアーキテクチャ別最適化 RTX 40系向け最適化 Apple Silicon向け最適化 ベンチマーク方針 本案件では、理論値や簡易比較ではなく、実機環境での実測ベンチマークを重視します。 特に以下を重要評価項目とします。 重視項目 実際のVRAM使用量 Token/s（実測） 初回ロード時間 KV Cache使用量 長文推論時安定性 GPU使用率 CPU/GPU負荷分散 消費メモリ推移 発熱・電力効率 バッチサイズ別性能 長時間稼働安定性 想定テスト環境 RTX 4070 Ti RTX 50系（将来的検証） Apple Silicon Windows Linux ベンチマーク対象候補 llama.cpp GGUF AWQ GPTQ EXL2 vLLM LiteRT系設計 評価方針 単純な圧縮率ではなく、以下の総合評価を重視します。 実用推論速度 品質維持率 VRAM効率 長時間安定性 実運用適性 開発ゴール 目標 既存方式よりVRAM消費削減 品質劣化最小化 実用的な推論速度維持 ローカル推論環境での安定動作 モデルロード高速化 マルチGPU対応の可能性検討 想定モデル Llama系 Gemma系 その他HuggingFace系モデル ※ 特にLlamaおよびGemma系列を主要ターゲットとして想定しています。 必須スキル 必須 Python PyTorch CUDA または Triton Transformerアーキテクチャ理解 量子化手法への理解 Linux開発経験 Git/GitHub運用経験 歓迎 llama.cpp開発経験 vLLM開発経験 CUDA Kernel最適化 C/C++ Rust Vulkan Apple Metal ONNX/TensorRT AI推論高速化経験 OSS開発経験 想定成果物 ソースコード セットアップ手順 ドキュメント ベンチマーク結果 サンプルモデル 推論比較レポート API仕様書 開発体制 想定 フルリモート GitHubベース Discord / Slack / Chatwork 等で連絡 週次または隔週進捗共有 契約形態 想定 準委任 フェーズ分割 PoC → 本開発 継続案件化の可能性あり 応募時にお願いしたい内容 以下を応募時にご共有ください。 過去の関連実績 GitHub CUDA/Triton経験 量子化関連経験 LLM推論最適化経験 稼働可能時間 希望単価 得意領域 実装可能と思われるアプローチ提案 求める開発者像 本案件では、「これから学習を始める方」ではなく、日常的にLLM推論・量子化・CUDA最適化等へ継続的に取り組んでいる方を対象としています。 特に以下を重視します。 実際に自身でもローカルLLMを利用している 日頃から量子化や推論高速化を研究している OSSや海外研究者の論文を継続的に追っている arXiv等の最新論文を常時把握している 論文実装（Paper Implementation）の経験がある 論文から着想を得て独自フレームワークや最適化を開発した経験がある 実機検証を行っている CUDA/Triton等を実務・個人開発で利用している 単なる受託ではなく技術的関心を持っている また、本案件では「これから試したい」「学習目的で参加したい」という段階の応募は想定していません。 実際に開発・検証・運用経験がある方を優先します。 重視するポイント 実装力 研究開発力 CUDA最適化能力 問題解決能力 長期的な改善提案 実験・検証能力 OSSリーディング能力 また、以下のようなアプローチが可能と考えています。 （自由記述） よろしくお願いいたします。 |
クライアント情報
最近応募したクラウドワーカー
| クラウドワーカー | 応募日時 |
|---|---|
ishizawa0071
|
2026/07/10 17:18 |
SilverHomura
|
2026/07/09 22:06 |
_さくら_
|
2026/07/05 11:14 |
玉井 将
|
2026/07/02 13:16 |
ChowTra
|
2026/07/02 10:31 |
Web開発Kai
|
2026/06/30 08:58 |
NekoForge
|
2026/06/28 00:41 |
Obing
|
2026/06/27 23:20 |
NovaTech
|
2026/06/26 19:30 |
WebLOVE
|
2026/06/26 19:20 |
Imoii_007
|
2026/06/26 16:36 |
TopCrowd
|
2026/06/26 16:34 |
|
田中 里奈
|
2026/06/26 16:34 |
COOL猫
|
2026/06/26 12:13 |
SkillDev
|
2026/06/26 11:43 |
YoshidaTec
|
2026/06/26 11:31 |
|
（退会済み）
|
2026/06/26 11:08 |
|
（退会済み）
|
2026/06/26 11:08 |
|
（退会済み）
|
2026/06/26 11:07 |
|
Bigge
|
2026/06/26 11:07 |
