Deepseek Blackwell 最適化
大規模言語モデル向けに前例のない性能と効率を提供する次世代AIアーキテクチャ、DeepSeek-R1-FP4モデルを強化。
API使用例
この簡単なPythonコードを使用して、TensorRT-LLMでDeepSeek-R1-FP4を展開：
from tensorrt_llm import SamplingParams
from tensorrt_llm._torch import LLM
def main():
prompts = [
"Hello, my name is",
"The president of the United States is",
"The capital of France is",
"The future of AI is",
]
sampling_params = SamplingParams(max_tokens=32)
llm = LLM(model="nvidia/DeepSeek-R1-FP4", tensor_parallel_size=8, enable_attention_dp=True)
outputs = llm.generate(prompts, sampling_params)
# Print the outputs.
for output in outputs:
prompt = output.prompt
generated_text = output.outputs[0].text
print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")
# The entry point of the program need to be protected for spawning processes.
if __name__ == '__main__':
main()注：この例では、最新のメインブランチからビルドされたTensorRT-LLMと8台のB200 GPUが必要です。
主な特徴
- DeepSeek-R1-FP4モデル
NVIDIA Blackwellアーキテクチャ向けに最適化されたDeepSeek AI R1モデルの量子化バージョン。パラメータビットを8から4に削減しながら性能を維持。
- TensorRT-LLM最適化
NVIDIAのTensorRT-LLMを活用した高性能推論により、Blackwell GPUでのメモリ要件を削減した効率的な展開を実現。
- 128Kコンテキスト長
最大128Kトークンの拡張コンテキスト長をサポートし、長文書や会話の包括的な分析を一貫性を保ちながら実現。
- 1.6倍のメモリ削減
FP4量子化により、8ビットモデルと比較してディスクサイズとGPUメモリ要件が約1.6倍削減され、より効率的な展開が可能。
よくある質問
- NVIDIA Blackwellとは何ですか？
- NVIDIA Blackwellは、大規模言語モデルやその他のAIワークロードに前例のない性能と効率を提供するために設計された次世代AIアーキテクチャです。DeepSeek-R1-FP4モデルを支えるハードウェアプラットフォームです。
- DeepSeek-R1-FP4とは何ですか？
- DeepSeek-R1-FP4は、NVIDIA Blackwellアーキテクチャ向けに最適化されたDeepSeek AI R1モデルの量子化バージョンです。FP4量子化を使用してメモリ要件を削減しながら、推論タスクの高性能を維持します。
- なぜFP4量子化を使用するのですか？
- FP4量子化はパラメータあたりのビット数を8から4に削減し、ディスクサイズとGPUメモリ要件を約1.6倍削減します。これにより、性能を大幅に低下させることなく、大規模言語モデルのより効率的な展開が可能になります。
- DeepSeek-R1-FP4モデルをどのように展開できますか？
- このモデルは、NVIDIA Blackwell GPU上でTensorRT-LLMを使用して展開できます。展開のためのサンプルコードはHugging Faceモデルページで提供されており、最新のメインブランチからビルドされたTensorRT-LLMと8台のB200 GPUが必要です。