Inferentia2

Inferentia2・Trainium2を本番導入して6ヶ月、GPUコスト70%削減できた話

「このGPU代、持続可能なのか…」と思いながら運用してませんか？うちのチームがInferentia2・Trainium2に移行して気づいたコスト効率の現実と、ハマりポイントを実測データで。