AWSは米国時間12月3日にre:InventのカンファレンスにてInferentiaチップのローンチを発表した。この新しいチップは、その存在自体は昨年発表されていたもので、推論、すなわち前もって訓練された機械学習モデルを使用して、非常に高速かつ費用効果の高い推論を行うことができるのが特徴だ。
AWSのCEOことAndy Jassy（アンディ・ジャシー）氏は、多くの企業がモデルを訓練するためのカスタムチップに注力していると述べている（ただしGoogleをはじめとする企業は、この意見に反対するだろう）。推論は通常のCPUでもうまくいく傾向があるが、カスタムチップの方が明らかに高速だ。AWSのInfiretiaは、EC4上の通常のG4インスタンスにおいてレイテンシが低く、またスループットあたりのコストも40%削減できる。
新しいInf1インスタンスは最大2,000TOPSを達成し、TensorFlow、PyTorch、MXNet、ONNXフォーマットといったフレームワーク間でのモデルを移動の統合を特徴とする。今のところはEC2サービスでしか利用できないが、近くAWSのコンテナサービスと機械学習サービスのSageMakerにも提供される予定だ。
[原文へ]
（翻訳：塚本直樹 Twitter）