クラウドサービスを使ったGPUの場合には従量課金でコストパフォーマンスが高い運用を期待できるという点がポイントとして挙げられます。
オンプレミスの場合には、どのくらいのリソースが必要かということを見積りながら導入するため実際に必要なリソースの確保をジャストサイズで見定めるのが極めて難しいです。
さらに、プロジェクトによって必要なリソース数が変わってくるため、柔軟性の高さが求められます。
このようなときにクラウドサービスが優位になるのです。

しかし、オンプレミスが一概に悪いというわけでもありません。
オンプレミスが強みを持っているポイントとはクラウドサービスのように一定の縛りを持たせずにリソースを準備することが出来ます。
そのため、キャパシティの限界までGPUを活用させることが出来るのです。
このことはコスト管理にも有効に働き、経済的な都合を考えた場合オンプレミスが良いこともあるのです。

また、オンプレミスとクラウドサービスを併用するパターンもあります。
必要最低限のリソースはオンプレミスで確保し、それよりも必要なプロジェクトな場合にはクラウドサービスも併用するのです。
このことによって、お互いを単品で利用するよりも効率的な運用が実現するのです。