La même puce IA coûte 2,69 $ ou 12,29 $ de l'heure : chiffrez plutôt la tâche
Louez un GPU Nvidia H100 pendant un mois, et la facture peut être de 1 964 ou de 8 972 dollars. Même puce, mêmes heures. La seule différence, c'est l'endroit où vous la louez. C'est la conclusion d'une comparaison de prix publiée par Data Receipts, qui a ramené les prix à la demande d'AWS, d'Azure et de plus petits clouds GPU sur une même base.
En bref
- Le même GPU H100 coûte de 2,69 à 12,29 dollars de l'heure à la demande : un écart de 4,57 fois, selon l'analyse.
- Une partie de l'écart achète de vraies choses : un réseau rapide pour l'entraînement sur plusieurs serveurs, des garanties de service et la conformité. Une autre partie ne vous sert peut-être à rien.
- La plupart des entreprises ne devraient pas louer de GPU du tout. Demandez plutôt combien coûte chaque tâche d'IA, et qui porte ce coût.
Ce que disent les chiffres
L'analyse ne compare que des GPU identiques, le H100 SXM avec 80 Go de mémoire, au prix le plus bas de chaque fournisseur. RunPod Community affiche 2,69 dollars par GPU et par heure, RunPod Secure 3,99, AWS 6,88 et Azure 12,29. Sur un mois de 730 heures, cela fait 1 964 dollars en bas de l'échelle et 8 972 en haut.
L'auteur est prudent sur la signification de cet écart. L'offre haut de gamme d'Azure inclut un réseau InfiniBand très rapide entre GPU, essentiel pour entraîner un modèle sur de nombreux serveurs. RunPod Community repose sur du matériel de tiers, sans garantie de service de centre de données. Les chiffres sont des prix catalogue à la demande, dans une seule région chacun ; les tarifs réservés et « spot » réduiraient l'écart. Et un GPU bon marché que l'on ne peut pas obtenir n'est pas un prix.
La leçon n'est pas « louez le moins cher »
Si vous affinez un modèle sur une seule machine, vous payez peut-être un réseau dont vous ne vous servirez jamais. Si vous entraînez sur 64 machines, l'option bon marché n'en est pas une. Le bon prix dépend du travail.
Pour la plupart des entreprises, la vraie leçon se situe un niveau au-dessus : vous n'avez probablement pas besoin de votre propre GPU. Les assistants de service client, le traitement de documents et les agents vocaux fonctionnent généralement sur des services d'IA facturés à l'usage, où le fournisseur porte le matériel.
Évaluez le coût de la tâche, pas du matériel
Voici une comparaison d'illustration pour une ligne de support. Disons que vous hésitez entre un modèle auto-hébergé sur un H100 loué et un service d'IA facturé à l'usage, pour 15 000 appels par mois.
Faire tourner ce GPU tout le mois coûte entre environ 1 964 et 8 972 dollars aux prix ci-dessus, avant le temps d'ingénierie, la supervision et les mises à jour, que vous receviez 1 500 appels ou 15 000. Avec une facturation à l'usage, le coût suit votre volume : un mois calme coûte moins, un mois chargé coûte plus, et rien ne tourne la nuit pour personne.
L'auto-hébergement devient pertinent avec un volume important et régulier, des règles strictes sur la localisation des données, ou une équipe qui gère déjà ce type d'infrastructure. En dessous, c'est le coût par tâche traitée qu'il faut comparer, pas le coût par heure de GPU.
Les questions à poser à tout fournisseur d'IA
- Combien coûte une tâche à notre volume : une réponse, un document, un appel ?
- Que devient le coût si le volume double, ou s'il diminue de moitié ?
- Où vont nos données, et dans quel pays sont-elles traitées ?
- Pouvons-nous changer de modèle ou de fournisseur sans tout reconstruire ?
C'est avec cette dernière question en tête que nous concevons les agents vocaux IA de Holol-Call, la solution de centre d'appels entrants et sortants pilotée par l'IA de SmartHolol : la discussion porte sur le coût par appel traité et la localisation des données, pas sur le GPU qui se trouve dessous. Notre approche est détaillée sur notre page agents IA.
Un écart de 4,57 fois est un avertissement, pas une bonne affaire
Quand le même matériel peut coûter quatre fois et demie plus cher selon l'étiquette, le bon réflexe est simple : chiffrer chaque projet d'IA par tâche, et demander au fournisseur de montrer le calcul.
Sources
- Data Receipts : 109 — What an H100 actually costs per hour (discussion sur Hacker News)