Common France a le plaisir d’accueillir des spécialistes du Power. Aujourd’hui nous recevons Benoit Marolleau et Philippe Bourgeois (IBM) pour traiter du sujet naissant de l’IA générative pour l’IBM i.
Questions / Réponses
Q :Vous n’avez pas parler de Mistral Ai, sera t-il intégrées derriere watson X ?
Mixtral 8x7b Instruct de Mistral AI est disponible dans le monde entier sur Watsonx !
Ce modèle, un mélange clairsemé d’experts (SMoE) de haute qualité avec des pondérations ouvertes, prend en charge les tâches de questions-réponses, de synthèse, de classification, de génération, d’extraction, de génération augmentée de récupération et de génération de code. Mixtral surpasse Llama 2 70B sur la plupart des benchmarks avec une inférence 6 fois plus rapide. Il gère gracieusement un contexte de 32 000 jetons, il gère l’anglais, le français, l’italien, l’allemand et l’espagnol, et affiche de solides performances en matière de génération de code.
Il est disponible au prix de 0,0018 USD/1000 tokens.
Q: Et pour Watson X on prem ? Quel est le coût à envisager ?
*** Tous les tarifs sont donnés à titre indicatif. ***
Watsonx.ai SaaS , 3 Classes de modeles: class1 $0.0006, class2 $0.0018 , class3 $0.0050 USD / 1000 tokens. (token ~= 4 characters or 3/4 of a word) , Reference point: the collected works of Shakespeare ~ 900,000 words or 1.2M tokens.
Une facture pour un client en usage en production (ex assistant campagne marketing) sera à 420$/mois (80M de tokens) , un usage intensif portera la facture à 2500$/mois (summarization, reports, 500M tokens).
Pour de l’assistance au code avec Watsonx.ai, la facture sera bien moindre bien sûr (proportionnel au nb de tokens, donc à l’usage) . En complement Watsonx Code Assistant à un modele de licence à part, mais comparable.
Watsonx.ai On Prem: demanderait plus de détails sur la configuration, mais je vais tenter une réponse : la mise en place de Watsonx.ai avec une config de base, tous les modeles de fondations (FM), Watson Machine Learning (WML) , Watson Studio commence avec un prereqs d’une infra à 64vCPU et 8 GPU sur du x86 à la charge du client, avec au choix une licence perpétuelle ou par exemple souscription 800$/mois et par VPC (30 VPC minimum approx ), soit 25K$/ mois pour démarrer, en prix catalogue. A valider plus précisément, car le sizing dépends de l’utilisation, et le nb de VPC=30 est un nb minimal théorique.
9h00 – 10h00 – IA générative et développement IBM i
Benoit Marolleau, Senior Solution Architect – IBM
Introduction à watsonx ( AI & Data Platform ) et watson code assistant (génération de code).
Philippe Bourgeois, Consultant IBM i – IBM
Introduction à l’utilisation d’outils d’IA générative pour accompagner les tâches de développement sous IBM i : génération, débogage, conversion, re-engineering et explication de code.