Coder avec mon IA
Voilà maintenant le grand bain.
Avec tout ce que j'ai mis en place, je tente l'impensable au début de cette expérience :
Créer un workflow, du code et une interface Web avec mon IA locale.
Je pars sur un petit projet rapide autour d'un portefeuille boursier. Le but est de m'affranchir des MegaCorpos, de pouvoir mettre en place
tout en interne et de gérer les problèmes directement avec mon IA.
Cependant, il y a pas mal de limitations à tout faire chez soi.Limitation du LLM
Le LLM est petit au final par rapport aux versions Cloud.
Mon Qwen 3.8 à 27B paramètres est bien, mais sort de la carte graphique.
Upgrade en cours.
Pour le moment, le délai de réponse est assez élevé et je ne peux pas faire plusieurs choses en même temps. Discuter avec un LLM et générer une image sur l'autre, par exemple.
Même problème si je veux plusieurs sous-Agents LLM spécialisés, différents du LLM de l'Agent principal.
Il faut alors que je passe mon temps à flush les LLM pour switcher de l'un à l'autre afin d'économiser de la VRAM.
C'est tout de suite plus compliqué.
Et au final... Bien moins rapide.
Le prix des versions Cloud pour une utilisation personnelle ne coûte pas spécialement cher. Bien moins qu'une carte vidéo. Quand on dépense 1 000 € dans une carte vidéo de 16 Go et qu'un compte IA Cloud est autour de 20 €/mois, cela représente un peu plus de quatre
ans d'abonnement. Maintenant, on parle aussi de transmettre à un moment nos données quelque part.
Bon...
Après, rien ne dit que mon LLM ne discute pas avec l'extérieur. En vrai, si, vu comment c'est compliqué de lui demander la météo. :D
Bref.
Après, on rentre dans beaucoup de parano. Et concrètement, le deal de base est simple :
Tout faire chez soi.
Donc...
Faisons tout chez nous. :D
