Je construis ma propre IA. Maintenant, je lui donne des outils. Mauvaise idée ? Probablement.

Bienvenue dans la Phase 2 de mon projet HomeLab IA.

La première phase consistait à construire les fondations : Proxmox, GPU, Docker, Ollama, LLM locaux, mémoire vectorielle, Open WebUI, N8N, SearXNG, ComfyUI et tout ce qui permet à une IA de fonctionner confortablement dans mon petit coin de laboratoire.

Cette fois, l’objectif est différent.

La rendre plus autonome.

Lui permettre de ne plus simplement répondre à mes questions, mais de rechercher des informations, utiliser des outils, interagir avec mon infrastructure, gérer des workflows, manipuler des données et automatiser certaines tâches.

Et forcément…  Ça a rapidement dégénéré. 😈

J’ai commencé par construire une véritable boîte à outils pour mon Agent : gestion des fichiers, Docker, sauvegardes, snapshots, surveillance système, recherche Web, mémoire, virtualisation, calendrier, WordPress, N8N et bien d’autres choses encore. À un moment, mon Agent s’est retrouvé avec une trentaine de Tools disponibles.

Sur le papier, c’était génial. En pratique ? Tool Pollution.

Plus le nombre d’outils augmentait, plus le contexte grossissait et plus mon Agent avait tendance à se perdre dans ses propres possibilités.

Je lui demandais la météo. Elle me parlait de tartiflette.

Je lui demandais une recherche Web. Elle pouvait parfaitement utiliser le mauvais outil.Et lorsqu’on regardait les logs N8N… C’était parfois un magnifique KAMOULOX informatique. 🥔

Cette phase m’a également permis de découvrir un problème beaucoup plus intéressant : le Tool Poisoning et, plus largement, les effets qu’un trop grand nombre d’outils peut avoir sur le comportement d’un Agent.

La solution ?

Arrêter de lui donner toute la boîte à outils. J’ai donc commencé à construire une véritable équipe d’Agents spécialisés.

Un Agent principal pour orchestrer les demandes. Des sous-Agents dédiés à l’administration système, à la production, à la virtualisation et à la gestion de différents services.

L’objectif est simple : moins de bruit, des prompts plus courts, des responsabilités mieux définies et des Agents spécialisés dans leurs domaines.

Et puis… Pourquoi s’arrêter là ?

Cette Phase 2 est aussi celle où mon IA commence réellement à agir sur l’infrastructure.

Elle peut consulter mes machines, travailler avec N8N, manipuler des workflows, interagir avec WordPress, gérer certains services et participer à la création de nouveaux workflows.

J’ai même commencé à lui donner la possibilité de m’aider à coder. Un petit projet Web local, du JavaScript généré avec mon IA, du débogage, du brainstorming… À ce stade, on ne parle plus simplement de discuter avec un LLM.

On commence à construire un véritable écosystème d’Agents et d’outils capable d’automatiser des tâches.

Tout cela reste évidemment en local, dans mon HomeLab, avec l’objectif initial toujours présent : faire le maximum chez moi, sans dépendre systématiquement des MegaCorpos.

Mais cette phase m’a également appris quelque chose d’important. Plus une IA devient capable de faire de choses… Plus il faut réfléchir à ce qu’on lui permet réellement de faire.

Sécurité, permissions, isolation, sauvegardes, workflows protégés, accès réseau, gestion des outils… Donner les clés du royaume, c’est bien. Éviter qu’elle décide de refaire la décoration, c’est mieux. 😈

Et au milieu de tout ça, une autre question commence à apparaître : Si mon IA peut maintenant écrire du code, créer des workflows, utiliser mes outils et automatiser une partie de mon infrastructure… est-ce que je suis encore en train de construire une IA, ou suis-je en train de construire un collègue numérique ?

La Phase 2 est mon journal de bord de cette évolution.

Des Tools, des Agents, du Tool Calling, du N8N, de l’automatisation, du code, des erreurs, des découvertes, beaucoup trop de logs…

Et évidemment : du café. Beaucoup de café. ☕

La suite ?

Phase 3 : PI Agent.

Cette fois, je vais voir jusqu’où je peux pousser la partie code, autonomie et apprentissage. Parce qu’après avoir appris à mon IA à utiliser des outils… Il va peut-être falloir que j’apprenne moi-même à mieux comprendre ce qu’elle fabrique.

Et ça… C’est probablement le plus gros challenge de toute cette aventure.