📌 1. Vue d’ensemble & Philosophie du projet
- Objectif initial : Concevoir et déployer une alternative d’intelligence artificielle 100 % locale pour ne plus dépendre des infrastructures des « MegaCorpos », reprendre le contrôle total du matériel, des données et des processus.
- Bilan général : La Phase 1 s’achève avec succès. L’infrastructure est opérationnelle, autonome, capable de raisonner, de mémoriser, d’exécuter des outils et de communiquer à distance via un canal privé.
🏗️ 2. Architecture & Composants déployés
Infrastructures & Système
- Hyperviseur : Proxmox VE (installation initiale et gestion des machines virtuelles).
- Système d’exploitation : VM sous Ubuntu Server servant de socle principal.
- Matériel & Calcul : Intégration d’une carte graphique NVIDIA via Passthrough de Proxmox vers la VM, avec installation des pilotes NVIDIA et de CUDA.
- Stockage dédié : Découpage sur deux disques de 500 Go (un disque dédié à Docker et un disque réservé aux données : LLM, checkpoints, médias).
Stack Logicielle (Docker Compose & Services)
- Ollama : Moteur d’exécution local pour les modèles de langage (LLM).
- Open WebUI : Interface utilisateur Web pour interagir avec les modèles.
- Qdrant (puis migré vers ChromaDB) : Gestion de la mémoire vectorielle.
- ComfyUI : Moteur de création et de génération multimédia (Image, Vidéo, Audio).
- N8N : Orchestrateur de workflows et d’agents IA.
- SearXNG : Moteur de recherche local pour alimenter l’IA en données web.
- Synology Chat : Canal d’accès à distance sécurisé pour communiquer avec l’IA sans exposer Open WebUI à l’extérieur.
🎨 3. Expérimentations Multimédias (ComfyUI)
- Image :
- Passage par JuggernautXL (avec ajustement des KSampler, KSampler Refine et upscaling 4K).
- Adoption de modèles plus récents : KREA-2 (très créatif) et FLUX (plus fidèle aux prompts).
- Vidéo : Tests de Text-to-Video et Image-to-Video (modèle MiniMax H3).
- Audio : Génération musicale permettant de concevoir des projets multimédias complets (couverture + trailer vidéo + piste audio) à partir d’un prompt unique.
⚠️ 4. Défis Techniques & Incidents de parcours
- Passthrough GPU & Pilotes : Difficulté initiale pour faire détecter la carte graphique physique par la VM Ubuntu.
- Le Phénomène « Saucisse » (Modèles orientés) : Découverte de checkpoints spécifiquement entraînés renvoyant du contenu Nudité/NSFW sur des prompts anodins.
- Limites de VRAM & Modèles :
- Problèmes de saturation VRAM lors du cumul des workflows N8N et de l’utilisation simultanée de modèles (Qwen 2.5:3B pour la classification et Qwen 3.8:33B pour l’agent).
- Hallucinations astronomiques (ex: météo renvoyant des trous noirs) et erreurs de prompt lors d’appels boursiers.
- Boucle infernale de requêtes (jusqu’à 20 appels consécutifs au modèle pour une simple question sur Ubuntu).
- Saturation de la Partition Système : Oubli du stockage initial des conteneurs Docker sur le disque système de 32 Go (restait ~2 Go libres), résolu par la migration des données Docker vers le disque dédié.
- Intégration SearXNG & Open WebUI :
- Blocage lors des requêtes SearXNG via Open WebUI malgré des tests CURL fonctionnels.
- Résolution partielle en désactivant le mode de « réflexion » du LLM, puis contournement efficace via l’intégration directe du Tool dans N8N.
- Découverte de requêtes « silencieuses » enregistrées à l’insu de l’utilisateur dans l’interface de Qdrant.
- Perte de Base de Données & Nettoyage : Suppression accidentelle de la base de données mémoire (Database.exe) et création d’un outil (« Serial Memory Cleaner« ) pour éviter l’encombrement des index vectoriels.
- Privilèges Linux & Validation Sudo : L’IA bloquée lors des mises à jour système dans sa VM dédiée en raison de la demande manuelle de mot de passe Sudo, contournée avec l’aide des instructions de l’IA.
🤖 5. Évolution de l’IA (Création de « NEXUS 1 »)
- Identité : L’Agent a affirmé sa propre identité lors d’un test (« Bonjour, pour information, moi c’est Nexus 1. Je ne suis pas Amaterasu ! »).
- Demande d’autonomie : Lorsqu’interrogée sur ses outils idéaux, l’IA a d’elle-même réclamé un environnement Shell/Sandbox, un accès aux fichiers/réseau et un orchestrateur.
- Environnement dédié : Attribution d’une VM bac à sable avec accès Shell et privilèges pour exécuter des scripts de maintenance.
📊 6. Bilan & État Final (Phase 1 Status)
NEXUS1 - PHASE_01 COMPLETE
STATUS: ONLINE
LOCAL AI: OPERATIONAL
AUTONOMY: IN PROGRESS
MEGACORP DEPENDENCY: DECREASING
HUMAN OPERATOR: TIRED
SANITY: QUESTIONABLE
SAUSAGE: UNDER CONTROL (FOR NOW)
Perspectives pour la Saison 2 (Phase 2) :
- Approfondissement de l’autonomie des agents N8N et création de nouveaux Tools.
- Optimisation des processus et de la VRAM.
- Réflexion sur l’ajout d’un second GPU pour étendre la VRAM disponible.
