Exécuter des modèles LLM localement avec Ollama sur mini-PC en 2026

Ollama est un outil open source qui permet d’exécuter des modèles de langage (LLM) directement sur votre matériel, sans avoir besoin de recourir à des serveurs externes. En l’installant sur un mini-PC, vous transformez ce dernier en une plateforme d’auto-hébergement capable de gérer des tâches d’IA comme la génération de texte, l’assistance au codage ou les réponses à des questions, tout en conservant le contrôle total de vos données. Sur le papier, cette solution est particulièrement adaptée aux environnements compacts et aux usages domestiques, car elle combine légèreté et efficacité. Les mini-PC comme le Beelink Mini S12 Pro, avec leur processeur Intel N100 et leur mémoire limitée à 16 GB, sont souvent utilisés pour des tâches similaires comme l’exécution de Home Assistant ou de Proxmox. Cependant, leur capacité à faire tourner des LLM dépendra de l’optimisation des modèles et de la configuration logicielle choisie. Ce tutoriel vous guide pas à pas pour installer Ollama sur un mini-PC, télécharger un premier modèle, et configurer l’API REST, le tout en local pour une expérience sécurisée et autonome.

Prérequis

Pour installer Ollama sur un mini-PC, assurez-vous que votre système répond aux prérequis suivants :

Système d’exploitation : Linux (Ubuntu 20.04+), macOS 11+, ou Windows 10+ avec WSL2
Mémoire RAM : au moins 8 GB pour les modèles recommandés (7B-8B paramètres)
Stockage : 5 à 10 GB d’espace libre par modèle
Réseau : une connexion Internet pour le téléchargement initial des modèles
Docker : installé et configuré pour les déploiements en conteneur
Ports exposés : 11434 pour l’API REST d’Ollama
Mini-PC recommandé : Le Beelink Mini S12 Pro (N100, 16 GB) ou le Beelink ME mini (N150, 6 slots M.2) pour un déploiement compact et performant

Installation pas à pas

Étape 1 : Préparer le mini-PC

Avant de commencer, assurez-vous que votre mini-PC est prêt pour l’installation. Sur le papier, un mini-PC comme le Beelink Mini S12 Pro avec 16 GB de RAM et un processeur Intel N100 est adapté pour des modèles de taille moyenne. Cependant, en pratique, ce type d’appareil peut avoir des limitations en termes de puissance de calcul et de mémoire disponible pour des modèles plus volumineux.

Pour les systèmes Linux, mettez à jour votre package manager avant l’installation :

sudo apt update && sudo apt upgrade -y

Vérifiez ensuite que Docker est bien installé et fonctionnel :

docker --version

Si Docker n’est pas installé, suivez les instructions officielles pour votre distribution. Par exemple, sur Ubuntu :

sudo apt install docker.io docker-compose -y

Activez et démarrez le service Docker :

sudo systemctl enable docker --now

Ajoutez votre utilisateur au groupe Docker pour éviter d’avoir à utiliser sudo avec les commandes Docker :

sudo usermod -aG docker $USER

Vérification : Redémarrez votre session utilisateur ou utilisez newgrp docker pour appliquer les changements de groupe. Testez ensuite Docker avec une commande simple :

docker run hello-world

Étape 2 : Créer un volume Docker dédié pour Ollama

Pour persister les modèles téléchargés et éviter de les perdre lors de la suppression du conteneur, créez un volume Docker dédié. Ce volume stockera les fichiers des modèles dans le répertoire /root/.ollama du conteneur.

# Créer un volume nommé 'ollama'
docker volume create ollama

Vérification : Listez les volumes existants pour confirmer la création :

docker volume ls

Étape 3 : Configurer les permissions pour le volume

Le volume nommé ollama ne demande aucun réglage de permissions, car le conteneur tourne en root. Cette étape ne sert que si vous préférez monter un dossier de l’hôte (-v /opt/ollama:/root/.ollama) à la place du volume nommé.

# Créer un répertoire local pour le volume (optionnel mais recommandé)
sudo mkdir -p /opt/ollama/models

# Donner les permissions nécessaires au volume
sudo chown -R 1000:1000 /opt/ollama

Vérification : Vérifiez les permissions avec la commande :

ls -ld /opt/ollama

Étape 4 : Lancer Ollama en conteneur Docker

Utilisez l’image officielle ollama/ollama pour lancer le conteneur. Cette image inclut tous les composants nécessaires pour faire tourner Ollama, y compris le serveur et les backends d’inférence.

# Lancer le conteneur Ollama
# -d : mode détaché (en arrière-plan)
# -v ollama:/root/.ollama : monter le volume Docker dédié
# -p 11434:11434 : exposer le port de l'API REST
# --name ollama : nommer le conteneur
# --restart unless-stopped : redémarrer automatiquement sauf si explicitement arrêté
# -e OLLAMA_HOST=0.0.0.0 : configurer Ollama pour écouter sur toutes les interfaces

docker run -d \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  --restart unless-stopped \
  -e OLLAMA_HOST=0.0.0.0 \
  ollama/ollama

Vérification : Vérifiez que le conteneur est bien en cours d’exécution :

docker ps

Étape 5 : Vérifier l’installation d’Ollama

Une fois le conteneur lancé, vérifiez que Ollama est bien installé et fonctionnel. La commande --version permet de confirmer que la version stable est opérationnelle.

# Vérifier la version d'Ollama (Ollama tourne dans le conteneur : on passe par docker exec)
docker exec ollama ollama --version

Vérification : Si la commande ne retourne pas de version, vérifiez les logs du conteneur pour diagnostiquer le problème :

docker logs ollama

Étape 6 : Télécharger un premier modèle

Ollama propose plus de 100 modèles pré-quantifiés sur ollama.com/library. Pour un mini-PC avec 16 GB de RAM sans GPU dédié, un petit modèle de 3B paramètres est un bon point de départ ; un 7B ou 8B reste possible mais plus lent.

# Télécharger le modèle 'llama3.2:3b' (3 milliards de paramètres)
docker exec ollama ollama pull llama3.2:3b

Vérification : Listez les modèles installés pour confirmer le téléchargement :

docker exec ollama ollama list

Étape 7 : Exécuter le modèle téléchargé

Une fois le modèle installé, vous pouvez l’exécuter directement depuis la ligne de commande. Ollama utilise la commande run pour lancer une inférence avec un modèle.

# Exécuter le modèle 'llama3.2:3b' avec une requête simple
docker exec -it ollama ollama run llama3.2:3b "Quelle est la capitale de la France ?"

Vérification : Vérifiez que la réponse est correcte et que le modèle s’exécute sans erreur.

Étape 8 : Configurer l’API REST pour une utilisation externe

Pour accéder à l’API REST d’Ollama depuis un autre appareil ou un outil comme Open WebUI, configurez l’API pour qu’elle soit accessible sur le réseau local. Assurez-vous que le port 11434 est bien exposé et accessible.

# Exécuter une requête via l'API REST
curl -X POST http://localhost:11434/api/generate -d '{
  "model": "llama3.2:3b",
  "prompt": "Quelle est la capitale de la France ?",
  "stream": false
}'

Vérification : Vérifiez que la requête retourne une réponse JSON valide avec le champ response. Si vous utilisez un autre appareil, remplacez localhost par l’adresse IP du mini-PC (par exemple, 192.168.1.50).

Étape 9 : Optimiser les performances avec la configuration avancée

Pour améliorer les performances d’Ollama sur un mini-PC, configurez les options avancées dans le fichier docker-compose.yml. Cela permet de gérer les ressources allouées au conteneur et d’optimiser l’utilisation de la mémoire et du CPU.

version: "3.8"

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    restart: unless-stopped
    volumes:
      - ollama:/root/.ollama
    ports:
      - "11434:11434"
    environment:
      - OLLAMA_HOST=0.0.0.0
    deploy:
      resources:
        limits:
          cpus: "4"
          memory: 16G
    networks:
      - ollama_network

volumes:
  ollama:
    name: ollama

networks:
  ollama_network:
    name: ollama_network
    driver: bridge

Vérification : Enregistrez ce fichier dans un dossier dédié (par exemple ~/ollama). Supprimez ensuite le conteneur créé à l’étape 4, sinon le nom ollama est déjà pris. Relancez enfin avec la nouvelle configuration et vérifiez les ressources allouées :

mkdir -p ~/ollama && cd ~/ollama
# placez ici le fichier docker-compose.yml
docker stop ollama && docker rm ollama
docker-compose up -d
docker stats --no-stream ollama

Vérifications

Pour confirmer que l’installation d’Ollama sur votre mini-PC est réussie, exécutez les commandes suivantes dans l’ordre indiqué. Ces vérifications permettent de s’assurer que le conteneur est bien lancé, que les modèles sont accessibles, et que l’API REST répond correctement.

# Vérifier le statut du conteneur Ollama
docker ps

# Tester la génération de texte avec un modèle
docker exec -it ollama ollama run llama3.2:3b "Bonjour, peux-tu te présenter ?"

# Vérifier que l'API REST est accessible
curl -X POST http://localhost:11434/api/generate -d '{
  "model": "llama3.2:3b",
  "prompt": "Bonjour, peux-tu te présenter ?",
  "stream": false
}'

Si toutes ces commandes retournent des résultats attendus (texte généré, réponse JSON valide), votre installation est fonctionnelle. Vous pouvez maintenant utiliser Ollama en local pour des tâches d’IA variées.

Sécurité et bonnes pratiques

Pour sécuriser votre instance locale d’Ollama, plusieurs bonnes pratiques doivent être mises en place. Tout d’abord, sachez que le serveur Ollama n’a aucune authentification : toute machine qui atteint le port 11434 peut utiliser l’API. Si l’accès depuis le réseau n’est pas nécessaire, publiez le port uniquement en local (-p 127.0.0.1:11434:11434). Sinon, filtrez l’accès aux seules machines de confiance (attention : les ports publiés par Docker contournent ufw, filtrez dans la chaîne DOCKER-USER) ou placez Ollama derrière un reverse proxy avec authentification. La variable OLLAMA_ORIGINS ne règle que le CORS des navigateurs : ce n’est pas un contrôle d’accès, et elle ne doit jamais valoir *.

Ensuite, mettez régulièrement à jour Ollama et ses modèles pour bénéficier des dernières corrections de sécurité et des améliorations de performance. Utilisez les commandes Docker pour mettre à jour l’image :

# Arrêter le conteneur Ollama
docker stop ollama

# Supprimer le conteneur existant
docker rm ollama

# Télécharger la dernière version stable de l'image
docker pull ollama/ollama

# Redémarrer le conteneur avec la nouvelle version
docker run -d \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  --restart unless-stopped \
  -e OLLAMA_HOST=0.0.0.0 \
  ollama/ollama

Enfin, sauvegardez régulièrement le volume Docker dédié (ollama) pour éviter de perdre vos modèles en cas de problème matériel ou logiciel. Utilisez la commande docker volume inspect pour localiser le volume, puis sauvegardez-le avec un outil comme rsync ou tar :

# Localiser le volume Docker
docker volume inspect ollama

# Sauvegarder le volume (remplacez /chemin/vers/backup par votre emplacement)
sudo rsync -av /var/lib/docker/volumes/ollama/_data/ /chemin/vers/backup/ollama/

Ces mesures garantissent une utilisation sécurisée et durable d’Ollama sur votre mini-PC.

Dépannage : erreurs courantes

Cause : Docker n’a pas les permissions nécessaires pour accéder au volume dédié.
Correctif : Configurez les permissions du volume avec sudo chown -R 1000:1000 /opt/ollama ou utilisez un volume Docker standard.

Symptôme : L’API REST d’Ollama ne répond pas

Cause : Le port 11434 n’est pas correctement exposé ou le conteneur n’écoute pas sur toutes les interfaces.
Correctif : Vérifiez que le conteneur est lancé avec docker ps et que le port est bien monté avec docker inspect ollama. Assurez-vous que la variable d’environnement OLLAMA_HOST=0.0.0.0 est configurée.

Symptôme : Le modèle ne s’exécute pas correctement

Cause : Le mini-PC n’a pas assez de mémoire RAM pour le modèle téléchargé.
Cause : Le processeur Intel N100 peut ne pas être suffisamment puissant pour certains modèles.
Correctif : Utilisez un modèle plus petit (par exemple, llama3.2:1b) ou augmentez la mémoire RAM de votre mini-PC.

Symptôme : Ollama consomme trop de CPU ou de RAM

Cause : Le conteneur n’est pas correctement limité en ressources.
Correctif : Modifiez le fichier docker-compose.yml pour ajouter des limites de CPU et de mémoire, puis redémarrez le conteneur avec docker-compose up -d.

Symptôme : Le modèle ne répond pas après un certain temps

Cause : Le modèle a saturé la mémoire disponible ou le mini-PC a atteint sa limite thermique.
Correctif : Vérifiez la température du mini-PC avec sudo apt install lm-sensors && sensors et assurez-vous que la ventilation est suffisante. Si nécessaire, utilisez un modèle plus petit ou réduisez la charge de travail.

FAQ

Comment activer la gestion des ressources pour Ollama sur Docker ?

Dans le fichier docker-compose.yml, ajoutez une section deploy.resources.limits pour configurer les ressources allouées au conteneur. Par exemple, pour limiter le CPU à 4 cœurs et la mémoire à 16 GB :

deploy:
  resources:
    limits:
      cpus: "4"
      memory: 16G

Comment exposer Ollama sur le réseau local sans compromettre la sécurité ?

OLLAMA_ORIGINS ne limite que les requêtes faites depuis un navigateur (CORS) et ne protège pas l’API, qui n’a pas d’authentification. Restreignez donc l’accès au port 11434 (filtrage dans la chaîne DOCKER-USER ou reverse proxy avec authentification). En complément, vous pouvez n’autoriser qu’une seule origine web :

-e OLLAMA_ORIGINS=http://192.168.1.50

Comment sauvegarder les modèles téléchargés ?

Les modèles sont stockés dans le volume Docker ollama. Pour les sauvegarder, utilisez la commande docker volume inspect ollama pour localiser le volume, puis copiez son contenu vers un emplacement de backup avec rsync ou tar :

sudo rsync -av /var/lib/docker/volumes/ollama/_data/ /chemin/vers/backup/ollama/

Comment optimiser Ollama pour un mini-PC avec peu de RAM ?

Pour optimiser Ollama sur un mini-PC avec 16 GB de RAM, utilisez des modèles plus petits comme llama3.2:1b ou llama3.2:3b. Vous pouvez également ajuster les limites de ressources dans Docker pour éviter la saturation. Par exemple, dans docker-compose.yml :

mem_limit: 12G