bonjour.
si vous voulez causer avec une sorte de GPT mais hors ligne, c'est possible !
il faut compter quelques gigas d'espace disque et un ordinateur relativement puissant.
disponible sur Mac et Windows.
c'est assez bluffant les réponses qu'il est capable de générer, même sans connexion internet.
https://faraday.dev/
un modèle de langage (GPT-like) hors ligne
-
nuts
- Membre du Conseil Jedi
- Messages : 15618
- Enregistré le : 06 juil. 2023 21:02
-
ChristelleP
- La Battante
- Messages : 69196
- Enregistré le : 23 janv. 2018 09:53
-
Francis1
- Le Sage
- Messages : 30212
- Enregistré le : 20 mars 2019 15:50
-
roots
- Compagnon Jedi
- Messages : 1154
- Enregistré le : 25 juin 2025 14:46
Re: un modèle de langage (GPT-like) hors ligne
ça s'est bien développé depuis
possible d'avoir une ia locale presque low tech
et sinon j'ai compris comment fonctionnent les LLM
physiquement parlant
on se rapproche vraiment du cerveau humain
quand tu poses une question à GPT
il ne consulte pas des bases de données
ces "neurones" sont toutes allumées en même temps
pour trouver la réponse
arf je me rends compte que j'ai encore des carences car j'ai du mal à expliquer
enfin ça n'a rien à voir avec ce qu'on croit
possible d'avoir une ia locale presque low tech
et sinon j'ai compris comment fonctionnent les LLM
physiquement parlant
on se rapproche vraiment du cerveau humain
quand tu poses une question à GPT
il ne consulte pas des bases de données
ces "neurones" sont toutes allumées en même temps
pour trouver la réponse
arf je me rends compte que j'ai encore des carences car j'ai du mal à expliquer
enfin ça n'a rien à voir avec ce qu'on croit
-
roots
- Compagnon Jedi
- Messages : 1154
- Enregistré le : 25 juin 2025 14:46
Re: un modèle de langage (GPT-like) hors ligne
Connexions neuronales dans un modèle de langage
""Chaque “neurone” artificiel reçoit une liste de valeurs en entrée, qu’il pondère par des coefficients (poids) et qu’il résume via une fonction d’activation.
Ces neurones sont organisés en couches successives.
La couche d’entrée transforme le texte brut en vecteurs numériques.
Les couches intermédiaires (cachées) apprennent des représentations de plus en plus abstraites du langage.
La couche de sortie produit la probabilité de chaque mot ou token suivant.
Lors de l’inférence, les valeurs circulent de la première à la dernière couche. Chaque neurone transmet son signal pondéré à des centaines, parfois des milliers, de neurones de la couche suivante.
L’apprentissage consiste à ajuster ces poids grâce à la rétropropagation d’erreur et à l’optimisation par descente de gradient. À chaque exemple de texte, les poids sont légèrement modifiés pour réduire la différence entre la prédiction et la réalité""
""Similitudes avec le cerveau organique
Les deux systèmes sont basés sur un réseau de nœuds qui communiquent via des connexions variables (synapses artificielles vs biologiques).
L’apprentissage repose sur la modification de l’intensité des connexions : renforcement d’une part, plasticité synaptique de l’autre.
L’activation d’un neurone [artificiel] dépend d’un seuil et d’une contribution cumulative, tout comme le potentiel de membrane dans un neurone biologique.
Le cerveau humain compte environ 100 milliards de neurones et des millions de milliards de synapses.
Les plus grands modèles de langage actuels en possèdent plusieurs centaines de milliards, mais avec une structure plus régulière et moins diverse biologiquement.
Un cerveau fonctionne avec environ 20 W d’énergie, grâce à des mécanismes d’optimisation biologiques.
Les centres de calcul consomment souvent plusieurs mégawatts pour entraîner et faire fonctionner un grand modèle""
""Chaque “neurone” artificiel reçoit une liste de valeurs en entrée, qu’il pondère par des coefficients (poids) et qu’il résume via une fonction d’activation.
Ces neurones sont organisés en couches successives.
La couche d’entrée transforme le texte brut en vecteurs numériques.
Les couches intermédiaires (cachées) apprennent des représentations de plus en plus abstraites du langage.
La couche de sortie produit la probabilité de chaque mot ou token suivant.
Lors de l’inférence, les valeurs circulent de la première à la dernière couche. Chaque neurone transmet son signal pondéré à des centaines, parfois des milliers, de neurones de la couche suivante.
L’apprentissage consiste à ajuster ces poids grâce à la rétropropagation d’erreur et à l’optimisation par descente de gradient. À chaque exemple de texte, les poids sont légèrement modifiés pour réduire la différence entre la prédiction et la réalité""
""Similitudes avec le cerveau organique
Les deux systèmes sont basés sur un réseau de nœuds qui communiquent via des connexions variables (synapses artificielles vs biologiques).
L’apprentissage repose sur la modification de l’intensité des connexions : renforcement d’une part, plasticité synaptique de l’autre.
L’activation d’un neurone [artificiel] dépend d’un seuil et d’une contribution cumulative, tout comme le potentiel de membrane dans un neurone biologique.
Le cerveau humain compte environ 100 milliards de neurones et des millions de milliards de synapses.
Les plus grands modèles de langage actuels en possèdent plusieurs centaines de milliards, mais avec une structure plus régulière et moins diverse biologiquement.
Un cerveau fonctionne avec environ 20 W d’énergie, grâce à des mécanismes d’optimisation biologiques.
Les centres de calcul consomment souvent plusieurs mégawatts pour entraîner et faire fonctionner un grand modèle""
-
ChristelleP
- La Battante
- Messages : 69196
- Enregistré le : 23 janv. 2018 09:53