un modèle de langage (GPT-like) hors ligne

bonjour.

si vous voulez causer avec une sorte de GPT mais hors ligne, c'est possible !

il faut compter quelques gigas d'espace disque et un ordinateur relativement puissant.

disponible sur Mac et Windows.
c'est assez bluffant les réponses qu'il est capable de générer, même sans connexion internet.

https://faraday.dev/

ça s'est bien développé depuis

possible d'avoir une ia locale presque low tech

et sinon j'ai compris comment fonctionnent les LLM

physiquement parlant

on se rapproche vraiment du cerveau humain

quand tu poses une question à GPT
il ne consulte pas des bases de données

ces "neurones" sont toutes allumées en même temps
pour trouver la réponse

arf je me rends compte que j'ai encore des carences car j'ai du mal à expliquer

enfin ça n'a rien à voir avec ce qu'on croit

Connexions neuronales dans un modèle de langage

""Chaque “neurone” artificiel reçoit une liste de valeurs en entrée, qu’il pondère par des coefficients (poids) et qu’il résume via une fonction d’activation.

Ces neurones sont organisés en couches successives.

La couche d’entrée transforme le texte brut en vecteurs numériques.

Les couches intermédiaires (cachées) apprennent des représentations de plus en plus abstraites du langage.

La couche de sortie produit la probabilité de chaque mot ou token suivant.

Lors de l’inférence, les valeurs circulent de la première à la dernière couche. Chaque neurone transmet son signal pondéré à des centaines, parfois des milliers, de neurones de la couche suivante.

L’apprentissage consiste à ajuster ces poids grâce à la rétropropagation d’erreur et à l’optimisation par descente de gradient. À chaque exemple de texte, les poids sont légèrement modifiés pour réduire la différence entre la prédiction et la réalité""


""Similitudes avec le cerveau organique

Les deux systèmes sont basés sur un réseau de nœuds qui communiquent via des connexions variables (synapses artificielles vs biologiques).

L’apprentissage repose sur la modification de l’intensité des connexions : renforcement d’une part, plasticité synaptique de l’autre.

L’activation d’un neurone [artificiel] dépend d’un seuil et d’une contribution cumulative, tout comme le potentiel de membrane dans un neurone biologique.


Le cerveau humain compte environ 100 milliards de neurones et des millions de milliards de synapses.

Les plus grands modèles de langage actuels en possèdent plusieurs centaines de milliards, mais avec une structure plus régulière et moins diverse biologiquement.

Un cerveau fonctionne avec environ 20 W d’énergie, grâce à des mécanismes d’optimisation biologiques.

Les centres de calcul consomment souvent plusieurs mégawatts pour entraîner et faire fonctionner un grand modèle""