Je fais tourner MIXTRAL 8x7B INSTRUCT en localhost

[11:27:36] <KippuCatKippu>

Le 19 mars 2024 à 11:26:56 Ademoniak a écrit :

[11:26:01] <KippuCatKippu>

Le 19 mars 2024 à 11:25:45 Ademoniak a écrit :
Ça demande des bonnes ressources ?
J'ai un vieux pc sans CG, juste un chipset graphique

oui 24GB VRAM mini

Chienne de vie

Enjoy je t'envie

bah achète ?

Un PC à plusieurs K€ ?

J'aimerais bien mais j'ai un French dream à accomplir avec ma Magalie

Le 19 mars 2024 à 11:28:44 Esperanza5 a écrit :
Il est bridé ? Ça mets combien de temps à répondre ?

environ une minute pour pondre un pavé de taille chatgpt4

Le 19 mars 2024 à 11:28:57 Ademoniak a écrit :

[11:27:36] <KippuCatKippu>

Le 19 mars 2024 à 11:26:56 Ademoniak a écrit :

[11:26:01] <KippuCatKippu>

Le 19 mars 2024 à 11:25:45 Ademoniak a écrit :
Ça demande des bonnes ressources ?
J'ai un vieux pc sans CG, juste un chipset graphique

oui 24GB VRAM mini

Chienne de vie

Enjoy je t'envie

bah achète ?

Un PC à plusieurs K€ ?

J'aimerais bien mais j'ai un French dream à accomplir avec ma Magalie

la french dream ou la cyberlife faut choisir

Le 19 mars 2024 à 11:29:30 mewef96015 a écrit :
À quoi ça sert ?

[11:29:23] <KippuCatKippu>

Le 19 mars 2024 à 11:28:57 Ademoniak a écrit :

[11:27:36] <KippuCatKippu>

Le 19 mars 2024 à 11:26:56 Ademoniak a écrit :

[11:26:01] <KippuCatKippu>

> Le 19 mars 2024 à 11:25:45 Ademoniak a écrit :

> Ça demande des bonnes ressources ?

> J'ai un vieux pc sans CG, juste un chipset graphique

oui 24GB VRAM mini

Chienne de vie

Enjoy je t'envie

bah achète ?

Un PC à plusieurs K€ ?

J'aimerais bien mais j'ai un French dream à accomplir avec ma Magalie

la french dream ou la cyberlife faut choisir

La vie a déjà choisi pour moi

Le 19 mars 2024 à 11:28:14 :

Le 19 mars 2024 à 11:27:51 Hubert32 a écrit :

Le 19 mars 2024 à 11:25:47 :

Le 19 mars 2024 à 11:25:31 Hubert32 a écrit :
Ça vaut quoi comparé à la version pro ?

quelle version pro ?

la version open source c'est une version moins avancés que la version payante.

Je me demandais si ça valait vraiment le coup de faire une installation en local.

mistral large ? jamais de la vie tu ferais tourner en local de toute façon

Oui enfin après c'est pour des questions professionnelles que cça m'intéresse.

mais du coup en terme de perf il y a une grosse différence ?

Le 19 mars 2024 à 11:30:25 Hubert32 a écrit :

Le 19 mars 2024 à 11:28:14 :

Le 19 mars 2024 à 11:27:51 Hubert32 a écrit :

Le 19 mars 2024 à 11:25:47 :

Le 19 mars 2024 à 11:25:31 Hubert32 a écrit :
Ça vaut quoi comparé à la version pro ?

quelle version pro ?

la version open source c'est une version moins avancés que la version payante.

Je me demandais si ça valait vraiment le coup de faire une installation en local.

mistral large ? jamais de la vie tu ferais tourner en local de toute façon

Oui enfin après c'est pour des questions professionnelles que cça m'intéresse.

mais du coup en terme de perf il y a une grosse différence ?

le truc dont je parle équivaut à chatgpt 3.5 environ

Le 19 mars 2024 à 11:31:35 LunettesChien a écrit :
Tout ça pour te branler sur du porno IA en 8K 120 fps

non je m'en sers pour buter les chofa aussi
il me pond mes topics etc

Le 19 mars 2024 à 11:32:07 :

Le 19 mars 2024 à 11:31:35 LunettesChien a écrit :
Tout ça pour te branler sur du porno IA en 8K 120 fps

non je m'en sers pour buter les chofa aussi
il me pond mes topics etc

génère moi une rousse à gros seins qui a un tricot vert et deux bas si rouges stp

Le 19 mars 2024 à 11:30:52 :

Le 19 mars 2024 à 11:30:25 Hubert32 a écrit :

Le 19 mars 2024 à 11:28:14 :

Le 19 mars 2024 à 11:27:51 Hubert32 a écrit :

Le 19 mars 2024 à 11:25:47 :

> Le 19 mars 2024 à 11:25:31 Hubert32 a écrit :

> Ça vaut quoi comparé à la version pro ?

quelle version pro ?

la version open source c'est une version moins avancés que la version payante.

Je me demandais si ça valait vraiment le coup de faire une installation en local.

mistral large ? jamais de la vie tu ferais tourner en local de toute façon

Oui enfin après c'est pour des questions professionnelles que cça m'intéresse.

mais du coup en terme de perf il y a une grosse différence ?

le truc dont je parle équivaut à chatgpt 3.5 environ

Ok ça reste correct quand même.

Tu peux intégrer tes propres base de données dedans .
Genre imaginons je veux créer un chat bot qui pourrait récupérer par exemple toute les infos d'une base documentaire ça pourrait être faisable ?

Le 19 mars 2024 à 11:34:19 Hubert32 a écrit :

Le 19 mars 2024 à 11:30:52 :

Le 19 mars 2024 à 11:30:25 Hubert32 a écrit :

Le 19 mars 2024 à 11:28:14 :

Le 19 mars 2024 à 11:27:51 Hubert32 a écrit :

> Le 19 mars 2024 à 11:25:47 :

>

> > Le 19 mars 2024 à 11:25:31 Hubert32 a écrit :

>

> > Ça vaut quoi comparé à la version pro ?

>

> quelle version pro ?

la version open source c'est une version moins avancés que la version payante.

Je me demandais si ça valait vraiment le coup de faire une installation en local.

mistral large ? jamais de la vie tu ferais tourner en local de toute façon

Oui enfin après c'est pour des questions professionnelles que cça m'intéresse.

mais du coup en terme de perf il y a une grosse différence ?

le truc dont je parle équivaut à chatgpt 3.5 environ

Ok ça reste correct quand même.

Tu peux intégrer tes propres base de données dedans .
Genre imaginons je veux créer un chat bot qui pourrait récupérer par exemple toute les infos d'une base documentaire ça pourrait être faisable ?

RAG chatbot

Le 19 mars 2024 à 11:29:40 :

Le 19 mars 2024 à 11:29:30 mewef96015 a écrit :
À quoi ça sert ?

Allez soit pas vache explique-moi

Le 19 mars 2024 à 11:35:57 zarzujalte a écrit :
Moi aussi, super lent par contre

quelle quantization ?

Le 19 mars 2024 à 11:36:14 PetiteTeupuCat a écrit :

Le 19 mars 2024 à 11:35:57 zarzujalte a écrit :
Moi aussi, super lent par contre

quelle quantization ?

4 bits