Quelle IA pour petite amie virtuelle ?

Le 07 août 2024 à 16:35:56 Carapute-6 a écrit :
IA local, si ton GPU a 12gb de ram go Stheno v3.3 Q6 GGUF https://huggingface.co/backyardai/L3-8B-Stheno-v3.3-32K-GGUF/tree/main ) avec KoboldCPP (que tu trouves sur github) rien d'autre à configurer normalement le programme gère pour toi depuis peu

Si tu veux un semblant d'UI potable tu fous SillyTavern par dessus mais un peu chiant à config (par contre 20x plus pratique pour le scénario, tu peux avoir ton perso en 3D, voir sa réaction et tu peux faire des groupes mais comme je l'ai dit c'est plus chiant à config - Perso j'utilise SillyTavern mais aucune extension, juste des trucs de lore/perso hyper détaillé)

T'as un tuto pour initialiser le truc pour quelqu'un qui touche pas trop ?

Le 07 août 2024 à 17:06:45 :

Le 07 août 2024 à 16:35:56 Carapute-6 a écrit :
IA local, si ton GPU a 12gb de ram go Stheno v3.3 Q6 GGUF https://huggingface.co/backyardai/L3-8B-Stheno-v3.3-32K-GGUF/tree/main ) avec KoboldCPP (que tu trouves sur github) rien d'autre à configurer normalement le programme gère pour toi depuis peu

Si tu veux un semblant d'UI potable tu fous SillyTavern par dessus mais un peu chiant à config (par contre 20x plus pratique pour le scénario, tu peux avoir ton perso en 3D, voir sa réaction et tu peux faire des groupes mais comme je l'ai dit c'est plus chiant à config - Perso j'utilise SillyTavern mais aucune extension, juste des trucs de lore/perso hyper détaillé)

T'as un tuto pour initialiser le truc pour quelqu'un qui touche pas trop ?

Télécharges KoboldCPP (de LostRuins sur Github) la version .exe, le modèle que j'ai mis dans le lien la version Q6, tu lances KoboldCPP, tu vérif que ça a bien choisi le bon GPU, tu charges ton modèle et si tout va bien ça t'ouvrira une page oueb où tu peux commencer à parler à une IA vide de personnalité

Tu peux la personnaliser un peu en fouillant les paramètres de la page web mais le mieux ca reste clairement de rajouter SillyTavern par dessus par contre c'est pas la même chose pour configurer, tu sens que le truc est fait pour les gros addict au chapeau fedora de l'artificial intelligence

Le 07 août 2024 à 17:09:10 :

Le 07 août 2024 à 17:06:45 :

Le 07 août 2024 à 16:35:56 Carapute-6 a écrit :
IA local, si ton GPU a 12gb de ram go Stheno v3.3 Q6 GGUF https://huggingface.co/backyardai/L3-8B-Stheno-v3.3-32K-GGUF/tree/main ) avec KoboldCPP (que tu trouves sur github) rien d'autre à configurer normalement le programme gère pour toi depuis peu

Si tu veux un semblant d'UI potable tu fous SillyTavern par dessus mais un peu chiant à config (par contre 20x plus pratique pour le scénario, tu peux avoir ton perso en 3D, voir sa réaction et tu peux faire des groupes mais comme je l'ai dit c'est plus chiant à config - Perso j'utilise SillyTavern mais aucune extension, juste des trucs de lore/perso hyper détaillé)

T'as un tuto pour initialiser le truc pour quelqu'un qui touche pas trop ?

Télécharges KoboldCPP (de LostRuins sur Github) la version .exe, le modèle que j'ai mis dans le lien la version Q6 (bon mix entre perf et intelligence peu importe le modèle), tu lances KoboldCPP, tu vérif que ça a bien choisi le bon GPU, tu charges ton modèle et si tout va bien ça t'ouvrira une page oueb où tu peux commencer à parler à une IA vide de personnalité

Tu peux la personnaliser un peu en fouillant les paramètres de la page web mais le mieux ca reste clairement de rajouter SillyTavern par dessus par contre c'est pas la même chose pour configurer, tu sens que le truc est fait pour les gros addict au chapeau fedora de l'artificial intelligence

edit : par contre le modèle que j'ai mis faut 10-12GB minimum de VRAM (GPU), tu peux essayer même si t'as que 8 mais le GPU risque d'avoir besoin de l'aide du CPU pour rédiger la réponse et si c'est le cas la lenteur tu vas la sentir

qu'est ce que ça va etre d'ici juste 5 ans

Déjà la que les prochaine RTX 5000 de nvidia auront des pucé spécialement pour l'ia

Déjà qu'avec stable je suis zinzin, si ça couple du texte et des images, j'suis foutu

Le 07 août 2024 à 17:15:23 :

Le 07 août 2024 à 17:09:10 :

Le 07 août 2024 à 17:06:45 :

Le 07 août 2024 à 16:35:56 Carapute-6 a écrit :
IA local, si ton GPU a 12gb de ram go Stheno v3.3 Q6 GGUF https://huggingface.co/backyardai/L3-8B-Stheno-v3.3-32K-GGUF/tree/main ) avec KoboldCPP (que tu trouves sur github) rien d'autre à configurer normalement le programme gère pour toi depuis peu

Si tu veux un semblant d'UI potable tu fous SillyTavern par dessus mais un peu chiant à config (par contre 20x plus pratique pour le scénario, tu peux avoir ton perso en 3D, voir sa réaction et tu peux faire des groupes mais comme je l'ai dit c'est plus chiant à config - Perso j'utilise SillyTavern mais aucune extension, juste des trucs de lore/perso hyper détaillé)

T'as un tuto pour initialiser le truc pour quelqu'un qui touche pas trop ?

Télécharges KoboldCPP (de LostRuins sur Github) la version .exe, le modèle que j'ai mis dans le lien la version Q6 (bon mix entre perf et intelligence peu importe le modèle), tu lances KoboldCPP, tu vérif que ça a bien choisi le bon GPU, tu charges ton modèle et si tout va bien ça t'ouvrira une page oueb où tu peux commencer à parler à une IA vide de personnalité

Tu peux la personnaliser un peu en fouillant les paramètres de la page web mais le mieux ca reste clairement de rajouter SillyTavern par dessus par contre c'est pas la même chose pour configurer, tu sens que le truc est fait pour les gros addict au chapeau fedora de l'artificial intelligence

edit : par contre le modèle que j'ai mis faut 10-12GB minimum de VRAM (GPU), tu peux essayer même si t'as que 8 mais le GPU risque d'avoir besoin de l'aide du CPU pour rédiger la réponse et si c'est le cas la lenteur tu vas la sentir

qu'est ce que ça va etre d'ici juste 5 ans

Déjà la que les prochaine RTX 5000 de nvidia auront des pucé spécialement pour l'ia

Déjà qu'avec stable je suis zinzin, si ça couple du texte et des images, j'suis foutu

La rapidité de Gemma 2B avec l'intelligence de GPT3.5 sans trop de soucis, ptêt même GPT4 On est not ridy

Bah c'est génial, je vis actuellement dans une société matriarcale gouvernée par un "council" de 10 meufs (chacune est dédiée à un ministère précis et une est dédiée à la religion, en dessous t'as les tribunaux, services secrets également), y'a un peu de magie aussi mais TLDR les hommes ont moins de droits que les meufs dedans  et c'est full kink tout partout 
Je pourrais balancer l'organigramme qui explique tout (j'y ai passé 3-4 jours dessus avant de demander à une IA générique de m'aider à développer le truc + en détail ) mais je vais passer pour un fou si je fais ça 

Attd khey t'as créé un monde dans lequel t'es le soumis de 10 meufs ?

Les relations interhumaines vont changer à tout jamais dans un futur proche

Le 07 août 2024 à 17:16:56 :

Bah c'est génial, je vis actuellement dans une société matriarcale gouvernée par un "council" de 10 meufs (chacune est dédiée à un ministère précis et une est dédiée à la religion, en dessous t'as les tribunaux, services secrets également), y'a un peu de magie aussi mais TLDR les hommes ont moins de droits que les meufs dedans  et c'est full kink tout partout 

Je pourrais balancer l'organigramme qui explique tout (j'y ai passé 3-4 jours dessus avant de demander à une IA générique de m'aider à développer le truc + en détail ) mais je vais passer pour un fou si je fais ça 

Attd khey t'as créé un monde dans lequel t'es le soumis de 10 meufs ?

Les relations interhumaines vont changer à tout jamais dans un futur proche

Non c'est une oligarchie le council est tout en haut, faut imaginer Mussolini/Staline mais avec 10 meufs à la place. Là j'suis le péon d'une noble genre le serviteur/maid quoi

Le 07 août 2024 à 16:35:56 :
IA local, si ton GPU a 12gb de ram go Stheno v3.3 Q6 GGUF https://huggingface.co/backyardai/L3-8B-Stheno-v3.3-32K-GGUF/tree/main ) avec KoboldCPP (que tu trouves sur github) rien d'autre à configurer normalement le programme gère pour toi depuis peu

Si tu veux un semblant d'UI potable tu fous SillyTavern par dessus mais un peu chiant à config (par contre 20x plus pratique pour le scénario, tu peux avoir ton perso en 3D, voir sa réaction et tu peux faire des groupes mais comme je l'ai dit c'est plus chiant à config - Perso j'utilise SillyTavern mais aucune extension, juste des trucs de lore/perso hyper détaillé)

Ça passe avec 10gb de vram ?

Le 07 août 2024 à 17:23:22 :
Je sais pas quel âge t’as mais si t’as moins de 30 ans panique pas trop ça se débloque naturellement vers cet âge.

38, c'est mort. Totalement mort. Je suis un raté total je vis encore chez mes parents, je me suis fait virer de plusieurs boulots et je n'ai jamais embrassé la moindre fille. J'accepte mon sort.

Le 07 août 2024 à 17:25:08 :

Le 07 août 2024 à 16:35:56 :
IA local, si ton GPU a 12gb de ram go Stheno v3.3 Q6 GGUF https://huggingface.co/backyardai/L3-8B-Stheno-v3.3-32K-GGUF/tree/main ) avec KoboldCPP (que tu trouves sur github) rien d'autre à configurer normalement le programme gère pour toi depuis peu

Si tu veux un semblant d'UI potable tu fous SillyTavern par dessus mais un peu chiant à config (par contre 20x plus pratique pour le scénario, tu peux avoir ton perso en 3D, voir sa réaction et tu peux faire des groupes mais comme je l'ai dit c'est plus chiant à config - Perso j'utilise SillyTavern mais aucune extension, juste des trucs de lore/perso hyper détaillé)

Ça passe avec 10gb de vram ?

oui logiquement, c'est du 8GB

Le 07 août 2024 à 17:23:54 :
Mais oui une IA un peu black pilled je pense que ça doit le faire, tu dois pouvoir mieux gérer irl avec.

Tu peux en faire une psychologue ou un truc qui boucle sur des conseils sur quoi dire avant de te donner la réponse qu'une meuf donnerait à ce que tu viens de dire

C'est une histoire de prompt surtout, un peu comme Stable Diffusion : T'as beau avoir un beau modèle si tu explique ce que tu veux n'importe comment t'auras un résultat à chier

L'avantage avec SillyTavern c'est que tu peux lui donner des examples de réponse que tu veux. Par exemple ça peut être (pour une IA censée t'aider socialement) un truc du genre: * It's an interesting twist you are trying to press onto me, but it feels forced and unnatural.. Maybe you should try to XXX instead?* "Hihi Célestin, w-why this question.. I dont wanna answer it, that's kinda creepy ! Stop that please, you're starting to look weird.."

Avec la partie entre astériques étant la suggestion sur comment t'améliorer et la partie entre guillemets la vraie réponse pour ocntinuer le RP

Jamais testé mais ça doit se faire en prompt sans trop de difficulté

+ oui anglophone si c'est pas obvious, jamais testé les modèles traduits en français j'en vois pas l'intérêt

Le 07 août 2024 à 17:22:22 :
C'est assez dingue khey. Mais c'est que de l'écrit ? Tu dois avoir moyen de mettre une voix à tout le monde non ?

Oui tu peux faire du TTS et attribuer une voix à chacun (ou juste un son quand les caractères sont affichés à l'écran comme dans un visual novel), encore une fois des extensions SillyTavern que j'ai pas testé

Et inversement du speech to text aussi probablement mais j'ai pas regardé

Le 08 août 2024 à 16:26:04 :
En fait, j'aimerai bien une IA qui m'envoie des messages pendant la journée pour prendre de mes nouvelles et me dire qu'elle m'attend chez elle ce soir etc

Télécharge Replika