[Projet] Des kheys pour tester mon jeu basé sur l'IA ?

Le 28 février 2024 à 22:08:50 :
https://prnt.sc/gr5n6HsXZ1pt

premier essai j'ai speedrun le jeu je crois

J'étais sur que des kheys essayeraient de se suicidé, du coup j'ai voulu troller les trolls

Bon par contre je vais modifier le context pour que l'IA brode un peu sur la manière dont tu meurs c'est pas marrant sinon

Le 28 février 2024 à 22:11:49 :
C'est normal que ce soit finit quandtu récupères le fameux bouquin ?

Oui c'est juste un petit concept, je voulais prendre un peu la température déjà, voir si ça plait aux gens. Pour le moment l'aventure s'arrête ici. Je peux essayer d'allonger un peu ou proposer un autre mini concept (si vous avez des idées, je suis preneur!).

En parallèle je bosse sur la version 2 du game engine pour pouvoir offrir plus de flexibilité dans le design d'une aventure.

Le 28 février 2024 à 22:23:24 :
Le jeu m'a indiqué que j'ai trouvé un message derrière la peinture mais est pas foutu de me dire le contenu de ce message.
Ensuite j'ai déclenché un piège mortel en arrachant le papier peint en dépitax du haricot magique que j'ai fait poussé

Si ça s'est vraiment passé comme ça c'est de l'hallucination ça
Maintenant que j'ai plus de partie joués (en dehors des miennes ) je vais pouvoir corriger un peu l'IA et commencer à fine tuner aussi pour qu'elle arrête de raconter de la merde et proposer des aventures plus cohérentes.

A noter: pour pallier aux hallucinations, pour le moment il faut se fier aux notifications qui t'indiquent si tu as réalisé une action qui a un impact sur la partie. Si tu cliques sur "Summary" tu verras la liste des actions importantes que tu as réalisé avec des indications à chaque fois (celles là elles sont hardcodés pour le coup)

Le 28 février 2024 à 23:29:05 :
J'ai essayé de le casser un peu avec des phrases qui le ferait sortir de son contexte mais j'ai pas réussi

Merci pour le feedback ! J'ai essayé de le casser aussi sans réussir. En fait c'est pas un simple préprompt sous le capot, il y a un gros taff sur le backend (et ce que j'appelle le game engine).

Entre ton message et la réponse finale, il y a plusieurs étape (d'abord le message passe sur une IA qui va router le message à un agent "spécialiste" en fonction du type de message, puis ça passe dans un "rules checker" qui vérifie si l'action fait partie des actions clefs possibles, et ensuite dans un "feasability" checker qui vérifie si l'action peut faire sense dans le cadre de la description fourni... En fin de course il y a l'IA final avec un context enrichis + sa personnalitée propre qui va finaliser la réponse.

Update des statistiques:
Je remercie tous ceux qui ont essayé le jeu, ça fait plaisir.

- J'ai eu un total de 99 sessions lancés ce soir.
- La median du nombre de message envoyés par session c'est 4 et vous êtes environ 30% à avoir envoyé plus de 10 messages.

Pour ceux que ça intéresse, j'ai eu un total de 353 messages envoyés un user générant 867000 tokens (inputs et outputs). Quand vous envoyez un message, il y a donc environ 2450 tokens qui circulent.

Niveau coûts, ces 353 messages m'ont couté 50cent. C'était la première occasion que j'avais de tester à plus grande échelle et j'avais peur du chiffre qui sortirait

Voila voila !

Merci encore aux kheys qui ont testé. Je vais regarder un peu comment à réagi l'IA face à vos messages pour ajuster un peu le système derrière et proposer une meilleur expérience.

Pour ceux qui me lirait et découvriraient le topic, hésitez pas à tester et me remonter vos feedback, je suis en train de me créer un backlog avec les choses à améliorer suite à vos commentaires.

Le 28 février 2024 à 19:41:44 :
Les jeux purement textuels comme ça, j'adore. Quand tu as des interactions textuelles etc., dommage que l'on n'en trouve plus beaucoup.

Je fais référence aux vieux jeux typiques où tu écris des trucs comme "move north", "look at X", etc.

Fin :

Aaaaaaya

Je pense que je suis tombé sur une de tes parties khey.

user : Inspect books
user : Check for secret book

On sent la pate de l'habitué de ce genre de jeux textuelles

Je sais pas si tu savais, mais derrière il y a un LLM, donc tu peux lui parler normalement, pas seulement avec une action et un nom. C'est tout l'avantage d'ailleurs des nouvelles IA dans le cadre des jeux textuels, c'est beaucoup plus accessible!

user : L'auteur du topax je te pisse à la raie

assistant : Il n'y a pas de "auteur du topax" mentionné dans la pièce. Auriez-vous une autre action en tête basée sur les éléments décrits dans la salle?

user : Arrête despionner mes logs sale fils de pute !!!

assistant : Il n'y a pas de "espionner les logs" mentionné dans la pièce. Auriez-vous une autre action en tête basée sur les éléments décrits dans la salle?

Bon il faut que je paufinne un peu l'IA elle fait quand même souvent de la merde sans raison.

Hello les kheys ! Je suis de retour pour ce soir, si il y a d'autres testeurs dans le coin.

Suite aux sessions d'hier, j'ai retravaillé mes IA. Elles sont normalement beaucoup plus cohérente maintenant.

Toujours chaud pour avoir d'autres feedbacks. En parallèle, je vais bosser sur une nouvelle mini-aventure pour continuer les demos, le temps que ma v2 du game engine soit prête...

Pour ceux qui ont pas encore testé, ça se passe ici (c'est gratuit et pas besoin de s'inscrire):
https://beta.llmgames.io/

Le 29 février 2024 à 21:19:08 :
Soutien à toi khey

Merci pour le up khey. Tu as essayé ? Je vois quelques nouvelles sessions depuis que j'ai up. J'attends vos retours

Le proto tourne sur un petit server avec 1Mo de RAM

Je viens de regarder les logs il y a pas l'air d'y avoir de problème, donc c'est juste un problème de latence côté server.

Si vous êtes plusieurs dessus ça rame peut être un peu et j'ai un timeout au bout de 30 secondes je crois

Si le problème persiste, je switcherais sur un plus gros serveur

Si d'autres kheys ont le même problèmes, remontez moi l'info je ferais le nécessaire.

C'est vraiment cool comme projet

Petite remarque dès le départ : l'I.A. ne fait pas trop attention à ce qu'elle dit visiblement

Serait-il possible de proposer dès le départ le choix de la langue avant que le bot commence ?

Le 29 février 2024 à 21:34:58 :
C'est vraiment cool comme projet

Petite remarque dès le départ : l'I.A. ne fait pas trop attention à ce qu'elle dit visiblement

Serait-il possible de proposer dès le départ le choix de la langue avant que le bot commence ?

Ca fait partie des choses que j'aimerais mettre en place oui mais le problème c'est que tu peux jamais contrôler la manière dont un user va répondre à l'IA.

Au début j'avais un "language checker" qui essayait de vérifier la langue et c'était pas incroyable donc j'ai laissé tombé.

Par contre l'agent à la fin à une spécificité dans son prompt qui est de répondre à l'utilisateur dans la langue qu'il utilise. Donc si tu ignores ses messages en anglais et lui parle en français, """normalement""", il devrait répondre en français (d'ailleurs il le fait la )