Comment utiliser l'IA pour BL auto des forumeurs?

Certains casse couille, ont toujours les mêmes avatars, mêmes variations de pseudos, et mêmes topics etc

Je pense qu'il est possible de faire en sorte qu'un script détecte le type de forumeur qu'on veut et qui le BL automatiquement pour purger le forum

Mais par contre je sais pas par quoi commencer, je n'ai aucune connaissance en IA

Facile, tu prends un dataset d'analyse de sentiments

Tu prends aussi environ 2000 posts à blacklister et 2000 posts OK

Puis tu pré-entraine ton IA sur le dataset 1 et tu le fine-tune sur le dataset 2

à la fin tu auras de quoi distinguer les posts à blacklister des posts OK

puis avec un script qui parcours automatiquement les topics, tu analyse chaque message et ton IA va le classifier et en fonction du résultat tu dis à ton script de blacklister ou non le forumeur

Le 12 février 2021 à 17:13:54 TYT9000 a écrit :
Facile, tu prends un dataset d'analyse de sentiments

Tu prends aussi environ 2000 posts à blacklister et 2000 posts OK

Puis tu pré-entraine ton IA sur le dataset 1 et tu le fine-tune sur le dataset 2

à la fin tu auras de quoi distinguer les posts à blacklister des posts OK

puis avec un script qui parcours automatiquement les topics, tu analyse chaque message et ton IA va le classifier et en fonction du résultat tu dis à ton script de blacklister ou non le forumeur

Ok la théorie, mais je fais ça avec quoi? C'est quoi le langage le plus adapté ?

Le 12 février 2021 à 17:14:40 TYT9000 a écrit :
Le plus long c'est de réunir les jeux de données, je pourrais le faire mais j'ai vraiment la flemme, sauf si des kheys veulent bien participer à la classification manuelle de 4000 posts, en dépit de ent's

Même 1000 ou moins ça suffirait je pense, ils sont tellement bouclés que c'est facile à reconnaitre

Le 12 février 2021 à 17:15:24 KJQuiche a écrit :

Le 12 février 2021 à 17:13:54 TYT9000 a écrit :
Facile, tu prends un dataset d'analyse de sentiments

Tu prends aussi environ 2000 posts à blacklister et 2000 posts OK

Puis tu pré-entraine ton IA sur le dataset 1 et tu le fine-tune sur le dataset 2

à la fin tu auras de quoi distinguer les posts à blacklister des posts OK

puis avec un script qui parcours automatiquement les topics, tu analyse chaque message et ton IA va le classifier et en fonction du résultat tu dis à ton script de blacklister ou non le forumeur

Ok la théorie, mais je fais ça avec quoi? C'est quoi le langage le plus adapté ?

Utilise Python, installe Keras, Matplolib, Numpy, Pandas, ça va te permettre de faire de l'EDA pour analyser les features intéressante (celles qui ont la plus forte correlation avec le résultat de sortie), Keras va te permettre de créer un neural network de type NLP (je pense que tu peux utiliser des archi comme Bert) puis une fois le model entrainé, tu auras un fichier, que tu vas upload sur AWS ou GCP par exemple et qui va te servir d'API pour ton application JS. Ensuite en Python tu développe un crawler (des libs existent) pour scanner les topics et récupérer les posts, tu fournis ça à ton script JS côté navigateur et il va automatiquement blackliser les gens, en dépit de ent's

Le 12 février 2021 à 17:16:12 KJQuiche a écrit :

Le 12 février 2021 à 17:14:40 TYT9000 a écrit :
Le plus long c'est de réunir les jeux de données, je pourrais le faire mais j'ai vraiment la flemme, sauf si des kheys veulent bien participer à la classification manuelle de 4000 posts, en dépit de ent's

Même 1000 ou moins ça suffirait je pense, ils sont tellement bouclés que c'est facile à reconnaitre

Tu peux le faire qu'avec des neural networks et leur particularité c'est de fonctionner sur un gros volume de données, flemme de rentrer dans les détails mais tu as des techniques pour travailler avec des petits datasets, mais là faut faire de la feature extraction et du fine-tuning mais c'est un autre level, en dépit de ent's

Le 12 février 2021 à 17:13:54 TYT9000 a écrit :
Facile, tu prends un dataset d'analyse de sentiments

Tu prends aussi environ 2000 posts à blacklister et 2000 posts OK

Puis tu pré-entraine ton IA sur le dataset 1 et tu le fine-tune sur le dataset 2

à la fin tu auras de quoi distinguer les posts à blacklister des posts OK

puis avec un script qui parcours automatiquement les topics, tu analyse chaque message et ton IA va le classifier et en fonction du résultat tu dis à ton script de blacklister ou non le forumeur

Il faut éviter d'avoir un dataset aussi équilibré sinon ça se réfletera dans la manière dont ton programme blacklist ou non les posts.

Si dans ton dataset tu as 50% de posts "blacklist", ton programme va blacklister 50% des posts postés sur JVC. Il faut un jeu de données représentatif du forum du genre 90-10.

Télécharger des données c'est assez facile, j'ai un programme en Python qui télécharge de manière asynchrone tous les posts de tous les topics. En revanche annoter les posts c'est pénible.

Le 12 février 2021 à 17:18:46 TYT9000 a écrit :

Le 12 février 2021 à 17:15:24 KJQuiche a écrit :

Le 12 février 2021 à 17:13:54 TYT9000 a écrit :
Facile, tu prends un dataset d'analyse de sentiments

Tu prends aussi environ 2000 posts à blacklister et 2000 posts OK

Puis tu pré-entraine ton IA sur le dataset 1 et tu le fine-tune sur le dataset 2

à la fin tu auras de quoi distinguer les posts à blacklister des posts OK

puis avec un script qui parcours automatiquement les topics, tu analyse chaque message et ton IA va le classifier et en fonction du résultat tu dis à ton script de blacklister ou non le forumeur

Ok la théorie, mais je fais ça avec quoi? C'est quoi le langage le plus adapté ?

Utilise Python, installe Keras, Matplolib, Numpy, Pandas, ça va te permettre de faire de l'EDA pour analyser les features intéressante (celles qui ont la plus forte correlation avec le résultat de sortie), Keras va te permettre de créer un neural network de type NLP (je pense que tu peux utiliser des archi comme Bert) puis une fois le model entrainé, tu auras un fichier, que tu vas upload sur AWS ou GCP par exemple et qui va te servir d'API pour ton application JS. Ensuite en Python tu développe un crawler (des libs existent) pour scanner les topics et récupérer les posts, tu fournis ça à ton script JS côté navigateur et il va automatiquement blackliser les gens, en dépit de ent's

Je maitrise/connais aucun de ses trucs ça va être la cata

Le 12 février 2021 à 17:20:07 Azerban a écrit :

Le 12 février 2021 à 17:13:54 TYT9000 a écrit :
Facile, tu prends un dataset d'analyse de sentiments

Tu prends aussi environ 2000 posts à blacklister et 2000 posts OK

Puis tu pré-entraine ton IA sur le dataset 1 et tu le fine-tune sur le dataset 2

à la fin tu auras de quoi distinguer les posts à blacklister des posts OK

puis avec un script qui parcours automatiquement les topics, tu analyse chaque message et ton IA va le classifier et en fonction du résultat tu dis à ton script de blacklister ou non le forumeur

Il faut éviter d'avoir un dataset aussi équilibré sinon ça se réfletera dans la manière dont ton programme blacklist ou non les posts.

Si dans ton dataset tu as 50% de posts "blacklist", ton programme va blacklister 50% des posts postés sur JVC. Il faut un jeu de données représentatif du forum du genre 90-10.

Télécharger des données c'est assez facile, j'ai un programme en Python qui télécharge de manière asynchrone tous les posts de tous les topics. En revanche annoter les posts c'est pénible.

Oui faut faire du 90-10 t'as bien raison, je fais pas trop de NLP, je suis plus sur de la Computer Vision donc j'ai pas trop ce soucis ahi, en dépit de ent's

Le 12 février 2021 à 17:20:59 KJQuiche a écrit :

Le 12 février 2021 à 17:18:46 TYT9000 a écrit :

Le 12 février 2021 à 17:15:24 KJQuiche a écrit :

Le 12 février 2021 à 17:13:54 TYT9000 a écrit :
Facile, tu prends un dataset d'analyse de sentiments

Tu prends aussi environ 2000 posts à blacklister et 2000 posts OK

Puis tu pré-entraine ton IA sur le dataset 1 et tu le fine-tune sur le dataset 2

à la fin tu auras de quoi distinguer les posts à blacklister des posts OK

puis avec un script qui parcours automatiquement les topics, tu analyse chaque message et ton IA va le classifier et en fonction du résultat tu dis à ton script de blacklister ou non le forumeur

Ok la théorie, mais je fais ça avec quoi? C'est quoi le langage le plus adapté ?

Utilise Python, installe Keras, Matplolib, Numpy, Pandas, ça va te permettre de faire de l'EDA pour analyser les features intéressante (celles qui ont la plus forte correlation avec le résultat de sortie), Keras va te permettre de créer un neural network de type NLP (je pense que tu peux utiliser des archi comme Bert) puis une fois le model entrainé, tu auras un fichier, que tu vas upload sur AWS ou GCP par exemple et qui va te servir d'API pour ton application JS. Ensuite en Python tu développe un crawler (des libs existent) pour scanner les topics et récupérer les posts, tu fournis ça à ton script JS côté navigateur et il va automatiquement blackliser les gens, en dépit de ent's

Je maitrise/connais aucun de ses trucs ça va être la cata

C'est pourtant simple ahi, en dépit de ent's

Le 12 février 2021 à 17:22:06 TYT9000 a écrit :

Le 12 février 2021 à 17:20:59 KJQuiche a écrit :

Le 12 février 2021 à 17:18:46 TYT9000 a écrit :

Le 12 février 2021 à 17:15:24 KJQuiche a écrit :

Le 12 février 2021 à 17:13:54 TYT9000 a écrit :
Facile, tu prends un dataset d'analyse de sentiments

Tu prends aussi environ 2000 posts à blacklister et 2000 posts OK

Puis tu pré-entraine ton IA sur le dataset 1 et tu le fine-tune sur le dataset 2

à la fin tu auras de quoi distinguer les posts à blacklister des posts OK

puis avec un script qui parcours automatiquement les topics, tu analyse chaque message et ton IA va le classifier et en fonction du résultat tu dis à ton script de blacklister ou non le forumeur

Ok la théorie, mais je fais ça avec quoi? C'est quoi le langage le plus adapté ?

Utilise Python, installe Keras, Matplolib, Numpy, Pandas, ça va te permettre de faire de l'EDA pour analyser les features intéressante (celles qui ont la plus forte correlation avec le résultat de sortie), Keras va te permettre de créer un neural network de type NLP (je pense que tu peux utiliser des archi comme Bert) puis une fois le model entrainé, tu auras un fichier, que tu vas upload sur AWS ou GCP par exemple et qui va te servir d'API pour ton application JS. Ensuite en Python tu développe un crawler (des libs existent) pour scanner les topics et récupérer les posts, tu fournis ça à ton script JS côté navigateur et il va automatiquement blackliser les gens, en dépit de ent's

Je maitrise/connais aucun de ses trucs ça va être la cata

C'est pourtant simple ahi, en dépit de ent's

C'est facile quand on sait faire

Le 12 février 2021 à 17:22:31 KJQuiche a écrit :

Le 12 février 2021 à 17:22:06 TYT9000 a écrit :

Le 12 février 2021 à 17:20:59 KJQuiche a écrit :

Le 12 février 2021 à 17:18:46 TYT9000 a écrit :

Le 12 février 2021 à 17:15:24 KJQuiche a écrit :

Le 12 février 2021 à 17:13:54 TYT9000 a écrit :
Facile, tu prends un dataset d'analyse de sentiments

Tu prends aussi environ 2000 posts à blacklister et 2000 posts OK

Puis tu pré-entraine ton IA sur le dataset 1 et tu le fine-tune sur le dataset 2

à la fin tu auras de quoi distinguer les posts à blacklister des posts OK

puis avec un script qui parcours automatiquement les topics, tu analyse chaque message et ton IA va le classifier et en fonction du résultat tu dis à ton script de blacklister ou non le forumeur

Ok la théorie, mais je fais ça avec quoi? C'est quoi le langage le plus adapté ?

Utilise Python, installe Keras, Matplolib, Numpy, Pandas, ça va te permettre de faire de l'EDA pour analyser les features intéressante (celles qui ont la plus forte correlation avec le résultat de sortie), Keras va te permettre de créer un neural network de type NLP (je pense que tu peux utiliser des archi comme Bert) puis une fois le model entrainé, tu auras un fichier, que tu vas upload sur AWS ou GCP par exemple et qui va te servir d'API pour ton application JS. Ensuite en Python tu développe un crawler (des libs existent) pour scanner les topics et récupérer les posts, tu fournis ça à ton script JS côté navigateur et il va automatiquement blackliser les gens, en dépit de ent's

Je maitrise/connais aucun de ses trucs ça va être la cata

C'est pourtant simple ahi, en dépit de ent's

C'est facile quand on sait faire

500 euros et je te le fais, en dépit de ent's

Le 12 février 2021 à 17:13:54 TYT9000 a écrit :
Facile, tu prends un dataset d'analyse de sentiments

Tu prends aussi environ 2000 posts à blacklister et 2000 posts OK

Puis tu pré-entraine ton IA sur le dataset 1 et tu le fine-tune sur le dataset 2

à la fin tu auras de quoi distinguer les posts à blacklister des posts OK

puis avec un script qui parcours automatiquement les topics, tu analyse chaque message et ton IA va le classifier et en fonction du résultat tu dis à ton script de blacklister ou non le forumeur

En français ça donne quoi ?

Le 12 février 2021 à 17:22:56 TYT9000 a écrit :

Le 12 février 2021 à 17:22:31 KJQuiche a écrit :

Le 12 février 2021 à 17:22:06 TYT9000 a écrit :

Le 12 février 2021 à 17:20:59 KJQuiche a écrit :

Le 12 février 2021 à 17:18:46 TYT9000 a écrit :

Le 12 février 2021 à 17:15:24 KJQuiche a écrit :

Le 12 février 2021 à 17:13:54 TYT9000 a écrit :
Facile, tu prends un dataset d'analyse de sentiments

Tu prends aussi environ 2000 posts à blacklister et 2000 posts OK

Puis tu pré-entraine ton IA sur le dataset 1 et tu le fine-tune sur le dataset 2

à la fin tu auras de quoi distinguer les posts à blacklister des posts OK

puis avec un script qui parcours automatiquement les topics, tu analyse chaque message et ton IA va le classifier et en fonction du résultat tu dis à ton script de blacklister ou non le forumeur

Ok la théorie, mais je fais ça avec quoi? C'est quoi le langage le plus adapté ?

Utilise Python, installe Keras, Matplolib, Numpy, Pandas, ça va te permettre de faire de l'EDA pour analyser les features intéressante (celles qui ont la plus forte correlation avec le résultat de sortie), Keras va te permettre de créer un neural network de type NLP (je pense que tu peux utiliser des archi comme Bert) puis une fois le model entrainé, tu auras un fichier, que tu vas upload sur AWS ou GCP par exemple et qui va te servir d'API pour ton application JS. Ensuite en Python tu développe un crawler (des libs existent) pour scanner les topics et récupérer les posts, tu fournis ça à ton script JS côté navigateur et il va automatiquement blackliser les gens, en dépit de ent's

Je maitrise/connais aucun de ses trucs ça va être la cata

C'est pourtant simple ahi, en dépit de ent's

C'est facile quand on sait faire

500 euros et je te le fais, en dépit de ent's

Ah ça tombe bien j'avais justement 500 euros à dépenser

Le 12 février 2021 à 17:25:12 8FitTrainer a écrit :
C'est la meilleur idée pur se retrouver tout seul sur le forom

Tous les jours depuis des années ya toujours les mêmes cons qui font les mêmes topics, à un moment ça saoule

Le 12 février 2021 à 17:26:10 KJQuiche a écrit :

Le 12 février 2021 à 17:25:12 8FitTrainer a écrit :
C'est la meilleur idée pur se retrouver tout seul sur le forom

Tous les jours depuis des années ya toujours les mêmes cons qui font les mêmes topics, à un moment ça saoule

Le forom tu l'aimes ou tu le quittes

Le 12 février 2021 à 17:25:23 ProcaineJPP a écrit :
Fais nous signe quand tu trouves, si il y a moyen dissimuler automatiquement le malaise que provoque naturellement les KJ je dis pas non ᴇᴎᴛ

ça doit être encore plus facile à faire ça, t'as juste à lister les stickers kj et si les gens les utilisent tu BL