J'ai eu une putain de revelation je sais comment faire une super intelligence artificielle
alors on va commencer simple
deja regardez le monde dans lequel on est, il est incroyablement ordonne, trouver des patterns n'a jamais ete la difficulte, trouver des liens entres ses patterns pour faire des patterns de niveau superieur non plus, mais alors ou est la diffuclte en fait ? je vous laisse 2s pour reflechir a ca, je repond apres
Vas y explique nous
En demandant à une IA de créer un code source pour en créer une plus développée et indépendante ?
la difficulte c'est de ne pas creer des patterns tautologiquement vrai des paterns deja precedemment etabli, on va prendre un exemple a la con pour expliquer. Imaginons j'envois a mon ia une image de 4 pixels en noir et blanc, et en fait c'est tout le temps noir noir noir noir.
L' ia peut deja remarquer un premier patern, les deux premier pixel sont tout le temps noir ok, puis un deuxieme pattern les deux derniers pixel sont tout le temps noir, jusuq'a la ok. Mais apres cela l'ia pourrait remarque que les 2 et 3 eme pixels sont tout le temps noir ce qui est en fait inutile car tautologique des deux derniers pattern deja etablit, il faut absolument eviter cela, sinon on se retrouve avec des tas de pattern qui servent a rien engendrant eux meme encore plus de redondance etc. Je continue apres.
La methode d'apprentissage est non superivsee.
On se donne un domaine de depart que l'on notera E, D C E appele ensemble des possibles, par exemple vous pouvez prendre E l'ensemble des image possible de taille 100x100 et D l'ensemble des image representant une paire de nichon. On se donne une fonction f: E -> F et ce que je voudrais c'est que cette fonction f m'aide a decrire une photo de paire de nichon avec le moins de bit possible.
Prennons une photo de paire de nichon: x, au lieux de la decrire pixel par pixel je vais regarder son image par f, et decrire f(x) puis je vais rergarder f^-1({f(x}) et je vais ensuite devoir dire ou se trouve x dans f^-1({f(x}).
Plus de mathematique apres pour preciser
Alors deja pour decrire f(x) on pourrait se dire que sa taille descriptive c'est la taille en bit d'un element de F mais non ya bcp mieux. On va dire que F c'est {0;1}^n et on va chercher a ce que f|D atteigne des elements avec le plus de 0 possible. On peut montrer qu'il existe un moyen pour representer chaque element de f(D) avec somme_k - p_k ln(p_k) bit ou p_k est la probabilite que le k ieme pixel de f|D(x) vale 1. Quand la data en sortie a bcp de 0 cette taille descriptive est faible.
Bon cela est fait mais il faut encore decrire comme retouve x a partir de f(x), le coup en information est simplement ln_2 card(f^-1({f(x})) est voila on a notre formule a reduire:
somme_k - p_k ln(p_k) + ln_2 card(f^-1({f(x})) ou p_k = prob(f|D(x)|k =1)
on va voir que s'arreter la ne suffit pas
Un point que je ne detaillerais pas psq fait chier c'est que si on se limite au discret comme on l'a fait jusqu'a present ca va poser des probleme. Bonne nouvelle tout ce qu'on a dit peut se generaliser au continue mais attention pas n'importe comment.
En effet il ne suffit pas de reprendre la fonction tel que la partie somme_k - p_k ln(p_k) ne change pas peu ou prou (un peu car un reel approxime a la nieme decimal ne prend pas un bit pour etre decrit, faudrait faire le maths pour voir quel est l'entropie de ce bordel mais ca restera dans le meme esprit).
Par contre la partie ln_2 card(f^-1({f(x})) elle change, il faut bien comprendre que quand on parlait du nombre d'element de l'image reciproque en fait en parlait de la taille de l'image reciproque, ici remplace par la division m( B(x, e) ) / m( f^-1(B(x,e)) ou m la mesure de BL et e tres petit, si ya des matheux sur le topic ils auront de suite vu que dans le cas f bijective c'est en fait le determinant de la jacobienne dont on parle ici, dans le cas general ca doit porter un nom mais je sais pas comment ca s'appel.
L'expression a reduire dans le cas continue est docn:
somme_x\in D (somme_k - p_k ln(p_k) + ln_2 (m( B(x, e) ) / m( f^-1(B(x,e))) ).
Ce qu'on peut faire avec un reseau de neurone uni couche.
Suite et fin apres.
Tout ce qu'on a dit permet d'etablir des pattern simple est non redondant et ensuite comme on fait, et bah on rajoute une autre couche de neurone et on recommence etc, sauf ya une petite difference.
Avant si j'atteignais n'importe quel element via f^-1 tous contribuaient autant dans la taille de l'image reciproque, ici ca ne saura plus le cas, un element contibuera a la taille de l'image reciproque proportionnelement a la taille de sa decription a savoir: (somme_k in A - p_k ln(p_k)) ou A est l'ensemble des k tel que la kieme coordonne de mon element est 1, bon j'ecris pas la formule explicite ca serait degueulasse
Je sais pas un khey ne comprendra ce que je dis ou pensera que c'est de la merde donc aucune peur de poster ca ici
On peut montrer qu'il existe un moyen pour representer chaque element de f(D) avec somme_k - p_k ln(p_k) bit ou p_k est la probabilite que le k ieme pixel de f|D(x) vale 1
oula je me rend compte que j'ai pas ete clair du tout ici, je refromule dsl:
chaque element x peut s'exprimer avec somme k\in A(x) - p_k ln(p_k) bit ou p_k est la probabilite que le k ieme pixel de f|D vale 1 et A(x) = {i tel que x|i =1 ou |i designe la ieme coordonee} voila dsl
un element contibuera a la taille de l'image reciproque proportionnelement a la taille de sa decription
bon ca ca se comprend mais je detail:
un element contibuera a la taille de l'image reciproque proportionnelement a la taille de sa decription etablie lors de la derniere couche de neurone
Données du topic
- Auteur
- PseudoNumber27
- Date de création
- 20 octobre 2024 à 03:20:21
- Nb. messages archivés
- 21
- Nb. messages JVC
- 20