Après avoir scanné Internet (IPv4:80), je m'apprête à enregistrer toutes les pages web

Suite à mon topic du scan des IPv4 https://www.jeuxvideo.com/forums/42-51-70172551-1-0-1-0-j-ai-scanne-tout-internet-voici-un-fichier-libre-et-des-screens.htm
Je vous annonce maintenant que la suite du projet consistera à sauvegarder toutes les pages web accessibles sur ip:80

Ce qui sera sauvegardé / publié :
Titre de la page
Le contenu HTML renvoyé
Headers renvoyés

En faisant des échantillons sur 50 000 sites, j'ai pu calculer que le projet devrait faire de 150 à 1 000 GO (marge faible / haute), et que ce niveau serait de toute façon divisé par deux après compression

Le bot est actuellement en cours, j'estime que cela pourrait prendre jusqu'à quelques jours (ou quelques heures si j'augmente le nombre de serveurs)

L'user-agent sera "Antoine"

Si vous avez un serveur qui avait le port 80 ouvert au moment du scan des ports ouverts (le 7 juillet), et qu'il l'est toujours actuellement, vous le verrez passer dans les logs Apache et Nginx

Des questions ?

Le 11 juillet 2022 à 17:43:54 :
up

mon homme

Le 11 juillet 2022 à 17:44:43 :
web archive le fait deja

Ce n'est pas le même principe

Le 11 juillet 2022 à 17:45:26 :
Monsieur Forum retournez dans votre chambre svp

Vous aussi monsieur, arrêtez de vous prendre pour un médecin

Et l'intérêt il est où au juste ?

Encore de faire un bot qui va sur des pages ok, mais pourquoi les enregistrer ? C'est quoi l'intérêt d'utiliser un To pour ça ?

Le 11 juillet 2022 à 17:45:15 :
Antoineforom l'homme viril du forum
Fais moi des trucs bb

Il a pas l'air réceptif, je peux prendre sa place ?

Le 11 juillet 2022 à 17:49:08 :
150 1000go c'est peu

Il n'y a pas les CSS avec

Le 11 juillet 2022 à 17:49:14 :

Le 11 juillet 2022 à 17:45:15 :
Antoineforom l'homme viril du forum
Fais moi des trucs bb

Il a pas l'air réceptif, je peux prendre sa place ?

NON MOI JE VEUX ANTOINE FOROM

Le 11 juillet 2022 à 17:50:49 :

Le 11 juillet 2022 à 17:49:14 :

Le 11 juillet 2022 à 17:45:15 :
Antoineforom l'homme viril du forum
Fais moi des trucs bb

Il a pas l'air réceptif, je peux prendre sa place ?

NON MOI JE VEUX ANTOINE FOROM

Non, tu M'APPARTIENS