[Scraper] Universal XML Scraper

Les projets logiciels, utilitaires, en cours de développement.
rickp7757
New Challenger
New Challenger
Messages : 2
Matériel : Raspberry Pi
Os : Linux
Frontend : EmulationStation
Launcher : RetroArch
Arcade : - Non Renseigné -
Résolution Écran : 1920x1080

   dimanche mars 2017, 16:11  

Please send my UXS confirmation email. I have donated 10 euros to get the 5 threads, but cannot log in to account.

user: rickp7757
email: rickp7757@comcast.net

rickp7757
New Challenger
New Challenger
Messages : 2
Matériel : Raspberry Pi
Os : Linux
Frontend : EmulationStation
Launcher : RetroArch
Arcade : - Non Renseigné -
Résolution Écran : 1920x1080

   dimanche mars 2017, 16:36  

I am now logged in. And have 6 threads.

Merci

Avatar du membre
pr4xis
New Challenger
New Challenger
Messages : 15
Matériel : Raspberry Pi
Os : Linux
Frontend : EmulationStation
Launcher : RetroArch
Arcade : - Non Renseigné -
Résolution Écran : - Non Renseigné -

   dimanche avr. 2017, 00:29  

Salut,

En faisant un scan avec Malwarebytes, je m'aperçois que le fichier caché Scraper.exe est vu comme un positif (trojan), je me suis donc rendu sur virustotal.com et j'obtiens un résultat de 7/61 positifs ce qui est beaucoup pour moi (voir ici : https://www.virustotal.com/fr/file/b1a9 ... 491660665/). Je décide donc de voir de quoi il en retourne en téléchargeant (ici : https://github.com/Universal-Rom-Tools/ ... r/releases) le code source de la dernière version de UXS (2.2.0.1) dans une Sandbox. Et là que vois-je ? Encore un positif (virus) retourné par mon anti-virus (Avast), le binaire /include/Exemple/MailSlot_Sender.exe présent depuis la version 2 alpha pour être exact. Je ne sais pas si ce qui est vu comme un trojan et ce qui est vu comme un virus sont liés. Je ne sais pas non plus pourquoi les fichiers Scraper.exe et Scraper64.exe sont cachés.

Je ne veux pas tout de suite parler de scripts malveillants, car il n'en est peut être rien, mais ça fait moche de réveiller l'antivirus et j'aimerai tout de même avoir la certitude qu'il n'y a rien à craindre et qu'aucun mail contenant des informations privées n'est envoyé à mon insu :meow:
Je continue de lire le code source pour mieux comprendre le fonctionnement du programme et l'intérêt de la fonction mail pour le scraper, mais je n'ai pas trop le temps, un seul argument calmera peut être immédiatement mes ardeurs :D


PS: Qu'un utilisateur de Windows cherche à protéger sa vie privée et la sécurité de son système peut sembler contradictoire/utopique mais, qu'on soit d'accord, Windows n'est pas mon système principal.

Avatar du membre
MarbleMad
Administrateur
Administrateur
Messages : 663
Localisation : Cannes (06)
Matériel : PC
Os : Windows 7
Frontend : HyperSpin 1.3+
Launcher : HyperLaunch 1
Arcade : Borne(s) & Bartop(s)
Résolution Écran : 1024x768
Contact :

   dimanche avr. 2017, 08:18  

https://forum.malekal.com/viewtopic.php?t=56453&start= <- screech, l'auteur de UXS est déjà au courant apparemment !
Image

Avatar du membre
pr4xis
New Challenger
New Challenger
Messages : 15
Matériel : Raspberry Pi
Os : Linux
Frontend : EmulationStation
Launcher : RetroArch
Arcade : - Non Renseigné -
Résolution Écran : - Non Renseigné -

   dimanche avr. 2017, 14:05  

Ok merci pour le lien, j'ai pu voir que MailSlot est en faite un outil de Windows pour faire communiquer des processus entre eux ^^ Et les antivirus l'ont dans le collimateur.

Pour les faux positifs je pense qu'il faut les signaler à chaque éditeur d'antivirus/antipyware qui retournent un positif, bon courage.

Sinon il faudrait se passer de Mailslot, mais je ne sais pas si c'est possible, et si ça l'est ça demanderai une refonte du programme :oops:

Screech
Modérateur
Modérateur
Messages : 216
Localisation : Bretagne
Matériel : Raspberry Pi
Os : Linux
Frontend : EmulationStation
Launcher : - Non Renseigné -
Arcade : Borne(s)
Résolution Écran : 1280x720

   mardi avr. 2017, 15:47  

Hello pr4xis

Effectivement, voici comment fonctionne UXS :

Il y a 2 exe (4 en fait avec le versionning 32/64 bit)
Le UniversalXMLScraper.exe est l'exe "principal" (avec l'interface et tout)
Le scraper.exe est en fait le moteur de scrape.

Le langage que j'utilise ne sais pas faire du multithread (plusieurs processus en même temps) il a donc fallut que je "feinte" en créant des exe séparés.

En gros, l'exe principal interroge la BDD, recupere le fichier XML d'un jeu (si trouvé) et l'envoi au moteur de scrape.
Si tu es en multithread (genre 5 threads) il lance 5 moteurs (5 fois le même exe) en parallèle pour scraper plus vite.
Les moteurs s’occupent de reformater correctement le fichier XML reçu, télécharger les images, créer les MIX,... (en gros les taches "longues""
donc plus tu as de threads, plus tu as de moteur qui tournent en parallèle et plus tu gagne de temps (dans la limite des ressources de ton PC)

Pour communiquer entre eux, les exe doivent passer par quelque par..
Et le mailslot est "normalement" la fonction interne de windows la plus approprié pour qu'ils communiquent.

Enfin, pourquoi les moteurs (scraper.exe et scraper64.exe) sont cachés ?
Parce que certains utilisateurs "novices" pensait que l'exe principal était l'installeur et qu'il fallait lancer les scraper.exe après...
Et du coup, en standalone, ces fichiers ne font rien (ils se quittent automatiquement).. et j'avais plein de remontées d'erreurs "ouhais ça marche pas, ça fait rien du tout..." et après 3 heures de recherche de bug on se rend compte qu'il ne lance pas le bon exe :S

c’était donc plus simple de le "cacher" ^^

voila pour l'historique.

Concernant les faux positifs, j'ai contacté pas mal de fournisseur d'AV... Certains m'ont répondu (tous de manière positive) d'autre ne s'en sont pas pris la peine...

Le problème. C'est qu'à chaque évolution de version, il faut le refaire ^^
(ce qui est un process plutôt long :S )
Donc je confesse, je ne le fais pas à chaque sortie de release ^^
par contre, n’hésitez pas à remonter en "faux positif" à vos AV respectif...
Certains (comme Avast) m'ont déjà de référencé dans le BDD, donc si vous indiquez un FP sur une nouvelle version, ça va assez vite pour être pris en compte ;)

Si tu as besoin d'explication sur le code (qui est très mal documenté :S j'avoue) n’hésite pas ^^ je me ferais un plaisir de te répondre ;)
Image

Avatar du membre
pr4xis
New Challenger
New Challenger
Messages : 15
Matériel : Raspberry Pi
Os : Linux
Frontend : EmulationStation
Launcher : RetroArch
Arcade : - Non Renseigné -
Résolution Écran : - Non Renseigné -

   mardi avr. 2017, 16:43  

Salut et merci pour toutes ces précisions !

Pour les binaires cachés je me doutais que ça devait être un truc du genre finalement.

C'est bien compliqué cette histoire de blacklisting, tu as du courage de souvent remonter le problème. Je remonte le faux positif à mon antivirus et je prévois de le faire pour les prochaines versions.

Je vais faire quelques essais avec mailslot pour voir si c'est simplement le fait de s'en servir qui fait hurler certains AV, une façon de s'en servir ou encore l'ensemble, si ça peut aider... :meow:

Aurais-tu une procédure pour compiler soi-même ton code si ça ne te prends pas trop de temps ? Je n'ai pas beaucoup d'expérience avec AutoIt.

Screech
Modérateur
Modérateur
Messages : 216
Localisation : Bretagne
Matériel : Raspberry Pi
Os : Linux
Frontend : EmulationStation
Launcher : - Non Renseigné -
Arcade : Borne(s)
Résolution Écran : 1280x720

   vendredi avr. 2017, 09:33  

On en avait discuté sur le canal IRC,

Mais voici la méthode la plus simple :
Tu vas sur le site d'autoit :
https://www.autoitscript.com/site/
Tu télécharge le "kit" complet
Tu git UXS
Tu ouvre le fichier .au3 qui va bien ;) (il y en a 2 un pour le moteur et un pour le principal)
Et CTRL+F7 pour compiler ;)
Image

Avatar du membre
pr4xis
New Challenger
New Challenger
Messages : 15
Matériel : Raspberry Pi
Os : Linux
Frontend : EmulationStation
Launcher : RetroArch
Arcade : - Non Renseigné -
Résolution Écran : - Non Renseigné -

   vendredi avr. 2017, 13:57  

Merci pour le rappel :)

Rien de mieux qu'une autopsie pour déceler un problème*. Mes recherches infructueuses sur le web m'avaient quelque peu démotivé ^^


Je te rassure, seul un clone sera sacrifié pour la science XD

  •   Informations
  • Qui est en ligne

    Utilisateurs parcourant ce forum : Aucun utilisateur enregistré et 1 invité

cron