ArkScrapWebV2

Suite à la discussion avec Alexandre, voici la représentation approximative que nous avons du fonctionnement de l'application de scrapping déployée pour Power-Tools.

clientsdoc:scraping.png

Alexandre a exprimé son souhait d'une contribution au code de son application en vue d'interroger de nouveaux sites fournisseurs. Cette contribution se présenterait sous forme de modules spécifiques à chaque fournisseur.

Alexandre nous a fait savoir que le processus automatique quotidien de son application (cron) prenait plusieurs heures pour s'achever.

Nous aimerions qu'Alexandre nous confirme que ce processus (cron) englobe la totalité du cycle, c'est à dire :

Nous aimerions également qu'Alexandre, dans la mesure du possible, nous indique quelle est la partie qui consomme le plus de temps.

Ce que nous proposons à Elosys

1)
Nous savons par expérience que l'utilisation de XML/RPC souffre de lenteur, c'est pour ça que nous souhaitons traiter les données de manière plus directe
2)
Avec un mini serveur web qui fournirait un exemple.xls avec quelques produits de démo
3)
Ce modèle de scrapeur devrait qui aboutir à la création de nouveaux enregistrements non actifs dans la base de données middleware
4)
Ceci aidera à embarquer de nouveaux contributeurs dans le projet