This is an old revision of the document!
scraping
Suite à la discussion avec Alexandre, voici la représentation approximative que nous avons du fonctionnement de l'application de scrapping déployée pour Power-Tools.
- L'application récupère les catalogues depuis les sites des fournisseurs mais chaque fournisseur présente son catalogue dans un format et sous un protocole propre ce qui nécessite un traitement particulier à chaque fournisseur.
- L'application traite les catalogues et unifie les données dans un format homogène et les stocke sur sa propre base de données.
- Une partie de l'application s'occupe ensuite d'envoyer la mise à jour des produits fournisseurs depuis sa base de données vers Odoo (en utilisant XML/RPC)
Alexandre a exprimé son souhait d'une contribution au code de son application en vue d'interroger de nouveaux sites fournisseurs. Cette contribution se présenterait sous forme de modules spécifiques à chaque fournisseur.
Alexandre nous a fait savoir que le processus automatique quotidien de son application (cron) prenait quelques heures pour s'achever.
Nous aimerions qu'Alexandre nous confirme que ce processus englobe la totalité du cycle, c'est à dire :
- Récupération du catalogue depuis les sites fournisseurs
- Traitement des catalogue et insertion dans la base de données de l'application (middleware)
- Mise à jour des produits dans Odoo (XML/RPC)
Nous avons par expérience
restore from backup
$ test_restore Ce script va écraser votre base de données avec un backup Voulez-vous continuer ? [o/N] o SELECTED BACKUP 2022-08-15_04-00 1/10 STOPPING CONTAINERS 2/10 CHANGING ODOO FILES OWNERSHIP TO DO CLEANING WITHOUT SUDO ESCALATION 3/10 CHANGING DB FILES OWNERSHIP TO DO CLEANING WITHOUT SUDO ESCALATION 4/10 CLEANING OLD DATA 5/10 RESTORING EXTRA-ADDONS 6/10 RESTORING FILESTORE 7/10 CHANGING FILESTORE OWNERSHIP BACK SO ODOO CAN RUN PROPERLY 8/10 STARTING THE DATABASE WAITING FOR THE DATABASE TO START WAITING FOR THE DATABASE TO START 9/10 RESTORING DATABASE pt_db RESTORED 10/10 RESTARTING ODOO $
$ test_restore -s Ce script va écraser votre base de données avec un backup Voulez-vous continuer ? [o/N] o 1) 2022-08-15_04-00 3) 2022-08-13_04-00 5) cancel 2) 2022-08-14_04-00 4) 2022-08-12_12-29 #? 4 SELECTED BACKUP 2022-08-12_12-29 1/10 STOPPING CONTAINERS 2/10 CHANGING ODOO FILES OWNERSHIP TO DO CLEANING WITHOUT SUDO ESCALATION 3/10 CHANGING DB FILES OWNERSHIP TO DO CLEANING WITHOUT SUDO ESCALATION 4/10 CLEANING OLD DATA 5/10 RESTORING EXTRA-ADDONS 6/10 RESTORING FILESTORE 7/10 CHANGING FILESTORE OWNERSHIP BACK SO ODOO CAN RUN PROPERLY 8/10 STARTING THE DATABASE WAITING FOR THE DATABASE TO START WAITING FOR THE DATABASE TO START 9/10 RESTORING DATABASE pt_db RESTORED 10/10 RESTARTING ODOO $