Restore from backup [WikiElosys]

This is an old revision of the document!

Suite à la discussion avec Alexandre, voici la représentation approximative que nous avons du fonctionnement de l'application de scrapping déployée pour Power-Tools.

clientsdoc:scraping.png

L'application récupère les catalogues depuis les sites des fournisseurs mais chaque fournisseur présente son catalogue dans un format et sous un protocole propre ce qui nécessite un traitement particulier à chaque fournisseur.
L'application traite les catalogues, unifie le format des données et les stocke sur sa propre base de données.
Une partie de l'application s'occupe ensuite d'envoyer la mise à jour des produits fournisseurs depuis sa base de données vers Odoo (en utilisant XML/RPC)

Alexandre a exprimé son souhait d'une contribution au code de son application en vue d'interroger de nouveaux sites fournisseurs. Cette contribution se présenterait sous forme de modules spécifiques à chaque fournisseur.

Alexandre nous a fait savoir que le processus automatique quotidien de son application (cron) prenait quelques heures pour s'achever.

Nous aimerions qu'Alexandre nous confirme que ce processus (cron) englobe la totalité du cycle, c'est à dire :

Récupération du catalogue depuis les sites fournisseurs ;
Traitement des catalogue et insertion dans la base de données de l'application (middleware) ;
Mise à jour des produits dans Odoo (XML/RPC).

Nous aimerions également qu'Alexandre, dans la mesure du possible, nous indique quelle est la partie qui consomme le plus de temps.

Créer un module Odoo qui récupérera les produits fournisseurs depuis la base de de données de l'application ArkScrapWebV2.¹⁾
Inviter Alexandre à créer et mettre à disposition un module minimal mais fonctionnel qui servirait de modèle pour la création de nouveaux scrapeurs pour de nouveaux fournisseurs. ²⁾ ³⁾ ⁴⁾

$ test_restore
Ce script va écraser votre base de données avec un backup
Voulez-vous continuer ? [o/N] o
SELECTED BACKUP 2022-08-15_04-00
  1/10 STOPPING CONTAINERS
  2/10 CHANGING ODOO FILES OWNERSHIP TO DO CLEANING WITHOUT SUDO ESCALATION
  3/10 CHANGING DB FILES OWNERSHIP TO DO CLEANING WITHOUT SUDO ESCALATION
  4/10 CLEANING OLD DATA
  5/10 RESTORING EXTRA-ADDONS
  6/10 RESTORING FILESTORE
  7/10 CHANGING FILESTORE OWNERSHIP BACK SO ODOO CAN RUN PROPERLY
  8/10 STARTING THE DATABASE
  WAITING FOR THE DATABASE TO START
  WAITING FOR THE DATABASE TO START
  9/10 RESTORING DATABASE
  pt_db RESTORED
  10/10 RESTARTING ODOO
$

$ test_restore -s
Ce script va écraser votre base de données avec un backup
Voulez-vous continuer ? [o/N] o
1) 2022-08-15_04-00  3) 2022-08-13_04-00  5) cancel
2) 2022-08-14_04-00  4) 2022-08-12_12-29
#? 4
SELECTED BACKUP 2022-08-12_12-29
  1/10 STOPPING CONTAINERS
  2/10 CHANGING ODOO FILES OWNERSHIP TO DO CLEANING WITHOUT SUDO ESCALATION
  3/10 CHANGING DB FILES OWNERSHIP TO DO CLEANING WITHOUT SUDO ESCALATION
  4/10 CLEANING OLD DATA
  5/10 RESTORING EXTRA-ADDONS
  6/10 RESTORING FILESTORE
  7/10 CHANGING FILESTORE OWNERSHIP BACK SO ODOO CAN RUN PROPERLY
  8/10 STARTING THE DATABASE
  WAITING FOR THE DATABASE TO START
  WAITING FOR THE DATABASE TO START
  9/10 RESTORING DATABASE
  pt_db RESTORED
  10/10 RESTARTING ODOO
$

¹⁾

Nous savons par expérience que l'utilisation de XML/RPC souffre de lenteur, c'est pour ça que nous souhaitons traiter les données de manière plus directe

²⁾

Avec un mini serveur web qui fournirait un exemple.xls avec quelques produits de démo

³⁾

Ce modèle de scrapeur devrait qui aboutir à la création de nouveaux enregistrements non actifs dans la base de données middleware

⁴⁾

Ceci nous