Exporter vers ADLS à l’aide de Python

Préparer le colis

1. Créez un nouveau fichier nommé config.share avec vos informations d’identification Delta Share au format JSON.

2. Obtenir les champs obligatoires.
   Remarque : Ces détails peuvent être obtenus à partir de l’application Web Procore Analytics.
   • ShareCredentialsVersion : numéro de version (actuellement 1).
   • BearerToken : votre jeton d’accès Delta Share.
   • Point de terminaison : URL de votre point de terminaison Delta Share.
3. Téléchargez et extrayez le package.
4. Décompressez le paquet dans un répertoire de votre choix.
5. Copiez le fichier de profil *.share Delta Sharing dans le répertoire du package pour y accéder facilement.
   

Installer les dépendances

1. Ouvrez un terminal dans le répertoire des paquets.
2. Exécutez la commande suivante pour installer les dépendances :
3. pip install -r requirements.txt
   

Générer la configuration

1. Générez le fichier config.yaml en exécutant python user_exp.py:
   Ce script permet de générer le fichier config.yaml qui contient les informations d’identification et les paramètres nécessaires.
2. Lors de la configuration de la source de données, il vous sera demandé de fournir les informations suivantes :
   • Liste des tableaux (séparés par des virgules).
   • Laisser en blanc pour synchroniser tous les tableaux.
     Exemple : 'table1, table2, table3'.
   • Chemin d’accès à votre fichier « config.share » fichier.
3. Pour la première fois, vous fournirez vos informations d’identification telles que l’emplacement de configuration de la source Delta Share, les tables, la base de données, l’hôte, etc.
   Remarque : Par la suite, vous pouvez réutiliser ou mettre à jour la configuration manuellement ou par l’user_exp.py python en cours d’exécution.

Configurer les tâches cron et l’exécution immédiate (facultatif)

1. Décidez s’il faut configurer une tâche cron pour l’exécution automatique.
2. Fournissez un échéancier cron :
   • Format : * * * * * (minute, heure, jour du mois, mois, jour de la semaine).
   • Exemple d’exécution quotidienne à 2 heures du matin : 0 2 * * *
   • Pour vérifier les journaux de planification, le fichier 'procore_scheduling.log' sera créé dès que la planification est configurée.

Vous pouvez également vérifier la planification en exécutant la commande du terminal :

Pour Linux et MacOS :    

Pour modifier/supprimer - modifiez le cron de l’échéancier en utilisant :

• Après avoir exécuté la commande ci-dessus, vous devriez voir quelque chose de similaire à :
• 2 * * * * /users/your_user/snowflake/venv/bin/python /users/your_user/snowflake/sql_server_python/connection_config.py 2>&1 | while ligne lue ; do echo « $(date) - $line » ; done >> /Users/your_user/snowflake/sql_server_python/procore_scheduling.log # procore-data-import
• Vous pouvez également ajuster le cron de l’échéancier ou supprimer la ligne entière pour l’empêcher de fonctionner selon l’échéancier.

Pour Windows :

• Vérifiez que la tâche de l’échéancier est créée :
  '''Powershell
  schtasks /query /tn « ProcoreDeltaShareScheduling » /fo LIST /v
  ```
• Pour modifier/supprimer - tâche d’échéancier :
  Ouvrez le planificateur de tâches :
  • Appuyez sur Win + R, tapez taskschd.msc, et appuyez sur Entrée.
  • Accédez aux tâches planifiées.
  • Dans le volet gauche, développez la bibliothèque du planificateur de tâches.
  • Recherchez le dossier dans lequel votre tâche est enregistrée (par exemple, la bibliothèque du planificateur de tâches ou un dossier personnalisé).
• Trouvez votre tâche :
  • Recherchez le nom de la tâche ProcoreDeltaShareScheduling.
  • Cliquez dessus pour afficher ses détails dans le volet inférieur.
• Vérifiez son échéancier :
  • Vérifiez l’onglet Déclencheurs pour voir quand la tâche est définie pour s’exécuter.
  • Consultez l’onglet Historique pour confirmer les exécutions récentes.
• Pour supprimer la tâche :
  • Supprimer la tâche de l’interface graphique.

Question relative à l’exécution immédiate :

• Possibilité d’exécuter un script pour copier les données immédiatement après la configuration.
• Après avoir généré le fichier config.yaml, l’interface de ligne de commande est prête à être exécutée à tout moment indépendamment, en exécutant un script pour copier les données, en fonction de votre package. Voir des exemples ci-dessous :
  python delta_share_to_azure_panda.py
  OU
  python delta_share_to_sql_spark.py
  OU
  python delta_share_to_azure_dfs_spark.py

Exécution et maintenance

Problèmes courants et solutions

1. Configuration de la tâche Cron :
   • Assurez-vous que les permissions système sont correctement configurées.
   • Vérifiez les journaux système si la tâche échoue à s’exécuter.
   •  Vérifiez que le script delta_share_to_azure_panda.py dispose des autorisations d’exécution.
2. Fichier de configuration :
   • Assurez-vous que le fichier config.yaml se trouve dans le même répertoire que le script.
   • Sauvegardez le fichier avant d’apporter des modifications.

Soutien

Pour obtenir de l’aide supplémentaire :

1. Consultez les journaux de script pour obtenir des messages d’erreur détaillés.
2. Vérifiez que le fichier config.yaml ne contient pas d’erreurs de configuration.
3. Contactez votre administrateur système pour les problèmes liés aux permissions.
4. Contactez le support Procore pour les problèmes liés à l’accès à Delta Share.
5. Examiner le journal pour les tables ayant échoué : failed_tables.log.

Remarques

1. Sauvegardez toujours vos fichiers de configuration avant d’apporter des modifications.
2. Testez de nouvelles configurations dans un environnement hors production pour éviter les interruptions.