Exporter vers ADLS à l’aide de Python

Préparer le paquet

1. Créez un nouveau fichier nommé config.share avec vos informations d’identification Delta Share en format JSON.

2. Obtenir les champs obligatoires.
   Remarque : Ces détails peuvent être obtenus à partir de l’application Web Analytics.
   • ShareCredentialsVersion : Numéro de version (actuellement 1).
   • BearerToken : Votre jeton d’accès Delta Share.
   • Point de terminaison : URL de votre point de terminaison Delta Share.
3. Téléchargez et extrayez le paquet.
   Remarque : Vous pouvez télécharger le paquet compressé à partir de l’outil d’analyse au niveau de la compagnie (via Analytics > Mise en route > Options de connexion > Azure).
4. Décompressez le paquet dans un répertoire de votre choix.
5. Copiez le fichier de profil de partage delta *.share dans le répertoire du paquet pour un accès facile.
   

Installer des dépendances

1. Ouvrez un terminal dans le répertoire du paquet.
2. Exécutez la commande suivante pour installer les dépendances :
3. pip install -r requirements.txt
   

Générer la configuration

1. Générez le fichier config.yaml en exécutant python user_exp.py:
   Ce script aide à générer le fichier config.yaml qui contient les informations d’identification et les paramètres nécessaires.
2. Lors de la configuration de la source de données, il vous sera demandé de fournir :
   • Liste des tableaux (séparés par des virgules).
   • Laisser en blanc pour synchroniser tous les tableaux.
     Exemple : «tableau1, table2, table3».
   • Chemin vers votre 'config.share' fichier.
3. Pour la première fois, vous fournirez vos informations d’identification telles que l’emplacement de configuration de la source Delta Share, les tables, la base de données, l’hôte, etc.
   Remarque : Ensuite, vous pouvez réutiliser ou mettre à jour la configuration manuellement ou par le user_exp.py python en cours d’exécution.

Configurer les tâches Cron et l’exécution immédiate (facultatif)

1. Décidez de configurer un travail cron pour l’exécution automatique.
2. Fournissez un échéancier cron :
   • Format : * * * * * (minute, heure, jour du mois, mois, jour de la semaine).
   • Exemple d’exécution quotidienne à 2 h : 0 2 * * *
   • Pour vérifier les registres d’échéancier, le fichier « procore_scheduling.log » sera créé dès que l’échéancier sera configuré.

Vous pouvez également vérifier l’ordonnancement en exécutant la commande terminal :

Pour Linux et MacOs :    

Pour modifier/supprimer - modifiez le cron d’échéancier en utilisant :

• Après avoir exécuté la commande ci-dessus, vous devriez voir quelque chose de similaire à :
• 2 * * * * /Utilisateurs/your_user/flocon de neige/venv/bin/python /Utilisateurs/your_user/flocon de neige/sql_server_python/connection_config.py 2>&1 | tout en lisant la ligne; do echo « $(date) - $line »; fait >> /Users/your_user/snowflake/sql_server_python/procore_scheduling.log # procore-data-import
• Vous pouvez également ajuster le cron de l’échéancier ou supprimer toute la ligne pour l’arrêter selon l’échéancier.

Pour Windows :

• Vérifiez que la tâche de l’échéancier est créée :
  '''PowerShell
  schtasks /query /tn « ProcoreDeltaShareScheduling » /fo LIST /v
  ```
• Pour modifier/supprimer - tâche d’échéancier :
  Ouvrez l’échéancier de tâches :
  • Appuyez sur Win + R, tapez taskschd.msc, et appuyez sur Entrée.
  • Accédez aux tâches planifiées.
  • Dans le volet gauche, développez la bibliothèque du planificateur de tâches.
  • Recherchez le dossier dans lequel votre tâche est enregistrée (par exemple, bibliothèque de planification de tâches ou un dossier personnalisé).
• Trouvez votre tâche :
  • Recherchez le nom de la tâche ProcoreDeltaShareScheduling.
  • Cliquez dessus pour afficher ses détails dans le volet du bas.
• Vérifiez son échéancier :
  • Vérifiez l’onglet Déclencheurs pour voir quand la tâche est configurée pour s’exécuter.
  • Consultez l’onglet Historique pour confirmer les exécutions récentes.
• Pour supprimer la tâche :
  • Supprimer la tâche de l’interface graphique.

Question d’exécution immédiate :

• Option pour exécuter un script pour copier les données immédiatement après la configuration.
• Après avoir généré le fichier config.yaml, l’interface de ligne de commande est prête à être exécutée à tout moment indépendamment, en exécutant un script pour copier les données, selon votre paquet. Voir des exemples ci-dessous :
  Python delta_share_to_azure_panda.py
  OU
  Python delta_share_to_sql_spark.py
  OU
  Python delta_share_to_azure_dfs_spark.py

Exécution et maintenance

Problèmes courants et solutions

1. Configuration du projet Cron :
   • Assurez-vous que les permissions système sont correctement configurées.
   • Vérifiez les registres système si la tâche ne parvient pas à s’exécuter.
   •  Vérifiez que le script delta_share_to_azure_panda.py dispose des permissions d’exécution.
2. Fichier de configuration :
   • Assurez-vous que le fichier config.yaml se trouve dans le même répertoire que le script.
   • Sauvegardez le fichier avant d’apporter des modifications.

Soutien

Pour obtenir de l’aide supplémentaire :

1. Consultez les registres de script pour obtenir des messages d’erreur détaillés.
2. Vérifiez que le fichier config.yaml n’a pas de mauvaises configurations.
3. Contactez votre administrateur système pour les problèmes liés aux permissions.
4. Contactez le support Procore pour les problèmes liés à l’accès Delta Share.
5. Consulter le registre des tables ayant échoué : failed_tables.log.

Remarques

1. Sauvegardez toujours vos fichiers de configuration avant d’apporter des modifications.
2. Testez de nouvelles configurations dans un environnement hors production pour éviter les perturbations.