Exporter vers SQL Server à l’aide de Python (SSIS)
Aperçu
L’outil Nuage Connect Access de Procore Analytics est une interface de ligne de commande (CLI) qui vous aide à configurer et à gérer les transferts de données de Procore vers MS SQL Server. Il se compose de deux composantes principales :
- user_exp.py (Utilitaire de configuration de la configuration)
- delta_share_to_azure_panda.py (Script de synchronisation des données)
Conditions préalables
- Python et pip installés sur votre système.
- Accès à Procore Delta Share.
- Informations d’identification du compte MS SQL Server.
- Installez les dépendances requises : pip install -r requirements.txt.
Étapes
- Configuration initiale
- Synchronisation des données
- Configuration du partage Delta
- MS SQL Server Configuration
- SSIS Configuration
Configuration initiale
- Exécutez l’utilitaire de configuration :
python user_exp.py
Cela vous aidera à configurer les éléments suivants :
- Configuration de la source Delta Share
- Configuration de la cible MS SQL Server
- Préférences de planification
Synchronisation des données
Après la configuration, vous avez deux options pour exécuter la synchronisation des données :
- Exécution directe python
delta_share_to_azure_panda.py
OU - Exécution planifiée
S’il est configuré lors de l’installation, le travail s’exécutera automatiquement selon votre planification cron.
Configuration du partage Delta
- Créez un nouveau fichier nommé config.share avec vos informations d’identification Delta Share au format JSON.
{
« shareCredentialsVersion » : 1,
« bearerToken » : « xxxxxxxxxxxxx »,
« endpoint » : « https://nvirginia.nuage. databricks.c... astores/xxxxxx"
}
- Obtenir les champs obligatoires :
Remarque : Ces détails peuvent être obtenus à partir de l’application Web Procore Analytics.- ShareCredentialsVersion : numéro de version (actuellement 1).
- BearerToken : votre jeton d’accès Delta Share.
- Point de terminaison : URL de votre point de terminaison Delta Share.
- Enregistrez le fichier dans un emplacement sûr.
- Lors de la configuration de la source de données, il vous sera demandé de fournir les informations suivantes :
- Liste des tableaux (séparés par des virgules).
- Laisser en blanc pour synchroniser tous les tableaux.
- Exemple : 'table1, t able2, table3'.
- Chemin d’accès à votre fichier « config.share » fichier.
MS SQL Server Configuration
Vous devez fournir les détails MS SQL Server suivants :
- Base de données
- Hébergeur
- mot de passe
- Schéma
- Nom d’utilisateur
SSIS Configuration
- À l’aide de la ligne de commande, accédez au dossier en saisissant « cd <chemin d’accès au dossier> <path to the folder> ».
- Installez les paquets requis à l’aide de 'pip install -r requirements.txt' ou 'python -m pip install -r requirements.txt'.
- Ouvrez SSIS et créez un nouveau projet.
- À partir de la boîte à outils SSIS, glisser-déposer l’activité « Exécuter la tâche de processus ».
- Double-cliquez sur « Exécuter la tâche de processus » et accédez à l’onglet Processus.
- Dans 'Exécutable', entrez le chemin d’accès à python.exe dans le dossier d’installation python.
- Dans 'WorkingDirectory', entrez un chemin d’accès au dossier contenant le script que vous souhaitez exécuter (sans nom de fichier de script).
- Dans 'Arguments', entrez le nom du script 'delta_share_to_azure_panda.py' que vous souhaitez exécuter avec le .py extension et sauvegarder.
- Cliquez sur le bouton « Démarrer » dans le volet supérieur :
- Lors de l’exécution de la tâche, la sortie de la console Python s’affiche dans la fenêtre de la console externe.
- Une fois la tâche terminée, elle affichera une coche verte :