Passer au contenu principal
Procore

Se connecter à BigQuery

  1. Dernière mise à jour
  2. Enregistrer en tant que PDF

Objectif

L’outil Analytics Nuage Connect Access est un bloc-notes qui vous aide à configurer et à gérer les transferts de données de Procore vers BigQuery avec Analytics 2.0. 

Conditions préalables

  • Analytique 2.0 SKU
  • Accès à Google Nuage Platform (GCP)
  • Permissions requises sur Delta Share et BigQuery
  • Téléchargez le paquet compressé à partir de l’outil d’analyse au niveau de la compagnie (via Analytics > Mise en route > options de connexion > BigQuery).

Étapes

  1. Configurer la configuration
  2. Exécuter l’application BigQuery

Configurer la configuration 

Configuration du partage Delta 

  1. Créez un fichier nommé config.share avec vos identifiants Delta Share au format JSON.
  2. Obtenir les champs obligatoires.
    Remarque : Ces détails peuvent être obtenus à partir de l’application Web Analytics.
    • Jeton porteur : Votre jeton d’accès Delta Share.
    • Critère d’évaluation : L’URL de votre point de terminaison Delta Share.
    • shareCredentialsVersion : Numéro de version (actuellement 1).
Exemple de fichier config.share

{
« shareCredentialsVersion » : 1,
« bearerToken » : «  »,
« point final » : «  »
}

BIGQUERY CONFIGURATION 

  1. Téléchargez le fichier bigquery.zip à partir de l’application Web Analytics. 
    Remarque : Vous pouvez télécharger le paquet compressé à partir de l’outil d’analyse au niveau de la compagnie (via Analytics > Mise en route > options de connexion > BigQuery).
  2. Extrayez le paquet dans un répertoire de votre choix.
  3. Ouvrez le fichier config.yaml et modifiez les paramètres suivants :
    • source_config.config_chemin : Chemin vers le fichier de configuration Delta Share.
    • source_config.tableaux : Liste facultative de tableaux spécifiques à traiter. Laissez-le vide pour traiter tous les tableaux.
    • target_config.project_id : ID de projet GCP pour BigQuery.
    • target_config.dataset : Nom de l’ensemble de données BigQuery.
    • target_config.threads : Nombre de processus de table concurrents.
Exemple de fichier config.yaml

source_config :
config_path : « <path_to_delta_share_config>»
tableaux : # Facultatif - liste des tableaux spécifiques à traiter
- « tableau1 »
- « tableau2 »

target_config :
project_id : « »<your-gcp-project-id><bigquery-dataset-name>
Ensemble de données : « <nom-de-l’ensemble de données bigquery> » target_type : BigQuery

Téléverser le fichier de configuration
  1. Téléversez les fichiers config.yaml et config.share dans le compartiment GS.
    1. Stockage Google Nuage (GCS)

Exécuter l’application BigQuery

  1. Créez un bloc-notes Python et installez les paquets suivants :
    • %pip install delta-sharing
    • pip install pandas-gbq -U
  2. Copiez le code de , collez-le dans votre bloc-notes, mettez à jour le chemin de delta_share_to_bq.pyconfiguration (config.yaml), et l’exécuter.

Surveillance et consignation

L’application fournit une consignation détaillée avec :

  • Statut de traitement pour chaque tableau.
  • Messages d’erreur et exceptions.
  • Traitement simultané de l’information.

Meilleures pratiques

  • Optimisation des performances
    • Ajustez le nombre de fils en fonction des ressources système.
    • Surveillez l’utilisation de la mémoire avec de grands tableaux.
    • Tenez compte de la taille des tableaux lors de la définition de processus simultanés.
  • Gestion des erreurs
    • Surveillez les registres d’applications.
    • Configurez des alertes appropriées.
    • Maintenir les configurations de sauvegarde.

Dépannage

Problèmes et solutions courants :

  • Échecs de connexion
    • Vérifiez la connectivité réseau.
    • Vérifier la validité des informations d’identification.
    • Confirmez les permissions du compte de service.
  • Erreurs de traitement
    • Vérifier l’existence du tableau.
    • Cochez les permissions d’accès aux tableaux.
    • Validez les paramètres de configuration.
  • Problèmes de rendement
    • Réduisez les threads simultanés.
    • Surveiller les ressources du système.

Soutien

Pour obtenir de l’aide supplémentaire :

  • Consultez les registres d’application pour plus de détails sur les erreurs.
  • Vérifiez les paramètres de configuration.
  • Assurez-vous que toutes les conditions préalables sont remplies.
  • Contactez votre administrateur système pour les problèmes liés aux permissions.