Se connecter à BigQuery

Objectif

L’outil Analytics Nuage Connect Access est un bloc-notes qui vous aide à configurer et à gérer les transferts de données de Procore vers BigQuery avec Analytics 2.0.

Conditions préalables

Analytique 2.0 SKU
Accès à Google Nuage Platform (GCP)
Permissions requises sur Delta Share et BigQuery
Téléchargez le paquet compressé à partir de l’outil d’analyse au niveau de la compagnie (via Analytics > Mise en route > options de connexion > BigQuery).

Configurer la configuration

Configuration du partage Delta

Créez un fichier nommé config.share avec vos identifiants Delta Share au format JSON.
Obtenir les champs obligatoires.
Remarque : Ces détails peuvent être obtenus à partir de l’application Web Analytics.
- Jeton porteur : Votre jeton d’accès Delta Share.
- Critère d’évaluation : L’URL de votre point de terminaison Delta Share.
- shareCredentialsVersion : Numéro de version (actuellement 1).

Exemple de fichier config.share

{
« shareCredentialsVersion » : 1,
« bearerToken » : « »,
« point final » : « »
}

BIGQUERY CONFIGURATION

Téléchargez le fichier bigquery.zip à partir de l’application Web Analytics.
Remarque : Vous pouvez télécharger le paquet compressé à partir de l’outil d’analyse au niveau de la compagnie (via Analytics > Mise en route > options de connexion > BigQuery).
Extrayez le paquet dans un répertoire de votre choix.
Ouvrez le fichier config.yaml et modifiez les paramètres suivants :
- source_config.config_chemin : Chemin vers le fichier de configuration Delta Share.
- source_config.tableaux : Liste facultative de tableaux spécifiques à traiter. Laissez-le vide pour traiter tous les tableaux.
- target_config.project_id : ID de projet GCP pour BigQuery.
- target_config.dataset : Nom de l’ensemble de données BigQuery.
- target_config.threads : Nombre de processus de table concurrents.

Exemple de fichier config.yaml

source_config :
config_path : « <path_to_delta_share_config>»
tableaux : # Facultatif - liste des tableaux spécifiques à traiter
- « tableau1 »
- « tableau2 »

target_config :
project_id : « »<your-gcp-project-id><bigquery-dataset-name>
Ensemble de données : « <nom-de-l’ensemble de données bigquery> » target_type : BigQuery

Téléverser le fichier de configuration

Téléversez les fichiers config.yaml et config.share dans le compartiment GS.
1. Stockage Google Nuage (GCS)
  - Utiliser le format : gs://bucket-name/path/to/config.yaml.

Exécuter l’application BigQuery

Créez un bloc-notes Python et installez les paquets suivants :
- %pip install delta-sharing
- pip install pandas-gbq -U
Copiez le code de , collez-le dans votre bloc-notes, mettez à jour le chemin de delta_share_to_bq.pyconfiguration (config.yaml), et l’exécuter.

Surveillance et consignation

L’application fournit une consignation détaillée avec :

Statut de traitement pour chaque tableau.
Messages d’erreur et exceptions.
Traitement simultané de l’information.

Meilleures pratiques

Optimisation des performances
- Ajustez le nombre de fils en fonction des ressources système.
- Surveillez l’utilisation de la mémoire avec de grands tableaux.
- Tenez compte de la taille des tableaux lors de la définition de processus simultanés.
Gestion des erreurs
- Surveillez les registres d’applications.
- Configurez des alertes appropriées.
- Maintenir les configurations de sauvegarde.

Dépannage

Problèmes et solutions courants :

Échecs de connexion
- Vérifiez la connectivité réseau.
- Vérifier la validité des informations d’identification.
- Confirmez les permissions du compte de service.
Erreurs de traitement
- Vérifier l’existence du tableau.
- Cochez les permissions d’accès aux tableaux.
- Validez les paramètres de configuration.
Problèmes de rendement
- Réduisez les threads simultanés.
- Surveiller les ressources du système.

Soutien

Pour obtenir de l’aide supplémentaire :

Consultez les registres d’application pour plus de détails sur les erreurs.
Vérifiez les paramètres de configuration.
Assurez-vous que toutes les conditions préalables sont remplies.
Contactez votre administrateur système pour les problèmes liés aux permissions.