Combiner des fichiers sur Power BI vous dites ? Regardons ça de plus près…
Comme évoqué dans un article précédent, la combinaison de fichiers intervient lorsque vous cherchez à réunir au sein d’une table unique, un ensemble de données mensuelles ou provenant de différents sites par exemple. Power BI vous demandera alors de traiter un fichier en guise d’exemple et appliquera la même méthodologie à l’ensemble des fichiers à traiter.
Nous allons parcourir au sein de cet article l’ensemble des étapes permettant de réaliser cela. En effet, Power BI crée certains éléments sans vous demander votre avis. Il est alors nécessaire de bien comprendre ce qui se passe et comment le modifier éventuellement.
Le cas concret utilisé pour cet article est le suivant : vous devez réunir au sein d’une même table un ensemble de données provenant de pays différents. Le contenu de chacune des sources est le même (cf Figure 1) et tous les fichiers sources sont contenus dans le même dossier (Figure 2). Notez que ce dernier point est incontournable pour réaliser une combinaison de sources.
Figure 1. Format de la source de données
Figure 2. Contenu du dossier de fichiers source.
Sous l’interface de Power BI, la première étape sera de cliquer sur « Obtenir des données » et choisir l’option « Plus » dans la liste déroulante proposée (Figure 3).
Figure 3. Ouverture de l’interface d’obtention de données.
Dans la fenêtre qui s’ouvrira alors, sélectionner l’option « Dossier » :
Figure 4. Interface de sélection du type de source.
Les deux fenêtres suivantes ne devraient pas vous surprendre. Il vous sera demandé l’adresse du dossier contenant vos fichiers source (Figure 5).
Figure 5. Fenêtres de sélection du dossier à traiter.
Une fois le dossier choisi, nous pourrons alors entrer dans le vif du sujet. En effet, plusieurs options sont alors possibles. Nous en décrirons deux pour rester concis. Lorsque le dossier a été validé, s’ouvre alors une fenêtre vous présentant la liste de l’ensemble des fichiers présents. Les deux options que nous allons détailler pour passer à l’étape suivante sont « Modifier » (Figure 6) et « Combiner et modifier » (Figure 7).
Le premier choix vous donnera l’impression d’effectuer un peu plus d’étapes, mais aura l’avantage de d’avoir moins d’étapes mises en place automatiquement par Power BI. Je vous la conseille pour les débutants. Lorsque vous aurez l’outil un peu plus en main, la seconde vous conviendra tout autant.
Figure 6. Sélection de l’option « Modifier ».
Figure 7. Sélection de l’option « Combiner et modifier ».
Quel que soit votre choix, l’interface de Power Query s’est alors ouverte. Nous allons avancer en parallèle selon le choix effectué.
Si vous avez choisi de « Modifier », l’interface Query ne vous montre alors qu’une requête sur la gauche de l’écran, la liste des fichiers contenus dans le dossier au milieu et les étapes de votre requête en cours. Il se trouve alors qu’il n’y a qu’une étape, celle de la connexion au dossier (Figure 8).
Figure 8. Interface Query suite au choix “Modifier”.
Il vous est alors nécessaire de demander à Power Query d’effectuer l’étape de combinaison à proprement parler. Cela s’effectuera grâce à l’icône à droite de l’intitulé de colonne « Content » ().
Figure 9. Emplacement de l’icône de combinaison de fichiers.
La fenêtre suivante rencontrée sera la même quelle que soit la méthode choisie au préalable. L’étape consiste alors à choisir la partie du fichier que vous souhaitez traiter. Dans notre cas, il s’agit de récupérer les données contenues dans l’onglet du pays concerné. Cette étape servant de modèle, Power BI vous propose différentes options quant au choix du fichier servant de modèle. Utiliser l’option par défaut « Premier fichier » répondra à la majorité des cas. Sélectionnez alors l’onglet contenant vos données puis validez (Figure 10).
Figure 10. Sélection des données servant de modèle.
Suite à cela, les informations à votre disposition sous l’interface de Power Query auront alors fortement évolué. En effet, les requêtes sur la gauche de l’interface sont alors organisées en dossiers et vous êtes passé d’une seule étape à une liste de 7 étapes contenues dans votre requête (Figure 11).
Figure 11. Résultat de l’étape de combinaison de fichiers.
Expliquons ce qui s’est passé en regardant en détail les étapes de votre requête :
- Source : étape de connexion au dossier
- Fichiers masqués filtrés1 : Power BI fait en sorte de ne pas considérer les fichiers masqués comme étant des fichiers à traiter
- Appeler une fonction personnalisée1 : pour chaque ligne d’information (donc pour chaque fichier présent dans le dossier à cette étape), Power BI traite le fichier en question selon le modèle et ajoute le résultat de ce traitement au sein d’une nouvelle colonne.
- Colonnes renommées1 : Power BI renomme la colonne « Name » en « Source.Name »
- Autres colonnes supprimées1 : Power BI supprime l’ensemble des colonnes de la table en cours de traitement et ne conserve que le nom du fichier d’origine et le résultat de son traitement selon le modèle.
- Colonne de tables développée1 : Power BI développe l’ensemble des données issues du traitement selon le modèle
- Type modifié : Power BI attribut un type de données à chaque colonne (texte, nombre entier, date, …)
Vous aurez peut-être constaté de vous-même en repassant sur chaque étape qu’une partie des données semble présenter des erreurs à l’étape « Autres colonnes supprimées1 » (Figure 12). Si tel est le cas, bravo, vous êtes attentif.
Figure 12. Erreurs de traitement liées à la fonction personnalisée.
En réalité, cette erreur remonte à l’appel de la fonction personnalisée. Autrement dit, le modèle n’a pu être appliqué au traitement du fichier de la ligne considérée. Mais pourquoi me direz-vous, je n’ai presque rien fait sur mon modèle. « PRESQUE » est le mot-clé.
Regardons la requête sur la gauche avec le nom commençant par « Transformer l’exemple de fichier à partir … ». En se positionnant sur cette requête, trois étapes sont visibles sur la partie droite de l’écran :
- Source : étape de connexion au fichier servant de modèle
- Navigation : phase de sélection des données au sein du fichier
- En-têtes promus : utilisation de la première ligne de données en tant que nom de colonne.
Souvenez-vous de l’étape liée à la navigation et regardons le bout de code associé à cela :
Figure 13. Code de navigation au sein du fichier source.
Cela signifie que le modèle cherche à se connecter à l’onglet (« Sheet ») se nommant « Allemagne ». Or, si l’on s’attarde sur les autres fichiers à notre disposition, on constate que chaque onglet contenant les données intéressantes est nommé selon son pays d’origine. Le code ne peut alors, pour tout fichier, trouver un onglet se nommant « Allemagne ».
Pour corriger cela, il sera nécessaire de modifier le code pour viser non pas un onglet selon son nom mais selon sa position. Le code corrigé ressemblera alors à l’image suivante :
Figure 14. Correction de la ligne de navigation.
Ceci aura comme contrepartie de s’assurer que chaque fichier source ne contient qu’un onglet. L’autre possibilité, pour ne pas changer le code, serait d’anticiper et de faire en sorte que chaque fichier contienne ses informations à charger au sein d’un onglet labellisé avec un nom générique du type « Données_brutes » par exemple.
La correction étant effectuée, vous pourrez alors constater dans votre requête principale que l’étape comportant initialement des erreurs, n’en montre plus.
Figure 15. Visualisation de l’absence d’erreur suite à la correction de navigation sur le fichier modèle.
Voici qui devrait vous permettre de combiner des fichiers tout en comprenant ce qui est fait automatiquement par Power BI et comment vous pouvez le modifier. Sachez que votre dossier peut comporter d’autres fichiers que vous ne souhaiteriez pas traiter et que des solutions existent pour rendre votre requête plus robuste.
Dans le cas où vous seriez dans cette situation, n’hésitez pas à contacter notre joyeuse équipe de développeurs qui pourront vous accompagner ou réaliser vos développements.
N’hésitez pas à faire appel à nos experts pour vos besoins de développement, de formation, d’expertise ou d’assistance sur Power BI en nous contactant au 09.72.54.52.00 ou par mail à l’adresse contact@experts-powerbi.fr !