J'ai toujours utilisé Excel pour des calculs rapides et la création de tableaux simples. Mais hormis les formules courantes et les techniques de base de manipulation de données, je n'ai jamais ressenti le besoin d'apprendre des fonctions Excel supplémentaires, jusqu'à ce que mes projets deviennent plus complexes.
Liens rapides
Le problème qui m'a finalement fait prêter attention
En raison de plusieurs facteurs du marché et des droits d'importation, l'achat de composants informatiques dans ma région est souvent plus cher qu'aux États-Unis. Je voulais savoir combien je payais de plus pour les mêmes composants et s'il était plus avantageux de commander directement sur Amazon ou Newegg plutôt que chez des revendeurs locaux. J'ai donc collecté des données sur les prix des principaux composants informatiques (processeurs, cartes graphiques et RAM) que les magasins locaux importent généralement. Un simple projet de suivi, non ? Faux.
Je me suis rapidement retrouvé avec un fouillis de données. Chaque détaillant exportait ses informations selon des conventions de formatage différentes, rendant la fusion des fichiers quasiment impossible. Amazon utilisait les dates au format JJ/MM/AAAA, Newegg utilisait AAAAMMJJ et Shopee (mon magasin local) utilisait le format JJ-MM-AAAA.
Les incohérences ne s'arrêtaient pas là. Les noms de colonnes variaient considérablement. Newegg indiquait les prix comme « prix_de_vente_au_détail », Amazon comme « prix_unitaire_usd » et Shopee comme « prix_php ». Le formatage des prix était tout aussi problématique : certains fichiers affichaient « 18,600 320 ₱ » avec des symboles monétaires, tandis que d'autres affichaient des nombres normaux comme « XNUMX ». Même les noms de marques manquaient de cohérence, apparaissant sous les formes « gigabyte », « GIGABYTE INC. » ou « Gigabyte Tech » pour le même fabricant dans différents fichiers.
Nettoyer et fusionner manuellement ces données me prenait déjà des heures. Je devais copier-coller entre les fichiers, rechercher et remplacer les valeurs incohérentes, et supprimer les lignes vides une par une. Convertir des PHP en USD pour comparer les prix impliquait de consulter constamment un autre écran pour les taux de change. Globalement, ce travail était fastidieux, source d'erreurs et m'a presque fait abandonner.
C'est à ce moment-là que j'ai finalement pensé à utiliser l'une des fonctionnalités dont les passionnés d'Excel parlent toujours : Power Query. De nombreuses autres fonctionnalités puissantes offertes par ExcelMais j'avais entendu dire que Power Query était l'outil idéal pour mon problème spécifique. Après avoir visionné quelques tutoriels sur YouTube, j'ai immédiatement réalisé le gain de temps que je pouvais gagner en utilisant l'éditeur Power Query pour nettoyer toutes les données désordonnées collectées sur Internet. Grâce à Power Query, je peux désormais importer facilement des données de diverses sources, les convertir dans un format standardisé et les analyser efficacement, ce qui me fait gagner un temps précieux sur mes projets d'analyse de prix de composants informatiques.
Comment utiliser Power Query pour nettoyer les données non structurées ?
Après un certain temps, j'ai opté pour une procédure simple et étape par étape dans l'éditeur Power Query. Voici comment j'ai nettoyé mes exportations CSV désordonnées et les ai transformées en une feuille de calcul cohérente et bien organisée.
Tout d’abord, j’ai importé mes données dans l’éditeur Power Query en ouvrant un classeur vierge, en cliquant sur Date Dans le ruban, sélectionnez À partir de texte/CSV.J'ai ensuite sélectionné mon fichier CSV et cliqué Transformer les données Pour l'ouvrir à l'aide de l'éditeur Power Query.
J'ai commencé par corriger la colonne des dates. Comme je collectais des données provenant de deux sources décalées de 12 heures, il me fallait unifier les dates. Cela s'est avéré assez simple. J'ai défini la colonne. Date, faites un clic droit pour ouvrir le menu contextuel et choisissez Modifier le type > Utilisation des paramètres régionauxDans le menu contextuel, je définis le type sur Date et identifié Anglais (États-Unis) Pour garantir une mise en forme cohérente, Power Query reconnaît automatiquement différents formats, tels que MM/JJ/AAAA, AAAA/MM/JJ et les variables qui utilisent des symboles tels que JJ-MM-AA, puis les unifie tous dans un format de date unique.
Maintenant que j'avais corrigé le format de date, il ne me restait plus qu'à nettoyer la colonne. هناك Différentes manières de nettoyer une feuille de calcul ExcelMais comme toutes les erreurs étaient de mauvaises entrées générées par mon scraper, j'ai simplement choisi d'utiliser un filtre. Supprimer les erreurs Pour supprimer ces entrées. Cette étape a supprimé les valeurs nulles et toutes les données problématiques restantes qui n’étaient pas enregistrées correctement, me laissant avec des dates propres et cohérentes dans tous mes fichiers.
Ensuite, j’ai abordé le problème du nom de marque avec une fonction. Remplacer les valeursComme précédemment, j'ai sélectionné la colonne cible, puis j'ai cliqué avec le bouton droit pour ouvrir le menu contextuel et sélectionné Remplacer les valeursDans la fenêtre contextuelle, saisissez la valeur incohérente dans le champ. Valeur à trouver et ma valeur standard dans le champ Remplacer par le champ.
J'ai répété l'opération deux fois de plus et j'ai finalement converti toutes les entrées « gigabyte » et « GIGABTYE Inc. » en une seule et même entrée « GIGABYTE » pour tous mes fichiers. J'ai fait la même chose avec AMD, et maintenant toute la colonne Marque des GPU utilise des noms de marque standard.
Power Query : comment il m'a fait gagner des heures de travail
L'une des raisons pour lesquelles j'ai évité Power Query était que je pensais que ce serait une fonctionnalité complexe et longue à maîtriser. Mais elle s'est avérée bien plus simple que prévu. Au lieu d'exécuter des commandes de recherche et de remplacement interminables, je peux utiliser Power Query pour nettoyer rapidement et automatiquement les données de mes outils de collecte de données.
Ce qui m'a le plus surpris avec Power Query, c'est que chaque commande exécutée était enregistrée et pouvait être répétée à l'infini. Cela vous donne un script de nettoyage automatisé capable de transformer des fichiers CSV désordonnés en feuilles de calcul propres et organisées ; idéal si vous travaillez sur un Créer des ensembles de données personnalisés à l'aide du scraping Web, car ces outils produisent souvent des données impures.
Pour tous ceux qui doivent gérer des nettoyages de données récurrents, des formats incohérents ou des sources de données multiples, Power Query simplifie ces tâches en un processus simple et automatisé. Au lieu de consacrer des heures chaque semaine à des corrections manuelles, il vous suffit d'appuyer sur « Actualiser » et de commencer l'analyse. C'est une fonctionnalité Excel que j'aurais aimé adopter il y a longtemps. Une fois que vous aurez expérimenté la puissance d'un script de nettoyage automatisé et reproductible, vous ne pourrez plus revenir en arrière. Power Query est un outil puissant qui vous permet de gagner du temps et de l'énergie dans le traitement des données, en fournissant des solutions avancées pour un nettoyage et une transformation efficaces des données.
