لطالما استخدمت برنامج Excel لإجراء العمليات الحسابية السريعة وإنشاء الجداول البسيطة. ولكن بصرف النظر عن الصيغ الشائعة وتقنيات معالجة البيانات الأساسية، لم أشعر أبدًا بالحاجة إلى تعلم وظائف Excel إضافية—إلى أن بدأت مشروعاتي تصبح أكثر تعقيدًا.
روابط سريعة
المشكلة التي جعلتني أولي اهتمامًا أخيرًا
بسبب عدة عوامل سوقية ورسوم استيراد، غالبًا ما يكون شراء مكونات الكمبيوتر في منطقتي أكثر تكلفة من الولايات المتحدة. أردت أن أعرف كم أدفع أكثر مقابل نفس المكونات وما إذا كان من الأفضل الطلب مباشرة من Amazon أو Newegg بدلًا من تجار التجزئة المحليين. لذلك، جمعت بيانات أسعار على مدى بضعة أشهر لمكونات الكمبيوتر الرئيسية (وحدات المعالجة المركزية، ووحدات معالجة الرسومات، وذاكرة الوصول العشوائي) التي تستوردها المتاجر المحلية عادةً. مشروع تتبع بسيط، أليس كذلك؟ خطأ.
سرعان ما انتهى بي الأمر بفوضى كاملة من البيانات. قام كل بائع تجزئة بتصدير معلوماته باستخدام اصطلاحات تنسيق مختلفة مما جعل دمج الملفات شبه مستحيل. قدمت Amazon التواريخ بتنسيق MM/DD/YYYY، واعتمدت Newegg تنسيق YYYYMMDD، واستخدم Shopee (متجري المحلي) تنسيق DD-MM-YYYY.
لم تتوقف التناقضات عند هذا الحد. اختلفت أسماء الأعمدة اختلافًا كبيرًا. صنفت Newegg الأسعار على أنها “retail_price”، بينما استخدمت Amazon “unit_price_usd”، واختار Shopee “price_php”. كان تنسيق الأسعار إشكاليًا بنفس القدر، حيث أظهرت بعض الملفات “₱18,600” بما في ذلك رموز العملات، بينما عرضت ملفات أخرى أرقامًا عادية مثل “320”. حتى أسماء العلامات التجارية كانت تفتقر إلى الاتساق، حيث ظهرت كـ “gigabyte” أو “GIGABYTE INC.” أو “Gigabyte Tech” لنفس الشركة المصنعة عبر ملفات مختلفة.
كان تنظيف هذه البيانات ودمجها يدويًا يستغرق مني بالفعل ساعات. كان عليّ النسخ واللصق بين الملفات، والبحث عن القيم غير المتسقة واستبدالها، وحذف الصفوف الفارغة واحدًا تلو الآخر. كان تحويل PHP إلى USD لمقارنات الأسعار يعني إلقاء نظرة مستمرة على شاشة أخرى لأسعار الصرف. بشكل عام، كان العمل شاقًا وعرضة للأخطاء وكاد يجعلني أستسلم.
هذا عندما فكرت أخيرًا في استخدام إحدى الميزات التي يتحدث عنها عشاق Excel دائمًا – Power Query. هناك العديد من الميزات القوية الأخرى التي يوفرها Excel، لكنني سمعت أن Power Query هي الأداة المثالية لمشكلتي المحددة. لذلك، بعد مشاهدة بعض دروس YouTube التعليمية، أدركت على الفور مقدار الوقت الذي يمكنني توفيره بمجرد أن بدأت في استخدام Power Query Editor لتنظيف جميع البيانات الفوضوية التي قمت بتجميعها من الإنترنت. باستخدام Power Query، يمكنني الآن بسهولة استيراد البيانات من مصادر مختلفة، وتحويلها إلى تنسيق موحد، وتحليلها بكفاءة، مما يوفر لي الوقت والجهد الثمينين في مشاريع تحليل أسعار مكونات الكمبيوتر.
كيف أستخدم Power Query لتنظيف البيانات غير المنظمة
بعد فترة وجيزة، استقريت على عملية بسيطة خطوة بخطوة في محرر Power Query. إليك بالضبط كيف قمت بتنظيف صادرات CSV الفوضوية وتحويلها إلى جدول بيانات متناسق ومنظم جيدًا.
أولاً، قمت باستيراد بياناتي إلى محرر Power Query عن طريق فتح مصنف فارغ، والنقر فوق Data في الشريط، وتحديد From Text/CSV. ثم حددت ملف CSV الخاص بي ونقرت فوق Transform Data لفتحه باستخدام محرر Power Query.
بدأت بإصلاح عمود التاريخ. نظرًا لأنني كنت أجمع البيانات من مصدرين بفارق زمني قدره 12 ساعة، فقد احتجت إلى توحيد التواريخ. اتضح أن الأمر بسيط للغاية. حددت عمود Date، ونقرت بزر الماوس الأيمن لفتح قائمة السياق، واخترت Change Type > Using Locale. في القائمة المنبثقة، قمت بتعيين النوع إلى Date وحددت English (United States) لضمان تنسيق متناسق. ثم تعرف Power Query تلقائيًا على تنسيقات مختلفة، مثل MM/DD/YYYY و YYYY/MM/DD والمتغيرات التي تستخدم رموزًا مثل DD-MM-YY، ثم قام بتوحيدها جميعًا في تنسيق تاريخ واحد.
الآن بعد إصلاح تنسيق التاريخ، كنت بحاجة فقط إلى تنظيف العمود. هناك طرق مختلفة لتنظيف جدول بيانات Excel، ولكن نظرًا لأن جميع الأخطاء عبارة عن إدخالات سيئة ناتجة عن أداة الكشط الخاصة بي، فقد اخترت ببساطة استخدام عامل تصفية Remove Errors لإزالة هذه الإدخالات. أدت هذه الخطوة إلى إزالة القيم الخالية وأي بيانات إشكالية متبقية لم يتم تسجيلها بشكل صحيح، مما تركني بتواريخ نظيفة ومتسقة عبر جميع ملفاتي.
بعد ذلك، عالجت فوضى اسم العلامة التجارية باستخدام وظيفة Replace Values. كما في السابق، حددت العمود الهدف، ثم نقرت بزر الماوس الأيمن لفتح قائمة السياق وحددت Replace Values. في النافذة المنبثقة، أدخلت القيمة غير المتسقة في حقل Value to Find والقيمة القياسية الخاصة بي في حقل Replace With field.
فعلت ذلك مرتين أخريين وحولت أخيرًا كل تلك “gigabyte” و “GIGABTYE Inc.” إلى “GIGABYTE” واحدة متسقة عبر جميع ملفاتي. فعلت الشيء نفسه مع AMD والآن يستخدم عمود العلامة التجارية بأكمله لوحدات معالجة الرسومات أسماء علامات تجارية قياسية.
Power Query: كيف وفرت عليّ ساعات من العمل
أحد الأسباب التي جعلتني أتجنب Power Query هو اعتقادي بأنه سيكون ميزة أخرى معقدة تستغرق وقتًا طويلاً لتعلمها. لكن تبين أنه أسهل بكثير مما توقعت. بدلاً من تشغيل أوامر البحث والاستبدال التي لا نهاية لها، يمكنني استخدام Power Query لتنظيف البيانات بسرعة وتلقائية من أدوات جمع البيانات الخاصة بي.
ما فاجأني أكثر بشأن Power Query هو أن كل أمر قمت به تم تسجيله ويمكن تكراره مرارًا وتكرارًا. يمنحك هذا بشكل أساسي برنامجًا نصيًا آليًا للتنظيف يمكنه تحويل ملفات CSV الفوضوية إلى جداول بيانات منظمة ونظيفة – مثالي إذا كنت تقوم بإنشاء مجموعات بيانات مخصصة باستخدام web scraping، نظرًا لأن هذه الأدوات غالبًا ما تنتج بيانات غير نظيفة.
بالنسبة لأي شخص يتعامل مع تنظيف البيانات المتكرر أو التنسيقات غير المتناسقة أو مصادر البيانات المتعددة، يحول Power Query هذه الأعباء إلى عملية بسيطة وآلية. بدلاً من تخصيص ساعات كل أسبوع للإصلاحات اليدوية، يمكنك الضغط على “تحديث” والبدء في التحليل. إنها ميزة Excel التي أتمنى لو أنني تبنيتها منذ فترة طويلة. بمجرد تجربة قوة برنامج نصي آلي وقابل للتكرار للتنظيف، لا رجعة فيه. يعتبر Power Query أداة قوية لتوفير الوقت والجهد في معالجة البيانات، حيث يوفر حلولاً متقدمة لتنظيف البيانات وتحويلها بشكل فعال.
