كانت عملية الوصول إلى كميات كبيرة من المعلومات وتخزينها لأغراض التحليلات موجودة منذ وقت طويل. لكن مفهوم البيانات الضخمة اكتسب زخما في أوائل العقد الأول من القرن الـ 21، حيث وصلت التقنية إلى درجات عليا، بحيث تسهلت عملية التخزين لقدرة المؤسسات على تجميع وتخزين البيانات من مجموعة متنوعة من المصادر، مع النمو في إنترنت الأشياء، وتدفق البيانات إلى المؤسسات بسرعة غير مسبوقة وإمكانية التعامل معها في الوقت المناسب. ومع التطورات في الطرق البحثية للاقتصاد تم التركيز على الاعتماد على التحليل القياسي المتقدم لاستخدامها لبناء نماذج تحليلية، والاعتماد على دقة وصحة تلك البيانات.

ويعد ظهور البيانات الضخمة وقتا مثيرا للاقتصادي الطموح أو صانع السياسة الاقتصادية. يتمتع الاقتصاديون بميزة طبيعية في هذا المسعى، لأنهم معتادون على التعامل مع البيانات المعقدة. أساليب جديدة من التعلم الآلي Machin Learning تؤدي إلى التوسع في القدرة على التعامل مع البيانات الضخمة على نطاق واسع، ما يستلزم أن يتم دمج هذه الأساليب في أدوات التحليل الخاصة بالاقتصاديين وكيفية بناء واختبار وتحليل العلاقات في البيانات، ما يجعل مهاراتهم ذات قيمة عالية في عالم مشبع بالبيانات، يكمن التحدي في تعلم كيفية تنفيذ هذه الأساليب على نطاق واسع.

يجب على الباحثين وصانعي السياسات أن يأخذوا على محمل الجد حدود وثغرات البيانات الضخمة، إذ تظل قضايا الخصوصية، وتحيز الاختيار، والشركات الخاصة التي تتحكم في مخرجات الأبحاث المستمدة من بياناتها، مخاوف جدية في المستقبل. إضافة إلى النصائح المحدودة في التعامل مع هذه القضايا التي نوقشت أعلاه، ينبغي تشجيع مزيد من التعاون بين علماء الكمبيوتر وعلماء البيانات لتطوير تبادل المعرفة في اتجاهين. ويتم تشجيع الاقتصاديين أيضا على “استخدام تلك الأدوات” وتعلم البرمجة بلغات ذات أغراض عامة، مثل Python أو R، لتطوير فهم نظري وعملي لأساليب التعلم الآلي. في النهاية، يجب تدريس هذه الأساليب كجزء من الاقتصاد القياسي الأساسي في برامج الدراسات العليا، تماما، كما تم توسيع الاقتصاد القياسي ليشمل طرق تقدير حديثة، ويجب على المؤسسات الأكاديمية النظر في تقديم دورات تدريبية في هذه الأساليب.

كل ذلك سيؤدي في الأغلب إلى أن يكون لها تأثير إضافي وعميق في البحوث الاقتصادية على نحو متزايد، حيث يستخدم الاقتصاديون البيانات الحكومية المتوافرة حديثا وبيانات القطاع الخاص التي يتم الحصول عليها في الأغلب من خلال التعاون مع المنشآت التجارية، وتؤثر هذه البيانات الجديدة على البحوث الاقتصادية في عدة أبعاد، على سبيل المثال التحول في عديد من المجالات الاقتصادية من الاعتماد على المسوحات الحكومية الصغيرة نسبيا إلى البيانات الضخمة المتوافرة، التي قد تمثل المجتمع ككل أو شبه تغطية للمجتمع.

هذه النقلة هي تحول مهم يسمح للباحثين بفحص المؤشرات والبيانات بكل دقة، وإنشاء مؤشرات إحصائية متسقة طويلة المدى، وتصميم نوع جديد من الأبحاث شبه التحليلية، وذلك لتوافر البيانات، وتنبع النتائج المتنوعة من الواقع ومن التحليل المتميز، ولعل الأمر الأكثر أهمية هو التوسع في بيانات القطاع الخاص وأنشطته، حيث إن هذه البيانات متاحة في بعض الأحيان من مصادر عامة، لكن في أوقات أخرى يتم الحصول عليها من خلال اتفاقيات مشاركة للبيانات مع الشركات الخاصة، ويمكن أن تساعد في إيجاد المزيد.

تلعب النظرية الاقتصادية دورا مهما في تحليل مجموعات البيانات الكبيرة مع بنية معقدة. قد يكون من الصعب تنظيم ودراسة هذا النوع من البيانات أو حتى لتحديد المتغيرات التي سيتم بناؤها دون إطار مفهوم مبسط، حيث النماذج الاقتصادية تصبح مفيدة. وتسمح تلك البيانات بـاختبارات أكثر دقة للنماذج وما يترتب من النتائج المبنية على تلك النماذج. إن ظهور البيانات الضخمة يسمح بالفعل بقياس أفضل الآثار الاقتصادية والنتائج والتمكن من اعتماد تصاميم بحثية جديدة New Research design عبر مجموعة من الموضوعات. كما أن هذه البيانات من المحتمل أن تؤثر في أنواع الأسئلة التي يطرحها الاقتصاديون، من خلال السماح بمزيد من التركيز على التباين الإجمالي للمجتمع وليس للعينة فقط، والتحليل لمجموعة واسعة من الأنشطة الاقتصادية والتفاعلات. لذا نتوقع أيضا أن يتبنى الاقتصاديون استخدام البيانات الضخمة بشكل متزايد مع التطورات في الطرق البحثية للاقتصاد حيث تم التركيز على الاعتماد على التحليل القياسي المتقدم المبني على بيانات لاستخدامها لبناء نماذج تحليلية، والاعتماد على دقة وصحة تلك البيانات.

إن مجال الاستفادة من البيانات الضخمة يشمل التطوير في عدد من المجالات. تطوير أساليب للباحثين للوصول إلى البيانات واستكشافها بطرق تحترم مخاوف الخصوصية والسرية. ويشمل الاستفادة من Data Scientist “علماء البيانات” وهو مجال متعدد التخصصات يستخدم الأساليب العلمية والخوارزميات وطرقا متقدمة لاستخلاص بيانات مطلوبة من البيانات المخزنة وغير المهيكلة، وتجهيزها لتصبح قابلة للتنفيذ عبر مجموعة واسعة من مجالات التطبيق. هذه مشكلة رئيسة في العمل مع كلتيهما: البيانات الحكومية، وشركات القطاع الخاص.