تويت
كيف يتم جمع البيانات الضخمة في الشركات الكبيرة
للبيانات الضخمة أهميةٌ كبيرةٌ في تحسين جودة وتنافسية الشركات سواء الضخمة منها أو الصغيرة، إذ تقدم هذه البيانات فهمًا أعمق للشركة حول طبيعة زبائنها ورغباتهم، كما تساهم تلك البيانات في اتخاذ قراراتٍ تتعلق بالشركة أكثر قربًا للواقع وبدرجة مخاطرة أقل. كل هذه الفوائد دفعت الشركات الكبيرة لإيجاد وابتكار طرقٍ جديدةٍ تستطيع من خلالها جمع البيانات الضخمة بأكبر كميةٍ ممكنةٍ للاستفادة منها.
تعريف البيانات الضخمة
يطلق مصطلح البيانات الضخمة (Big Data) على مجموعة بياناتٍ تتطلب سرعةً عاليةً لنقلها، وذات حجمٍ كبيرٍ جدًا، وبدرجة تعقيدٍ عالية، بحيث تصعب معالجتها وفهمها باستخدام الطرق التقليدية المستخدمة لمعالجة البيانات. تعاملت الشركات مع الكميات الكبيرة من البيانات لسنواتٍ عديدةٍ، إلا أن مصطلح البيانات الضخمة لم ينتشر بشكلٍ كبيرٍ إلا مع بدايات القرن الواحد والعشرين، عندما قدم المحلل الصناعي دوج لاني (Doug Laney) تعريفه للبيانات الضخمة، والذي بقي سائدًا حتى يومنا هذا.
تعريف دوج لاني للبيانات الضخمة
استخدم المحلل الصناعي دوج لاني في تعريفه للبيانات الضخمة ثلاثة مصطلحاتٍ، تقوم فكرة البيانات الضخمة الحديثة عليها، أُطلِق عليها تسمية The Three V’s، وهي:
طرق جمع البيانات الضخمة في الشركات الكبيرة
تتم عملية جمع البيانات بشكلٍ عام من خلال ثلاثة مصادرَ أساسيةٍ، إما عن طريق طلبها من الزبائن، أو جمعها من الزبائن عبر تتبعهم بشكلٍ غير مباشرٍ، أو الحصول عليها من شركاتٍ تتخصص في جمع وبيع البيانات، ومن أهم هذه الطرق:
الطلب من المستخدمين تقديم البيانات الخاصة بهم
تقوم معظم الشركات بالطلب من مستخدميها في مرحلةٍ ما، غالبًا ما تكون بوقتٍ مبكرٍ، إذ تجبر أغلب الشركات المستخدم عند قيامه بالاشتراك بخدمةٍ ما، أو شراء شيءٍ ما، أو التسجيل في موقعٍ على شبكة الويب على ملء نموذجٍ يحتوي على كثيرٍ من المعلومات الشخصية للمستخدم، كالاسم والعنوان والبريد الإلكتروني وغيرها الكثير، كما تستخدم الشركات استطلاعات الرأي بهدف استخلاص بياناتٍ إضافيةٍ من المستخدمين.
استخدام مواقع الويب، وملفات تعريف الارتباط وإشارات الويب
تمتلك الشركات الكبيرة التكنولوجيا والخبرات اللازمة لاستخلاص كمياتٍ كبيرةٍ من البيانات من مجموعةٍ كبيرةٍ من المصادر عبر الإنترنت، بالأخص من المواقع الإلكترونية الخاصة بهذه الشركات، والتي أصبحت تتوفر على تقنياتٍ كملفات تعريف الارتباط وإشارات الويب، ما يسمح للشركة بالوصول إلى سجلات تصفح زوار الموقع حتى في حال خروجهم من الموقع، كما تستطيع الشركات بوساطة ملفات تعريف الارتباط معرفة أماكن تواجد العملاء، وما قاموا بمشاهدته في المواقع الإلكترونية، والمواقع التي قاموا بزيارتها بعد خروجهم من موقع الشركة.
شراء البيانات من شركات متخصصة في جمع البيانات الضخمة
تقوم العديد من الشركات الكبيرة مثل Acxiom وOracle بعمليات جمعٍ وتحليلٍ وبيع بيانات العملاء والشركات لمن يرغب بالقيام بحملاتٍ دعائيةٍ تستهدف مجموعاتٍ معينةً من الأشخاص، فتقوم هذه الشركات الكبيرة بجمع البيانات من شركات جمع بياناتٍ أصغر، ومواقع التجارة الإلكترونية، بالإضافة لمصادر أخرى كالسجلات الانتخابية والإحصاءات التي تجريها الحكومات..
استخدام بطاقات الولاء في جمع البيانات الضخمة
تقوم الشركات التي توزع لمستخدميها بطاقات ولاء (Loyalty Cards) بتتبع بيانات الشراء وتخزينها في كل مرةٍ يستخدمون فيها البطاقة، وتستخدمها بعض أنواع الشركات كشركات التجزئة في فهم أنماط الشراء لدى مجموعة معينة من المستخدمين، كما تستخدم تلك البيانات لإنشاء ملفٍ خاصٍ بالعميل يتضمن تفاصيلَ محددةً يمكن بيعها في وقتٍ لاحقٍ للمعلنين أو للشركات الأخرى..
بعض الشركات الكبيرة التي تستخدم البيانات الضخمة
للبيانات الضخمة أهميةٌ كبيرةٌ في تحسين جودة وتنافسية الشركات سواء الضخمة منها أو الصغيرة، إذ تقدم هذه البيانات فهمًا أعمق للشركة حول طبيعة زبائنها ورغباتهم، كما تساهم تلك البيانات في اتخاذ قراراتٍ تتعلق بالشركة أكثر قربًا للواقع وبدرجة مخاطرة أقل. كل هذه الفوائد دفعت الشركات الكبيرة لإيجاد وابتكار طرقٍ جديدةٍ تستطيع من خلالها جمع البيانات الضخمة بأكبر كميةٍ ممكنةٍ للاستفادة منها.
تعريف البيانات الضخمة
يطلق مصطلح البيانات الضخمة (Big Data) على مجموعة بياناتٍ تتطلب سرعةً عاليةً لنقلها، وذات حجمٍ كبيرٍ جدًا، وبدرجة تعقيدٍ عالية، بحيث تصعب معالجتها وفهمها باستخدام الطرق التقليدية المستخدمة لمعالجة البيانات. تعاملت الشركات مع الكميات الكبيرة من البيانات لسنواتٍ عديدةٍ، إلا أن مصطلح البيانات الضخمة لم ينتشر بشكلٍ كبيرٍ إلا مع بدايات القرن الواحد والعشرين، عندما قدم المحلل الصناعي دوج لاني (Doug Laney) تعريفه للبيانات الضخمة، والذي بقي سائدًا حتى يومنا هذا.
تعريف دوج لاني للبيانات الضخمة
استخدم المحلل الصناعي دوج لاني في تعريفه للبيانات الضخمة ثلاثة مصطلحاتٍ، تقوم فكرة البيانات الضخمة الحديثة عليها، أُطلِق عليها تسمية The Three V’s، وهي:
- الحجم (Volume): إذ تقوم الشركات بجمع البيانات من مصادرَ متعددةٍ، كالمعاملات التجارية، والأجهزة الذكية أو ما يعرف بإنترنت الأشياء IoT، ومقاطع الفيديو ووسائل التواصل الاجتماعي وغيرها الكثير، وقد كان تخزين هذه الكميات من البيانات عبئًا يثقل كاهل الشركات، إلا أن منصات التخزين في وقتٍ لاحقٍ كانت حلًا مثاليًّا ورخيصًا لهذه المشكلة.
- السرعة (Velocity): مع الازياد الحاصل في نمو أنترنت الأشياء والتوسع في استخدام تكنولوجيا تحديد الهوية بموجات الراديو، وأجهزة الاستشعار، والعدادات الذكية، أُجبرت الشركات على إيجاد طرقٍ جديدةٍ ومبتكرة لتلبية حاجات هذه الأجهزة من كمياتٍ كبيرةٍ من البيانات فائقة السرعة، وبوقتها الفعلي تقريبًا.
- التنوع (Variety): البيانات التي يتم جمعها بأنواعٍ وتنسيقاتٍ مختلفةٍ، كالبيانات الرقمية المنظمة الموجودة ضمن قواعد البيانات التقليدية، والمستندات النصية غير المنظمة، ومقاطع الفيديو، ورسائل البريد الإلكتروني، وغيرها الكثير..
طرق جمع البيانات الضخمة في الشركات الكبيرة
تتم عملية جمع البيانات بشكلٍ عام من خلال ثلاثة مصادرَ أساسيةٍ، إما عن طريق طلبها من الزبائن، أو جمعها من الزبائن عبر تتبعهم بشكلٍ غير مباشرٍ، أو الحصول عليها من شركاتٍ تتخصص في جمع وبيع البيانات، ومن أهم هذه الطرق:
الطلب من المستخدمين تقديم البيانات الخاصة بهم
تقوم معظم الشركات بالطلب من مستخدميها في مرحلةٍ ما، غالبًا ما تكون بوقتٍ مبكرٍ، إذ تجبر أغلب الشركات المستخدم عند قيامه بالاشتراك بخدمةٍ ما، أو شراء شيءٍ ما، أو التسجيل في موقعٍ على شبكة الويب على ملء نموذجٍ يحتوي على كثيرٍ من المعلومات الشخصية للمستخدم، كالاسم والعنوان والبريد الإلكتروني وغيرها الكثير، كما تستخدم الشركات استطلاعات الرأي بهدف استخلاص بياناتٍ إضافيةٍ من المستخدمين.
استخدام مواقع الويب، وملفات تعريف الارتباط وإشارات الويب
تمتلك الشركات الكبيرة التكنولوجيا والخبرات اللازمة لاستخلاص كمياتٍ كبيرةٍ من البيانات من مجموعةٍ كبيرةٍ من المصادر عبر الإنترنت، بالأخص من المواقع الإلكترونية الخاصة بهذه الشركات، والتي أصبحت تتوفر على تقنياتٍ كملفات تعريف الارتباط وإشارات الويب، ما يسمح للشركة بالوصول إلى سجلات تصفح زوار الموقع حتى في حال خروجهم من الموقع، كما تستطيع الشركات بوساطة ملفات تعريف الارتباط معرفة أماكن تواجد العملاء، وما قاموا بمشاهدته في المواقع الإلكترونية، والمواقع التي قاموا بزيارتها بعد خروجهم من موقع الشركة.
شراء البيانات من شركات متخصصة في جمع البيانات الضخمة
تقوم العديد من الشركات الكبيرة مثل Acxiom وOracle بعمليات جمعٍ وتحليلٍ وبيع بيانات العملاء والشركات لمن يرغب بالقيام بحملاتٍ دعائيةٍ تستهدف مجموعاتٍ معينةً من الأشخاص، فتقوم هذه الشركات الكبيرة بجمع البيانات من شركات جمع بياناتٍ أصغر، ومواقع التجارة الإلكترونية، بالإضافة لمصادر أخرى كالسجلات الانتخابية والإحصاءات التي تجريها الحكومات..
استخدام بطاقات الولاء في جمع البيانات الضخمة
تقوم الشركات التي توزع لمستخدميها بطاقات ولاء (Loyalty Cards) بتتبع بيانات الشراء وتخزينها في كل مرةٍ يستخدمون فيها البطاقة، وتستخدمها بعض أنواع الشركات كشركات التجزئة في فهم أنماط الشراء لدى مجموعة معينة من المستخدمين، كما تستخدم تلك البيانات لإنشاء ملفٍ خاصٍ بالعميل يتضمن تفاصيلَ محددةً يمكن بيعها في وقتٍ لاحقٍ للمعلنين أو للشركات الأخرى..
بعض الشركات الكبيرة التي تستخدم البيانات الضخمة
- Amazon: تعود البيانات المستخدمة غالبًا لعملاء شركة أمازون وزبائنها، إذ تستخدم الشركة كافة بيانات المستخدمين المخزنة لديها من أسماء، وعناوين إقامة، ووسائل الدفع التي يقومون باستخدامها، وتاريخ جدول البحث الخاص بهم، في برمجة خوارزميات الإعلانات التي ستظهر للمستخدمين إعلاناتٍ عن السلع بما يناسب أذواقهم، بالإضافة إلى تطوير عملية التواصل بين الشركة والزبون.
- American Express: تستخدم الشركة البيانات الضخمة بهدف تحليل سلوك مستخدميها الحالي، والتنبؤ بالخطوات التي قد يقومون باتخاذها مستقبلًا. تقوم الشركة بإنشاء نماذج تنبؤية على درجةٍ عاليةٍ من التطور، عن طريق دراسات التعاملات المالية السابقة للمستخدمين، مع الأخذ بعين الاعتبار النتائج المستخلصة من أكثر من 100 متغيرٍ، ما يسهم بتحقيق تنبؤات أكثر دقةً لمبيعات الشركة المحتملة، وولاء الزبائن تجاه الشركة.
- Starbucks: تستخدم الشركة البيانات الضخمة في تحديد احتمالية نجاح أي فرعٍ جديدٍ تفكر الشركة بافتتاحه، حيث تاخذ الشركة بعين الاعتبار المعلومات عن موقع الفرع المراد إنشاؤه، وحركة المرور في المنطقة، والطبيعة الديموغرافية للسكان، وسلوك العملاء.
- Netflix: تمتلك خدمة مشاهدة الفيديو تحت الطلب ـ نتفلكس ـ من البيانات والمعلومات التي توفر للشركة نظرةً واضحةً حول ما يقوم مئات الملايين من مستخدمي الخدمة بمشاهدته عالميًّا. تقوم نتفلكس باستخدام هذه البيانات في تحديد البرامج التي ستلاقي قبولًا لدى كافة المتابعين حول العالم، بالإضافة لشراء حقوق أفلام ومسلسلات ستجذب انتباه مستخدمي الخدمة وتلاقي استحسانهم.