تقدير الوقت والتكلفة والتسليمات لمشروع تطبيق ML
نشرت: 2019-11-20تخيل نفسك ذاهب لشراء محفظة مخصصة في متجر.
على الرغم من أنك تدرك نوع المحفظة التي تحتاجها ، لكنك لا تعرف التكلفة أو الوقت المستغرق للحصول على الإصدار المخصص.
هذا هو الحال مع مشاريع التعلم الآلي. ولمساعدتك في حل هذه المعضلة ، قدمنا لك معلومات مفصلة لكي يكون لديك مشروع ناجح.
يشبه التعلم الآلي عملة معدنية ذات وجهين .
من ناحية ، يساعد على إزالة عدم اليقين من العمليات. لكن على الجانب الآخر ، فإن تطورها مليء بعدم الأمان.
في حين أن النتيجة النهائية لكل مشروع من مشاريع التعلم الآلي (ML) تقريبًا هي الحل الذي يجعل الأعمال التجارية أفضل والعمليات المبسطة ؛ جزء التطوير منه لديه قصة مختلفة تمامًا لمشاركتها.
على الرغم من أن ML لعبت دورًا كبيرًا في تغيير قصة الربح ونموذج العمل للعديد من العلامات التجارية لتطبيقات الأجهزة المحمولة ، إلا أنها لا تزال تعمل في ظل التطور. هذه الحداثة ، بدورها ، تجعل الأمر أكثر صعوبة لمطوري تطبيقات الأجهزة المحمولة للتعامل مع خطة مشروع ML وجعلها جاهزة للإنتاج ، مع مراعاة قيود الوقت والتكلفة.
الحل ( ربما الحل الوحيد ) لهذه الصعوبة هو تقدير مشروع تطبيق Machine Learning بالأبيض والأسود للوقت والتكلفة والتسليمات.
ولكن قبل أن نتوجه إلى هذه الأقسام ، دعونا أولاً نلقي نظرة على ما يجعل صعوبة حرق شموع الليل أمرًا يستحق كل هذا العناء.
لماذا يحتاج تطبيقك إلى إطار عمل للتعلم الآلي؟
قد تفكر في الكيفية التي نتحدث بها عن إطار العمل في منتصف الوقت والتكلفة وتقديرات النتائج.
لكن السبب الحقيقي وراء الوقت والتكلفة يكمن هنا ، والذي يخبرنا عن دافعنا وراء تطوير التطبيق. ما إذا كنت بحاجة إلى التعلم الآلي من أجل:
لتقديم تجربة شخصية
لدمج البحث المتقدم م
لتوقع سلوك المستخدم
لأمن أفضل
لتفاعل المستخدم العميق
بناءً على هذه الأسباب ، سيعتمد الوقت والتكلفة والتسليم وفقًا لذلك.
أنواع نماذج التعلم الآلي
ما نوع النموذج الذي قد تفكر فيه لضبط الوقت والتكلفة؟ إذا كنت لا تعرف ، فقد قدمنا معلومات لك لفهم واختيار النماذج ، اعتمادًا على متطلباتك وميزانيتك.
يمكن تصنيف التعلم الآلي وسط حالات استخدامه المختلفة إلى ثلاثة أنواع من النماذج ، والتي تلعب دورًا في تحويل التطبيقات الأولية إلى تطبيقات جوال ذكية - خاضعة للإشراف ، وغير خاضعة للإشراف ، ومعززة. إن معرفة ما تمثله نماذج التعلم الآلي هذه هو ما يساعد في تحديد كيفية تطوير تطبيق ممكّن لـ ML.
التعلم الخاضع للإشراف
إنها العملية التي يتم فيها تزويد النظام بالبيانات حيث يتم تسمية مدخلات الخوارزمية ومخرجاتها بشكل صحيح. نظرًا لتسمية معلومات الإدخال والإخراج ، يتم تدريب النظام على تحديد أنماط البيانات داخل الخوارزمية.
يصبح أكثر فائدة لأنه يتم استخدامه للتنبؤ بالنتيجة على أساس بيانات الإدخال المستقبلية. يمكن رؤية مثال على ذلك عندما تتعرف وسائل التواصل الاجتماعي على وجه شخص ما عندما يتم وضع علامة عليه في صورة.
تعليم غير مشرف عليه
في حالة التعلم غير الخاضع للإشراف ، يتم تغذية البيانات في النظام ولكن لا يتم تصنيف مخرجاتها كما في حالة النموذج الخاضع للإشراف. يسمح للنظام بتحديد البيانات وتحديد الأنماط من المعلومات . بمجرد تخزين الأنماط ، يتم تخصيص جميع المدخلات المستقبلية للنمط لإنتاج المخرجات.
يمكن رؤية مثال على هذا النموذج في الحالات التي تقدم فيها وسائل التواصل الاجتماعي اقتراحات للأصدقاء على أساس العديد من البيانات المعروفة مثل الديموغرافيا والخلفية التعليمية وما إلى ذلك.
تعزيز التعلم
كما هو الحال في حالة التعلم غير الخاضع للإشراف ، لا يتم أيضًا تصنيف البيانات المقدمة للنظام في التعلم المعزز. يختلف كل من نوع التعلم الآلي على أساس أنه عندما يتم إنتاج المخرجات الصحيحة ، يتم إخبار النظام بأن المخرجات صحيحة. يمكّن هذا النوع من التعلم النظام من التعلم من البيئة والخبرات.
يمكن رؤية مثال على ذلك في Spotify. يقدم تطبيق Spotify توصية للأغاني التي يتعين على المستخدمين بعد ذلك إما إبداء الإعجاب بها أو رفضها. على أساس التحديد ، يتعلم تطبيق Spotify ذوق المستخدمين في الموسيقى.
دورة حياة مشروع تعلم الآلة
عادةً ما تظهر دورة حياة الجدول الزمني لتسليمات مشروع التعلم الآلي على النحو التالي -
إعداد خطة مشروع ML
- حدد المهمة والمتطلبات
- تحديد جدوى المشروع
- ناقش مقايضات النموذج العام
- قم بإنشاء قاعدة بيانات المشروع
جمع البيانات ووسمها
- قم بإنشاء وثائق الملصقات
- إنشاء مسار نقل البيانات
- التحقق من جودة البيانات
نموذج الاستكشاف
- ضع الأساس لأداء النموذج
- إنشاء نموذج بسيط مع خط أنابيب البيانات الأولية
- جرب الأفكار الموازية خلال المراحل المبكرة
- ابحث عن نموذج SoTA لمجال المشكلة ، إن وجد ، وأعد إنتاج النتائج.
صقل النموذج
- قم بإجراء تحسينات تتمحور حول النموذج
- نماذج التصحيح مع إضافة التعقيد
- إجراء تحليل الأخطاء للكشف عن أوضاع الفشل.
اختبار وتقييم
- تقييم النموذج على توزيع الاختبار
- أعد النظر في مقياس تقييم النموذج ، وتأكد من أنه يقود سلوك المستخدم المرغوب
- اختبارات الكتابة لـ - دالة الاستدلال النموذجي ، خط أنابيب بيانات الإدخال ، السيناريوهات الصريحة المتوقعة في الإنتاج.
نشر النموذج
- كشف النموذج من خلال REST API
- انشر النموذج الجديد لمجموعة فرعية من المستخدمين للتأكد من أن كل شيء على ما يرام قبل الطرح النهائي.
- لديه القدرة على التراجع عن النماذج إلى نسختها السابقة
- مراقبة البيانات الحية.
صيانة النموذج
- أعد تدريب النموذج لمنع فساد النموذج
- قم بتثقيف الفريق إذا كان هناك نقل في ملكية النموذج
كيف يمكن تقدير نطاق مشروع التعلم الآلي؟
يتابع فريق Appinventiv Machine Learning بعد الاطلاع على نوع التعلم الآلي ودورة حياة التطوير لتحديد تقدير مشروع تطبيق Machine Learning للمشروع بعد هذه المراحل:
المرحلة 1 - الاكتشاف (من 7 إلى 14 يومًا)
تبدأ خارطة طريق خطة مشروع ML بتعريف المشكلة. يبحث في القضايا وأوجه القصور التشغيلية التي ينبغي معالجتها.
الهدف هنا هو تحديد المتطلبات ومعرفة ما إذا كان التعلم الآلي يلبي أهداف العمل . تتطلب المرحلة من مهندسينا مقابلة رجال الأعمال على جانب العميل لفهم رؤيتهم فيما يتعلق بالقضايا التي يتطلعون لحلها.
ثانيًا ، يجب على فريق التطوير تحديد نوع البيانات التي لديهم وما إذا كانوا سيحتاجون إلى جلبها من خدمة خارجية.
بعد ذلك ، يتعين على المطورين قياس ما إذا كانوا قادرين على الإشراف على الخوارزميات - إذا كانت تُرجع الاستجابة الصحيحة في كل مرة يتم فيها التنبؤ.
قابلة للتسليم - بيان المشكلة الذي يحدد ما إذا كان المشروع تافهًا أم سيكون معقدًا.
المرحلة 2 - الاستكشاف (6 إلى 8 أسابيع)
الهدف من هذه المرحلة هو البناء على إثبات المفهوم الذي يمكن بعد ذلك تثبيته كـ API. بمجرد تدريب النموذج الأساسي ، يقوم فريق خبراء تعلم الآلة بتقدير أداء الحل الجاهز للإنتاج.
تعطينا هذه المرحلة الوضوح بشأن الأداء الذي يجب توقعه بالمقاييس المخطط لها في مرحلة الاكتشاف.
التسليم - دليل على المفهوم
المرحلة 3 - التطوير (4+ أشهر)
هذه هي المرحلة التي يعمل فيها الفريق بشكل متكرر حتى يصلوا إلى إجابة جاهزة للإنتاج. نظرًا لوجود شكوك أقل بكثير بحلول الوقت الذي يصل فيه المشروع إلى هذه المرحلة ، يصبح التقدير دقيقًا للغاية.
ولكن في حالة عدم تحسين النتيجة ، سيتعين على المطورين تطبيق نموذج مختلف أو إعادة العمل على البيانات أو حتى تغيير الطريقة ، إذا لزم الأمر.
في هذه المرحلة ، يعمل مطورونا في سباقات السرعة ويقررون ما يجب القيام به بعد كل تكرار فردي. يمكن توقع نتائج كل سباق بشكل فعال.
بينما يمكن التنبؤ بنتيجة السباق بشكل فعال ، فإن التخطيط للسباقات مقدمًا يمكن أن يكون خطأ في حالة التعلم الآلي ، لأنك ستعمل على مياه مجهولة.
التسليم - حل ML جاهز للإنتاج
المرحلة 4 - التحسين (مستمر)
بمجرد النشر ، يكون صانعو القرار دائمًا في عجلة من أمرهم لإنهاء المشروع لتوفير التكاليف. بينما تعمل الصيغة في 80٪ من المشاريع ، فإن الشيء نفسه لا ينطبق في تطبيقات التعلم الآلي.
ما يحدث هو أن البيانات تتغير خلال الجدول الزمني لمشروع التعلم الآلي. هذا هو السبب في ضرورة مراقبة نموذج الذكاء الاصطناعي ومراجعته باستمرار - لحفظه من التدهور وتوفير ذكاء اصطناعي آمن يتيح تطوير تطبيقات الأجهزة المحمولة .
تتطلب المشاريع التي تركز على "التعلم الآلي" وقتًا لتحقيق نتائج مرضية. حتى عندما تجد أن الخوارزميات الخاصة بك تتفوق على المعايير منذ البداية ، فمن المحتمل أنها ستكون ضربة واحدة وقد يضيع البرنامج عند استخدامه على مجموعة بيانات مختلفة.
العوامل التي تؤثر على التكلفة الإجمالية
تتميز طريقة تطوير نظام التعلم الآلي ببعض السمات المميزة مثل المشكلات المتعلقة بالبيانات والعوامل المتعلقة بالأداء التي تحدد النفقات الأخيرة.
القضايا المتعلقة بالبيانات
لا يعتمد تطوير التعلم الآلي الموثوق به على الترميز الهائل فحسب ، بل إن جودة المعلومات التدريبية وكميتها تلعب أيضًا دورًا مهمًا.
- نقص البيانات المناسبة
- إجراءات استخراج وتحويل وتحميل معقدة
- معالجة البيانات غير المهيكلة
القضايا المتعلقة بالأداء
يعد أداء الخوارزمية المناسب عامل تكلفة مهمًا آخر ، حيث تتطلب الخوارزمية عالية الجودة عدة جولات من جلسات الضبط.
- يختلف معدل الدقة
- أداء خوارزميات المعالجة
كيف نقدر تكلفة مشروع التعلم الآلي؟
عندما نتحدث عن تقدير تكلفة مشروع التعلم الآلي ، من المهم أولاً تحديد نوع المشروع الذي يتم الحديث عنه.
هناك ثلاثة أنواع رئيسية من مشاريع التعلم الآلي ، والتي لها دور في الإجابة عن تكلفة التعلم الآلي:
أولاً - يحتوي هذا النوع بالفعل على حل - كلاهما: بنية النموذج ومجموعة البيانات موجودة بالفعل. هذه الأنواع من المشاريع مجانية عمليًا ، لذا لن نتحدث عنها.
ثانيًا - تحتاج هذه المشاريع إلى بحث أساسي - تطبيق ML في مجال جديد تمامًا أو على هياكل بيانات مختلفة مقارنة بالنماذج السائدة. عادة ما تكون تكلفة هذه الأنواع من المشاريع من النوع الذي لا تستطيع غالبية الشركات الناشئة تحمله.
ثالثًا - هذه هي الأشياء التي سنركز عليها في تقديرنا للتكلفة. هنا ، تأخذ هندسة النموذج والخوارزميات الموجودة بالفعل ثم تقوم بتغييرها لتناسب البيانات التي تعمل عليها.
دعنا نصل الآن إلى الجزء حيث نقدر تكلفة مشروع ML.
تكلفة البيانات
البيانات هي العملة الأساسية لمشروع التعلم الآلي. يركز الحد الأقصى من الحلول والبحوث على الاختلافات في نموذج التعلم الخاضع للإشراف. من الحقائق المعروفة جيدًا أنه كلما تعمق التعلم الخاضع للإشراف ، زادت الحاجة إلى البيانات المشروحة ، وبالتالي ارتفعت تكلفة تطوير تطبيق Machine Learning .
الآن بينما يمكن أن تساعدك خدمات مثل Scale و Amazon's Mechanical Turk في جمع البيانات والتعليق عليها ، ماذا عن الجودة؟
قد يستغرق فحص عينات البيانات ثم تصحيحها وقتًا طويلاً للغاية. حل المشكلة ذو وجهين - إما الاستعانة بمصادر خارجية لجمع البيانات أو تنقيحها داخليًا.
يجب عليك الاستعانة بمصادر خارجية للجزء الأكبر من أعمال التحقق من صحة البيانات وتحسينها ثم تعيين شخص أو شخصين في المنزل لتنظيف عينات البيانات ووضع العلامات عليها.
تكلفة البحث
يتعامل الجزء البحثي من المشروع ، كما ذكرنا أعلاه ، مع دراسة الجدوى على مستوى الدخول والبحث الخوارزمي ومرحلة التجريب. المعلومات التي تظهر عادةً من ورشة عمل توصيل المنتج . في الأساس ، فإن المرحلة الاستكشافية هي التي يمر بها كل مشروع قبل إنتاجه.
استكمال المرحلة بأقصى قدر من الكمال هو عملية تأتي مع رقم مرفق في تكلفة تنفيذ مناقشة ML.
تكلفة الإنتاج
يتكون جزء الإنتاج من تكلفة مشروع Machine Learning من تكلفة البنية التحتية وتكلفة التكامل وتكلفة الصيانة. من بين هذه التكاليف ، سيتعين عليك دفع أقل النفقات باستخدام الحساب السحابي. لكن هذا أيضًا سيختلف من تعقيد خوارزمية إلى أخرى.
تكلفة التكامل تختلف من حالة استخدام إلى أخرى. عادة ، يكفي وضع نقطة نهاية API في السحابة وتوثيقها لاستخدامها من قبل بقية النظام.
أحد العوامل الرئيسية التي يميل الناس إلى التغاضي عنها عند تطوير مشروع التعلم الآلي هو الحاجة إلى تمرير الدعم المستمر خلال دورة حياة المشروع بأكملها. يجب تنظيف البيانات التي تأتي من واجهات برمجة التطبيقات والتعليق عليها بشكل صحيح. بعد ذلك ، يجب تدريب النماذج على البيانات الجديدة واختبارها ونشرها.
بالإضافة إلى النقاط المذكورة أعلاه ، هناك عاملان آخران لهما أهمية في تقدير تكلفة تطوير تطبيق AI / تطبيق ML .
التحديات في تطوير تطبيقات التعلم الآلي
عادةً ، عند رسم تقدير لمشروع تطبيق "التعلم الآلي" ، يتم أيضًا وضع تحديات التطوير المرتبطة به في الاعتبار. ولكن يمكن أن تكون هناك حالات يتم فيها العثور على التحديات في منتصف عملية تطوير التطبيقات التي تعمل بنظام ML. في مثل هذه الحالات ، يزيد إجمالي الوقت وتقدير التكلفة تلقائيًا.
يمكن أن تتراوح التحديات التي تواجه مشروعات التعلم الآلي من:
- تحديد مجموعة الميزات التي ستصبح ميزات التعلم الآلي
- نقص المواهب في مجال الذكاء الاصطناعي والتعلم الآلي
- الحصول على مجموعات البيانات مكلف
- يستغرق الأمر وقتًا لتحقيق نتائج مرضية
استنتاج
يعد تقدير القوى العاملة والوقت اللازمين لإنهاء مشروع برمجي أمرًا سهلاً نسبيًا عندما يتم تطويره على أساس التصميمات المعيارية ويتم التعامل معه بواسطة فريق متمرس يتبع نهجًا رشيقًا . ومع ذلك ، يصبح الأمر نفسه أكثر صعوبة عندما تعمل على إنشاء الوقت والجهود الحكيمة لتقدير مشروع تطبيق "التعلم الآلي".
على الرغم من أن الأهداف قد تكون محددة جيدًا ، إلا أن ضمان ما إذا كان النموذج سيحقق النتيجة المرجوة أم لا ليس موجودًا. لا يمكن عادةً خفض النطاق ثم تشغيل المشروع في إعداد محاصر بالوقت من خلال تاريخ تسليم محدد مسبقًا.
من الأهمية بمكان أن تحدد أنه ستكون هناك شكوك. أحد الأساليب التي يمكن أن تساعد في تخفيف التأخير هو التأكد من أن بيانات الإدخال بالتنسيق الصحيح للتعلم الآلي.
ولكن في النهاية ، بغض النظر عن النهج الذي تخطط لاتباعه ، سيتم اعتباره ناجحًا فقط عندما تشترك مع وكالة تطوير تطبيقات Machine Learning التي تعرف كيفية تطوير ونشر التعقيدات في أبسط أشكالها.
أسئلة وأجوبة حول تقدير مشروع تطبيق "التعلم الآلي"
س. لماذا نستخدم التعلم الآلي في تطوير التطبيق؟
هناك عدد من الفوائد التي يمكن للشركات الاستفادة منها من خلال دمج التعلم الآلي في تطبيقات الأجهزة المحمولة الخاصة بهم. بعض من أكثرها انتشارًا موجود على واجهة تسويق التطبيقات -
- تقديم تجربة شخصية
- البحث المتقدم
- توقع سلوك المستخدم
- مشاركة أعمق للمستخدم
س: كيف يمكن للتعلم الآلي أن يساعد عملك؟
تتجاوز فوائد التعلم الآلي للشركات تصنيفها كعلامة تجارية تخريبية. إنه يتحول إلى عروضهم التي أصبحت أكثر تخصيصًا وفي الوقت الفعلي.
يمكن أن يكون التعلم الآلي هو الصيغة السرية التي تجعل الشركات أقرب إلى عملائها ، تمامًا كما يريدون أن يتم التعامل معهم.
س: كيف يمكن تقدير عائد الاستثمار عند تطوير مشروع تعلم الآلة؟
على الرغم من أن المقالة كانت ستساعدك في إنشاء تقدير مشروع تطبيق Machine Learning ، فإن حساب عائد الاستثمار يعد لعبة مختلفة. سيتعين عليك مراعاة تكلفة الفرصة البديلة في هذا المزيج أيضًا. بالإضافة إلى ذلك ، سيتعين عليك النظر في التوقعات التي يحملها عملك من المشروع.
س. ما هي المنصة الأفضل لمشروع ML؟
يعتمد اختيارك فيما إذا كنت تريد الاتصال بشركة تطوير تطبيقات Android أو بمطوري iOS كليًا على قاعدة المستخدمين والهدف - سواء كان ذلك لتحقيق الربح أو التركيز على القيمة.