قوانین فنی مسابقه

1. مقدمه:

   در این مسابقه، هدف نهایی انجام گروه‌‏بندی چهره‌های‏ موجود در پایگاه داده است، به این صورت که باید تصاویر دارای هویت یکسان در یک گروه مشترک قرار گیرند. در ادامه توضیحاتی در مورد نوع تصاویر، قوانین اجرائی و فنی مسابقه و نیز نحوه تولید خروجی ‏های مطلوب آورده شده است.

2. پایگاه داده:

   تصاویر موجود در پایگاه داده بصورت تصاویر رنگی و سطح خاکستری (یک یا سه کاناله) با عمق 8 و 24 بیت خواهند بود. در پایگاه داده‌ی ارائه شده تا حد امکان تمام چالش‌های موجود در زمینه بازشناسی چهره در تصاویر وجود دارد. پایگاه داده شامل افراد ایرانی و غیرایرانی بوده و گوناگونی در مواردی مانند زاویه سر، وضعیت نورپردازی، حالت چهره، سن، پوشیدگی چهره، وجود کلاه و عمامه، گریم (شامل آرایش و یا تغییر سایر جزئیات چهره هم‌چون ریش و سبیل)، جنسیت، حجاب اسلامی و ... وجود دارد. تصاویر پایگاه داده دارای ابعاد مختلف بوده و به فرمت jpg. استاندارد فشرده شده‌اند. تصاویر به گونه‌ای انتخاب شده‌اند که در هر تصویر فقط یک چهره وجود داشته باشد. لازم به ذکر است که حداقل عرض تصویر و حداقل عرض چهره در تصاویر پایگاه داده به ترتیب برابر با 150 و 50 پیکسل می‌باشد.

3. شرح مساله:

   تیم‌های شرکت‌کننده در این مسابقه می‌بایست با استفاده از روش‌های گروه‌بندی، اقدام به گروه‌بندی تصاویر پایگاه داده نموده و در نهایت برچسب مربوط به هویت (هویت‌های) مشابه را مشخص نمایند. بدین صورت که تیم‌ها با در نظر گرفتن قوانین فنی و اجرائی مسابقه، اقدام به پیاده‌سازی الگوریتم گروه‌بندی بر روی تصاویر می‌نمایند، تا در نهایت برچسب‌های مربوط به هویت (هویت‌های) مشابه به عنوان خروجی عملیات گروه‌بندی تعیین گردند. شرح کامل چگونگی انجام این فرایند و قوانین مربوطه در بخش‌های بعد به تفصیل توضیح داده شده است. در ادامه‌ی این بخش کلیاتی در خصوص معرفی آنالیز گروه‌بندی ارائه می‌گردد.
   آنالیز گروه‌بندی به عملیات گروه‏‌بندی مجموعه‌ای از اجزاء اطلاق می‌شود که در آن تمامی اجزاء در هر گروه (که خوشه یا کلاستر نامیده می‌شوند) دارای بیشترین شباهت با سایر اجزاء آن گروه (خوشه)، نسبت به اجزاء سایر خوشه‌ها (یا کلاسترها) باشند. بطور کلی جهت ارزیابی نتایج روش‌های خوشه‌بندی، از چهار نوع روش ارزیابی داخلی، خارجی، دستی و غیرمستقیم استفاده می‌گردد. روش‌های ارزیابی داخلی زمانی مورد استفاده قرار می‌گیرند که نتایج خوشه‌بندی در یک امتیاز کیفی خلاصه شوند. این روش‌ها اساساً بهترین امتیاز را به الگوریتم‌هایی می‌دهند که عملیات خوشه‌بندی را با شباهت بالای درون خوشه‌ای و شباهت پایین بین خوشه‌ای انجام می‌دهند. اما مهمترین عدم مزیت این روش ارزیابی این است که روش ارزیابی خوشه‌ای که امتیاز بالایی دارد، لزوماً منجر به کاربردهای مؤثر در بازیابی اطلاعات نمی‌شود. در حالی‌که در روش‌های ارزیابی خارجی، خروجی‌های خوشه‌بندی با یک Ground Truth یا Gold Standard موجود مقایسه شده و نتایج نهایی گزارش می‌شوند. این نوع روش‌های ارزیابی چگونگی نزدیک بودن خوشه‌بندی انجام شده به کلاس‌های از پیش تعیین شده را تعیین می‌نماید. در این روش ارزیابی، شمارش جفت داده‌ها در هر خوشه تعیین کننده‌ی این است که آیا داده‌هایی که در یک خوشه قرار گرفته‌اند واقعاً متعلق به یک کلاس بوده‌اند یا خیر. روش ارزیابی دستی توسط شخص خبره صورت می‌پذیرد و در نهایت روش ارزیابی غیرمستقیم نیز بوسیله‌ی ارزیابی کاربرد خوشه‌بندی در قالب مورد نظر خود قابل انجام است.
   لازم به ذکر است که در این مسابقه از روش ارزیابی خارجی جهت ارزیابی نهایی و امتیازدهی به نتایج کد تیم‌های شرکت‌کننده استفاده خواهد شد.

4. قوانین اجرائی:

   برای شرکت در مسابقه، هر تیم شرکت‌کننده می‌بایست کد خود را با توجه به قالب فایل‌های ورودی و خروجی که در ادامه شرح داده شده است تهیه نموده و برنامه‌ی اجرائی خود را در یک قالب یک داکر ایمیج تحویل و در زمان مقرر در وب سایت مسابقه بارگذاری نماید. این ایمیج، بر روی سیستمی که داده‌های تصاویر ارائه شده بر روی آن قرار دارد اجرا شده و پس از اجرای کامل برنامه، فایل خروجی دریافت و داکر ایمیج پاک می‌شود. لازم به ذکر است که در بازه‌ی زمانی اعلام شده، شرکت‌کنندگان می‌توانند اقدام به بارگذاری کد خود نموده، سپس نتایج و امتیاز نهایی هر تیم با توجه به معیارهای جدول 1 محاسبه شده و به اطلاع شرکت‌کنندگان خواهد رسید. شرکت‌کنندگان می‌توانند کدهای خود را بروزرسانی نموده و مجدداً بارگذاری نمایند. این روال تا اتمام بازه‌ی زمانی مورد نظر ادامه خواهد داشت و پس از اتمام زمان، داوری نهایی مطابق با آخرین کد بروزرسانی شده به ازای هر تیم انجام خواهد شد. بازه‌های زمانی مورد نظر متعاقباً از طریق وب‌‏سایت مسابقه اعلام خواهند شد.
   به منظور آموزش چگونگی ساخت و اجرای داکر ایمیج، علاوه بر فایل راهنما، ویدئو‌ی آموزشی جداگانه ‏ای نیز در سایت قرار خواهد گرفت.

   4-1. قالب فایل ورودی

   یک فایل متنی با نام input.txt به عنوان ورودی در اختیار تیم‌های شرکت‌کننده در مسابقه قرار داده می‌شود. این فایل دارای یک خط است که شامل آدرس دقیق پوشه‌ی تصاویر پایگاه داده‌ی مورد استفاده خواهد بود. درون این پوشه فقط تصاویر بوده و هیچ گونه فایل دیگری با فرمت دیگر وجود نخواهد داشت. این آدرس بعنوان ورودی داکر در نظر گرفته می‌شود. برنامه می‌بایست تصاویر موجود در این آدرس را خوانده و عملیات خوشه‌بندی را انجام دهد و در نهایت فایل خروجی را در قالب بیان شده در قسمت بعد تولید نماید.

   4-2. قالب فایل خروجی

   نحوه ‏ی تولید و نیز فرمت فایل خروجی ذخیره شده بصورت زیر است:

   • به ازای هر یک از تصاویر پایگاه داده، حتماً می‌بایست یک شماره خوشه اختصاص داده شود؛
   • تولید یک فایل خروجی با نام تیم شرکت‌کننده و با فرمت csv. شامل دو ستون؛ در فایل csv. ذخیره شده، ستون اول شامل اسامی تصاویر و ستون دوم معرف شماره‌ی خوشه‌ی هر یک از تصاویر پایگاه داده است؛ ترتیب سطرها برحسب ترتیب اسامی موجود در پوشه‌ی تصاویر مرتب شود؛
   • تعداد سطرهای فایل csv. ذخیره شده به تعداد تصاویر ارائه شده در پایگاه داده باشد؛
   • شروع شماره‌ی خوشه‌ها از شماره 1 باشد؛ هم‌چنین شماره‌ی آخرین خوشه بیانگر تعداد خوشه‌های استخراج شده باشد؛

   به عنوان مثال فرض کنید پوشه‌ی تصاویر پایگاه داده شامل 5 تصویر با نام‌های زیر است:

   I1.jpg
   I2.jpg
   I3.jpg
   I4.jpg
   I5.jpg
   

   با این شرایط، در خروجی کار هر تیم شرکت‌کننده در مسابقه، یک فایل با نام تیم و با فرمت csv. ذخیره خواهد شد که محتویات آن بطور مثال بصورت زیر خواهد بود:

   I1, 2
   I2, 1
   I3, 3
   I4, 1
   I5, 2
   

   دقت داشته باشید که در فایل csv. نهایی، حتماً می‏بایست شماره خوشه‌ی هر تصویر ورودی در جلوی نام هر تصویر درج شود و هرگونه عبارت دیگه نظیر عبارات NaN، inf یا صفر قابل قبول نبوده و نتایج آن‌ها رد خواهند شد.

   نکته: اگر مدل شما به هر دلیلی قادر به قرار دادن یک تصویر در خوشه‏‌ی تصاویر مشابه خود نباشد، به ازای آن تصویر خاص می‌بایست یک خوشه‌ی جداگانه (تک عضوی) در نظر گرفته شود. هم‌چنین در صورت بروز هر نوع خطا در تمامی مراحل اجرای کد (به عنوان مثال عدم فراخوانی یا عدم باز شدن یک تصویر، عدم تشخیص چهره در یک تصویر و ...)، شرکت‌کنندگان می‌بایست به نحوی اجرای کد خود را مدیریت نمایند تا در حین اجرای کد هیچ‌گونه خطا، توقف و یا خارج شدن از برنامه اتفاق نیفتد و تمامی مراحل کد مورد نظر تا تولید خروجی مطلوب بدرستی اجرا گردند. علاوه بر این، در صورت وجود هر نوع خطای پیش‌بینی نشده در کدهای شرکت‌کنندگان به ازای هر تصویر در مرحله‌ی اجرای خوشه‌بندی، می‌بایست به ازای آن تصویر یک خوشه‌ی جداگانه در نظر گرفته شود.
   بدیهی است در صورت عدم رعایت هر یک از موارد بیان شده در فوق توسط تیم‌های شرکت‌کننده در مسابقه، نتایج آن تیم نادیده گرفته شده و تیم مورد نظر از چرخه‌ی مسابقه حذف خواهد شد.

5. قوانین فنی مسابقه:

   هدف اصلی در این مسابقه خوشه‌بندی چهره‌های تشخیص داده شده از تصاویر پایگاه داده است. به این‌صورت که در ابتدا مجموعه‌ای از تصاویر با مشخصاتی که در این فایل راهنما ارائه شده است در اختیار شرکت‌کنندگان قرار داده می‌شود. سپس تیم‌های شرکت‌کننده در این مسابقه با بکارگیری روش‌های خوشه‌بندی، تصاویر مربوط به هر هویت (خوشه) را مشخص خواهند نمود. انتظار می‌رود فایل خروجی ارائه شده توسط هر تیم شرکت‌کننده در مسابقه بصورت لیستی از نام تصاویر به همراه شماره‌ی خوشه‌ی هر یک از آن‌ها باشد. لازم به ذکر است که اگر الگوریتم شما به هر دلیلی قادر به استخراج چهره از تصویر ورودی نباشد، شرکت‌کننده باید آن تصویر را بصورت یک خوشه‌ی تک عضوی در نظر گیرد.
   
   نکته:درصورتی‌که در هر یک از مراحل برگزاری مسابقه مشخص شود که تصویری خارج از استانداردهای تعریف شده در مسابقه بوده است، آن تصویر از مسابقه حذف خواهد شد.
   در ادامه به معرفی معیارهای ارزیابی و نحوه امتیازدهی به تیم‌های شرکت‌کننده پرداخته شده است.

   5-1. معیارهای ارزیابی:

   ارزیابی "دقت خوشه‏ بندی" الگوریتم تیم های شرکت‏ کننده در مسابقه و امتیازدهی به خروجی ‏های مدل آنها مطابق با دو معیار زیر انجام خواهد شد:

   • F-measure:

   نحوه محاسبه این معیار بصورت رابطه‏ ی زیر است:

   

   

   در این رابطه است و معیارهای و نیز بصورت زیر تعریف می‌شوند:

   

   

   در روابط فوق، معرف ، معرف و معرف هستند.

   • Normalized Mutual Information (NMI):
   نحوه محاسبه این معیار بصورت زیر است:

   

   

   در رابطه‌ی فوق، معرف مجموعه کلاس‌ها در Ground Truth و معرف مجموعه خوشه‌های بدست آورده شده توسط الگوریتم خوشه‌بندی است؛

   در رابطه‌ی فوق، معرف مجموعه کلاس‌ها در Ground Truth و معرف مجموعه خوشه‌های بدست آورده شده توسط الگوریتم خوشه‌بندی است؛ هم‌چنین معرف آنتروپی مجموعه ‌ی خوشه‌ها و معرف آنتروپی مجموعه‌ ی کلاس‌های موجود در Ground Truth است؛ هم‌چنین معرف Mutual Information (MI) بین و بوده که از طریق رابطه زیر قابل محاسبه است:

   همچنین I(Ω ,C) معرف Mutual Information (MI) بین Ω و C بوده که از طریق رابطه زیر قابل محاسبه است:

   

   

   در رابطه فوق، معرف میزان اطلاعات موجود بین کلاس‌ها و خوشه‌ها است؛ به عبارت دیگر، معیار MI درخصوص اینکه چه مقدار اطلاعات مشترک بین خوشه‌ها و کلاس‌های استاندارد طلایی وجود دارد حائز اهمیت است. در رابطه فوق معرف تعداد کل داده‌ها، و بیانگر تعداد داده‌های مشترک بین کلاس‌ها و خوشه‌ها است. در واقع معیار MI قادر به آشکارسازی شباهت غیرخطی بین این دو است. عبارت در مخرج معیار NMI می‌تواند حل کننده‌ی مشکلات محاسبه در معیار MI باشد،. به عنوان مثال، به ازای در حالت K = N (تعداد خوشه‌ها با تعداد داده‌ها برابر باشد) به ماکزیمم مقدار خود می‌رسد که در این حالت معیار NMI به ازای K = N مقدار کمی خواهد داشت. به دلیل اینکه NMI معیاری نرمالیزه شده است، می‌توان از آن جهت مقایسه‌ی خروجی‌های روش‌های مختلف خوشه‌بندی با تعداد خوشه‌های متفاوت استفاده کرد. هم‌چنین NMI یک معیار بالانس شده است و در حالتی که تمامی نمونه‌ها یا در یک خوشه باشند یا همگی در خوشه‌های منحصر به فرد قرار گیرند، دارای مقدار صفر است.

   5-2. نحوه محاسبه امتیاز نهایی:

   پس از محاسبه‌ی هر یک از معیارهای فوق از روی فایل csv. خروجی هر تیم و با اعمال ضرایب مناسب مطابق با جدول 1، امتیاز نهایی "دقت خوشه‌بندی" و در نهایت نحوه‌ی عملکرد نهایی هر تیم محاسبه و گزارش خواهد شد. علاوه بر دقت الگوریتم، معیارهای "زمان اجرای الگوریتم" و "میزان RAM مورد استفاده" حاصل از فایل خروجی هر یک از تیم‌ها نیز در ارزیابی نهایی تأثیرگذار است. نحوه محاسبه‌ی امتیاز نهایی تیم‌ها مطابق جدول 1 است.

   جدول 1) نحوه محاسبه‌ معیارهای معرفی شده جهت محاسبه امتیاز نهایی تیم‌ها

   

   

   نکته: : درخصوص محاسبه امتیاز "زمان اجرای الگوریتم" با توجه به رابطه‌ی ذکر شده در جدول 1 برای این معیار، در ابتدا زمان اجرای کد هر تیم محاسبه شده، سپس این زمان با توجه به حداکثر زمان قابل اجرا که توسط تیم ارزیاب تعیین می‌گردد، نرمالیزه می‌شود. بدیهی است که زمان کمتر اجرای الگوریتم هر تیم معادل با کسب امتیاز بیشتر در این بخش است. توجه داشته باشید که در محاسبه امتیاز این معیار یک حد آستانه‌ی دیگر نیز در نظر گرفته شده است. به این ترتیب که در صورت اجرای کد در زمانی بزرگتر یا مساوی با حداکثر زمان قابل اجرا و کمتر از حد آستانه‌ی دوم امتیاز صفر به معیار "زمان اجرای الگوریتم" تعلق خواهد گرفت، و در صورتی‌که زمان اجرای الگوریتم بیش از زمان باشد، تیم مورد نظر از ادامه فرایند مسابقه کنار گذاشته خواهد شد. لازم به ذکر است که حداکثر زمان اجرای الگوریتم و نیز زمان حد آستانه‌ی دوم متعاقباً از طریق وب‌سایت مسابقه اعلام خواهد شد.

   علاوه بر این، حداکثر میزان RAM مورد استفاده جهت تعیین امتیاز معیار "میزان RAM مورد استفاده" نیز متعاقباً اعلام خواهد شد.

   در نهایت، امتیاز نهایی هر یک از تیم‌ها بصورت مجموع امتیاز معیارهای "دقت خوشه‌بندی "، "زمان اجرای الگوریتم " و نیز "میزان RAM مورد استفاده "، و مطابق با رابطه‌ی زیر از حداکثر امتیاز 100 محاسبه و اعلام خواهد شد.