منحنی ROC چیست؟ :: انجام پایان نامه مهندسی صنایع و مدیریت

منحنی ROC برای بررسی توانایی و دقت مدل‌ها

پایان نامه رتبه بندی ریسک اعتباری

منحنی ROC یا مشخصه عملیاتی گیرنده (ROC) یکی از مشهورترین روش‌های ارزیابی مدل است.

منحنی ROC مشخصه عملکرد گیرنده (ROC) یک معیار سنجش میزان کارایی در مسایل دسته‌بندی است. این منحنی به طور گسترده در تئوری تشخیص سیگنال، سیستم Imaging در کاربردهای رادیولوژیک و زمینه‌های مختلفی از پزشکی از قبیل تست‌های شناختی و رژیم‌های درمانی استفاده می‌شود.
منحنی ROC یک نمایش گرافیکی از میزان حساسیت یا پیش‌بینی درست در مقابل پیش‌بینی غلط در یک سیستم طبقه‌بندی دودویی است که آستانه تفکیک در آن متغیر است.

همچنین منحنی ROC با رسم مثبت‌های درست پیش‌بینی شده در مقابل مثبت‌های غلط پیش‌بینی شده، نشان داده می‌شود.

سطح زیر منحنی ROC عددی است که یک جنبه از کارایی را مورد سنجش قرار می‌دهد. AUC مقداری بین صفر و یک است. مقدار ۰/۵ برابر پیش‌بینی تصادفی است و مقدار ۱ برابر پیش‌بینی عالی است.
فرض کنید که با یک مسئله پیش‌بینی با دو دسته روبرو هستیم که در آن خروجی‌ها به شکل مثبت (p) یا منفی (n) نشان داده می‌شود. برای این مسئله ۴ حالت خواهیم داشت:
۱- اگر خروجی واقعی مثبت و مقدار پیش‌بینی نیز مثبت باشد، این حالت را TP می‌نامیم (به عبارتی شرکت‌هایی که به درستی، ورشکسته یا با وضعیت مالی خیلی ضعیف تشخیص داده شده‌اند).

How Does Bitcoin Mining Work?

۲- اگر خروجی واقعی مثبت باشد و مقدار پیش‌بینی نیز منفی باشد، این حالت را FN می‌نامیم (شرکت‌هایی که به اشتباه سالم تشخیص داده شده‌اند).
۳- اگر خروجی واقعی منفی و مقدار پیش‌بینی نیز منفی باشد، این حالت را TN می‌نامیم (شرکت‌هایی که به درستی سالم تشخیص داده شده‌اند).
۴- اگر خروجی واقعی منفی و مقدار پیش‌بینی نیز مثبت باشد، این حالت را FP می‌نامیم (شرکت‌هایی که به اشتباه ورشکسته تشخیص داده شده‌اند).
برخی اصطلاحاتی که در ترسیم نمودار ROC لازم است بدانیم عبارت است از:
• حساسیت (Sensitivity) : بیانگر مقادیر پیش‌بینی‌شده درست در مقابل تمام خروجی‌های مثبت است.
• اختصاصی بودن (Specificity) : بیانگر مقادیر پیش‌بینی شده منفی درست در مقابل تمام خروجی‌های منفی است.
• قابلیت پیش‌بینی مثبت (Positive Predictivity) : بیانگر تعداد پیش‌بینی‌های مثبت درست در مقابل تمام مواردی است که مثبت پیش‌بینی شده‌اند.

• دقت (Accuracy) : بیانگر تعداد پیش‌بینی‌های درست در مقابل همه‌ی موارد پیش‌بینی شده است.

در ترسیم منحنی ROC ، حساسیت را در مقابل (اختصاصی بودن – ۱) رسم می‌کنیم. این تکنیک برای ارزیابی متدولوژی‌های مختلف مدل‌سازی ریسک اعتباری نیز بکار گرفته شده است.

سوبه‌هارت و همکاران (۲۰۰۲) رویکرد Moody’s را به طور مفصل برای ارزیابی عملکرد و ملاحظات عملی مدل‌های ریسک اعتباری کیفی تشریح کرده‌اند.

آنها این روش را تحت نام دیگری (CAP) نشان داده‌اند و اندیکاتورهای دیگری از قبیل نسبت دقت (AR) را برای ارزیابی دقت مدل توسعه دادند.

سوبه‌هارت و کینان (۲۰۰۱) ناحیه زیر منحنی ROC را به عنوان معیار اصلی برای ارزیابی مدل‌های رتبه‌بندی تعریف نمودند، به عبارتی نتیجه اصلی کارشان این بود که ناحیه زیر منحنی، شاخصی از کیفیت مدل است. انگلمن و همکاران (۲۰۰۳) تحلیل آماری برای مشخصات منحنی‌های ROC ارایه دادند.
که AUC مساحت زیر منحنی ROC است که با آماره تست Mann-Whitney در نرم‌افزار متلب، تقریب زده می‌شود. هرچقدر مساحت زیر منحنی ROC بیشتر باشد، کارایی مدل در پیش‌بینی‌ بهتر خواهد بود.

منحنی ROC خطای نوع ۱ را در مقابل خطای نوع ۲ به تصویر می‌کشد. برای یک مدل پیش‌بینی ورشکستگی، یک منحنی ROC، نرخ پیش‌بینی‌های نادرست از شکست‌ها را در مقابل پیش‌بینی‌های درست از شکست‌ها نشان می‌دهد. منحنی ROC برای یک مدل کامل و یک مدل تصادفی در شکل بالا قابل مشاهده است. نمودار ROC در انجام پایان نامه های مربوط به ارزیابی اعتبار مدل ها و اعتبار سنجی ریسک اعتباری مفید خواهد بود.