شارک

عنوان URL للمقالة


رقم المقالة : 1401043138601 زيارة : 1969 الصفحة: 183 - 192

نوع المخطوط: المحکّمة

افزایش وضوح تصویر با استفاده از برجستگی بصری

الموضوعات :

مینا وفایی جهان 1 , عباس ابراهیمی مقدم 2 , مرتضی خادمی 3

1 - دانشکده مهندسی برق، دانشگاه فردوسی مشهد
2 - دانشکده مهندسی برق، دانشگاه فردوسی مشهد
3 - دانشکده مهندسی برق، دانشگاه فردوسی مشهد

تاريخ الإرسال : 30 الجمعة , ذو الحجة, 1443 تاريخ التأكيد : 20 الأحد , شعبان, 1444 تاريخ الإصدار : 10 الثلاثاء , شعبان, 1445

الکلمات المفتاحية: افزایش وضوح در لبه‌ها, برجستگی بصری (VS) , توجه بصری (VA) ,

ملخص المقالة :

افزایش وضوح تصویر در بسیاری موارد به تقویت مؤلفه‌های فرکانس بالای آن و افزایش وضوح در لبه‌ها اطلاق می‌شود. در مدل‌های موجود افزایش وضوح فرض می‌شود که حساسیت سیستم بینایی انسان(HVS) در تمام صحنه یکسان است و تأثیرات توجه بصری (VA) ناشی از برجستگی بصری (VS) در این مدل‌ها لحاظ نشده است. مطالعات مختلف نشان‌ داده‌اند که حساسیت بصری در نقاطی که توجه بیشتری را جلب می‌کند بالاتر است؛ بنابراین افزایش وضوح تصویر مبتنی بر توجه بصری می‌تواند باعث وضوح بیشتر درک‌شده در تصویر گردد. در این مقاله، مدلی برای افزایش وضوح تصویر پیشنهاد شده که از رابطه بین نقشه مؤلفه‌های فرکانس بالای تصویر و برجستگی بصری برای تعیین مقدار بهینه وضوح تصویر استفاده می‌کند. مدل پیشنهادی با به‌کارگیری یک تابع غیرخطی، مقدار وضوح بهینه برای یک تصویر را با توجه به برجستگی بصری آن بیان می‌کند. تعیین پارامترهای تابع غیرخطی در قالب یک مسأله بهینه‌سازی مدل‌سازی شده که حل آن منجر به یافتن مقدار وضوح بهینه به طور خودکار می‌شود. جهت ارزیابی روش پیشنهادی و نشان‌دادن کارایی آن، آزمایش‌های ذهنی و عینی انجام شده که نتایج نشان می‌دهند روش پیشنهادی در صورت انتخاب مقادیر مناسب پارامترهای کنترلی، نسبت به دیگر روش‌های مورد مقایسه عملکرد مؤثرتری دارد.

المصادر:

[1] Tutorials:Sharpness.http://www.cambridgeincolour.com/tutorials/sharpness.htm. [Online] (visited on June 11, 2016).
[2] M. Reichmann, Understanding sharpness, https://luminous landscape.com/rediscover-understanding-sharpness/.[Online] (visited on June 27. 2018).
[3] N. Strobel and S. K. Mitra, "Quadratic filters for image contrast enhancement," in Proc. of 28th Asilomar Conf. on Signals, Systems and Computers, vol. 1, pp. 208-212, Pacific Grove, CA, USA, 31 Oct-Nov. 1994.
[4] C. Yin, Y. Zhou, S. Agaian, and C. L. Philip Chen, "Parametric rational unsharp masking for image enhancement," SPIE 9019, Image Processing: Algorithms and Systems XII, vol. 90190, 8 pp., Feb. 2014.
[5] K. Kaur, N. Jindal, and K. Singh, "Fractional derivative based unsharp masking approach for enhancement of digital images," Multimedia Tools and Applications, vol. 80, pp. 3645-3679, Aug. 2021.
[6] A. Polesel, G. Ramponi, and V. J. Mathews, "Image enhancement via adaptive unsharp masking," IEEE Trans. on Image Processing, vol. 9, no. 3, pp. 505-510, Mar. 2000.
[7] W. Ye and K. K. Ma, "Blurriness-guided unsharp masking," IEEE Trans. on Image Processing, vol. 27, no. 9, pp. 4465-4477, Jan. 2018.
[8] T. Kobayashi and J. Tajima, "Content-adaptive automatic image sharpening," in Proc. 20th Int. Conf. on Pattern Recognition, pp. 2214-2217, Istanbul, Turkey, 23-26 Aug. 2010.
[9] L. Krasula, P. L. Callet, K. Fliegel, and M. Klíma, "Quality assessment of sharpened images: challenges, methodology, and objective metrics," IEEE Trans. on Image Processing, vol. 26, no. 3, pp. 1496-1508, Mar. 2017.
[10] X. Duan, et al., "A multiscale contrast enhancement for mammogram using dynamic unsharp masking in laplacian pyramid," IEEE Trans. on Radiation and Plasma Medical Sciences, vol. 3, no. 5, pp. 557-564, Sep. 2019.
[11] B. J. Borah and C. K. Sun, "A GPU-accelerated modified unsharp-masking method for high-frequency background-noise suppression," IEEE Access, vol. 9, pp. 68746-68757, 2021.
[12] I. Draganov and V. Gancheva, "Unsharp masking with local adaptive contrast enhancement of medical images," In Su, R., Zhang, YD., Liu, H. (eds) Proc. of 2021 Int. Conf. on Medical Imaging and Computer-Aided Diagnosis, Lecture Notes in Electrical Engineering, Springer, Singapore, vol. 784, pp. 354-363, Jan. 2021.
[13] C. C. Pham and J. W. Jeon, "Efficient image sharpening and denoising using adaptive guided image filtering," IET Image Processing, vol. 9, no. 1, pp. 71-79, Jan. 2014.
[14] R. R. Kumar, A. Kumar, and S. Srivastava, "Anisotropic diffusion based unsharp masking and crispening for denoising and enhancement of MRI images," in Proc. Int. Conf. on Emerging Frontiers in Electrical and Electronic Technologies, ICEFEET'20, 6 pp., Patna, India, 10-11Jul. 2020.
[15] Z. Alameen, A. Muttar, and G. Albadrani, "Improving the sharpness of digital image using an amended unsharp mask filter," International J. of Image, Graphics and Signal Processing, vol. 11, no. 3, pp. 1-9, Mar. 2019.
[16] S. H. Majeed and N. A. M. Isa, "Adaptive entropy index histogram equalization for poor contrast images," IEEE Access, vol. 9, pp. 6402-6437, 2021.
[17] R. C. Gonzalez and R. E. Woods, Digital Image Processing Using MATLAB, 2nd Ed. New Delhi India: Pearson, 2004.
[18] Y. T. Kim, "Contrast enhancement using brightness preserving bi-histogram equalization," IEEE Trans. on Consumer Electronics, vol. 43, no. 1, pp. 1-8, Feb. 1997.
[19] S. D. Chen and A. R. Ramli, "Contrast enhancement using recursive meanseparate histogram equalization for scalable brightness preservation," IEEE Trans. Consum. Electron., vol. 49, no. 4, pp. 1301-1309, Nov. 2003.
[20] Q. Wang and R. Ward, "Fast image/video contrast enhancement based on weighted thresholded histogram equalization," IEEE Trans. Consum. Electron., vol. 53, no. 2, pp. 757-764, Jun. 2007.
[21] J. Y. Kim, L. S. Kim, and S. H. Hwang, "An advanced contrast enhancement using partially overlapped sub-block histogram equalization," IEEE Trans. Circuits Syst. Video Technol., vol. 11, no. 4, pp. 475-484, Apr. 2001.
[22] S. F. Tan and N. A. M. Isa, "Exposure based multi-histogram equalization contrast enhancement for non-uniform illumination images," IEEE Access, vol. 7, pp. 70842-70861, 2019.
[23] Z. Shi, Y. Chen, E. Gavves, P. Mettes, and C. G. M. Snoek, "Unsharp mask guided filtering," IEEE Trans. on Image Processing, vol. 30, pp. 7472-74852021.
[24] J. Li, M. D. Levine, X. An, X. Xu, and H. He, "Visual saliency based on scale-space analysis in the frequency domain," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 35, no. 4, pp. 996-1010, Nov. 2013.
[25] L. Itti, C. Koch, and E. Niebur, "A model of saliency-based visual attention for rapid scene analysis," IEEE Trans. Pattern Anal. Mach. Intell., vol. 20, no. 11, pp. 1254-1259, Nov. 1998.
[26] L. Itti and C. Koch, "A saliency-based search mechanism for overt and covert shifts of visual attention," IEEE Trans. Image Process, vol. 13, no. 10, pp. 1304-1318, Jan. 2004.
[27] A. Borji, M. M. Cheng, H. Jiang, and J. Li, "Salient object detection: a benchmark," IEEE Trans. on Image Process, vol. 24, no. 12, pp. 5706-5722, Jan. 2015.
[28] B. Zhang, J. P. Allebach, and Z. Pizlo, "An investigation of perceived sharpness and sharpness metrics," Proc. SPIE, Image Quality and System Performance II, vol. 5668, pp. 98-110, Jan. 2005.
[29] T. Judd, K. Ehinger, F. Durand, and A. Torralba, "Learning to predict where humans look," in Proc. IEEE 12th Int. Conf. on Computer Vision, pp. 2106-2113, Kyoto, Japan, 29 Sept.-2 Oct. 2009.
[30‌ ف. نعمتی خلیل‌آباد، ﻫ. هادی‌زاده، ع. ابراهیمی‌مقدم و م. خادمی درح، "تخمین کمترین تفاوت قابل درک با استفاده از برجستگی بصری در تصاویر،" فصل‌نامه پردازش علائم و داده‌ها، جلد 17، شماره 2، صص. 71-84، 1399.
[31] K. Zuiderveld, Contrast Limited Adaptive Histogram Equalization, Chapter VIII.5, Graphics Gems IV. P. S. Heckbert (Eds.), Cambridge, MA, Academic Press, Feb. 1994.
[32] Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, "Image quality assessment: from error visibility to structural similarity," IEEE Trans. on Image Processing, vol. 13, no. 4, pp. 600-612, Apr. 2004.
[33] G. Deng, F. Galetto, M. Alnasrawi, and W. Waheed, "A guided edge-aware smoothing-sharpening filter based on patch interpolation model and generalized gamma distribution," IEEE Open J. of Signal Processing, vol. 2, pp. 119-135, Mar. 2021.
[34] D. Ngo, S. Lee, and B. Kang, "Nonlinear unsharp masking algorithm," in Proc. Int. Conf. on Electronics, Information, and Communication, ICEIC'20, 6 pp., Barcelona, Spain, 19-22 Jan. 2020.
[35] R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th Ed. New York, NY: Pearson, pp. 138-140, 2018.
[36] K. Singh and R. Kapoor, "Image enhancement via median-mean based sub-image-clipped histogram equalization," Optik-International J. for Light and Electron Optics. vol. 125, no. 17, pp. 4646-4651, Sept. 2014.
[37] T. Judd, K. Ehinger, F. Durand, and A. Torralba, "Learning to predict where humans look," in Proc.IEEE 12th Int. Conf. on Computer Vision, pp. 2106-2113, Kyoto, Japan, 29 Sept.- 2 Oct. 2009.
نص كامل:
معرفي يک روش جديد خوشه‌يابي خودکار

نشریه مهندسی برق و مهندسی کامپیوتر ایران، ب- مهندسی کامپیوتر، سال 21، شماره 3، پاییز 1402  183

مقاله پژوهشی

افزایش وضوح تصویر با استفاده از برجستگی بصری

مینا وفایی جهان، عباس ابراهیمی مقدم و مرتضی خادمی درح

 

 

1 

چکیده: افزایش وضوح تصویر در بسیاری موارد به تقویت مؤلفه‌های فرکانس بالای آن و افزایش وضوح در لبه‌ها اطلاق می‌شود. در مدل‌های موجود افزایش وضوح فرض می‌شود که حساسیت سیستم بینایی انسان (HVS) در تمام صحنه یکسان است و تأثیرات توجه بصری (VA) ناشی از برجستگی بصری (VS) در این مدل‌ها لحاظ نشده است. مطالعات مختلف نشان‌ داده‌اند که حساسیت بصری در نقاطی که توجه بیشتری را جلب می‌کند بالاتر است؛ بنابراین افزایش وضوح تصویر مبتنی بر توجه بصری می‌تواند باعث وضوح بیشتر درک‌شده در تصویر گردد. در این مقاله، مدلی برای افزایش وضوح تصویر پیشنهاد شده که از رابطه بین نقشه مؤلفه‌های فرکانس بالای تصویر و برجستگی بصری برای تعیین مقدار بهینه وضوح تصویر استفاده می‌کند. مدل پیشنهادی با به‌کارگیری یک تابع غیرخطی، مقدار وضوح بهینه برای یک تصویر را با توجه به برجستگی بصری آن بیان می‌کند. تعیین پارامترهای تابع غیرخطی در قالب یک مسأله بهینه‌سازی مدل‌سازی شده که حل آن منجر به یافتن مقدار وضوح بهینه به طور خودکار می‌شود. جهت ارزیابی روش پیشنهادی و نشان‌دادن کارایی آن، آزمایش‌های ذهنی و عینی انجام شده که نتایج نشان می‌دهند روش پیشنهادی در صورت انتخاب مقادیر مناسب پارامترهای کنترلی، نسبت به دیگر روش‌های مورد مقایسه عملکرد مؤثرتری دارد.

 

کلیدواژه: افزایش وضوح در لبه‌ها، برجستگی بصری (VS)، توجه بصری (VA).

1-       مقدمه

در حین ثبت یک تصویر، وجود برخی از محدودیت‌های محیطی باعث کاهش وضوح تصویر ثبت‌شده می‌شود. کاهش وضوح تصویر منجر به ازدست‌دادن جزئیات در آن شده و استخراج اطلاعات مهم برای پردازش توسط سیستم بینایی انسان 2(HVS) و ماشین را با محدودیت مواجه می‌کند. از اهداف مهم برای افزایش وضوح و بهبود تصاویر دیجیتالی، افزایش ‌تفکیک‌پذیری در لبه‌های3 تصویر است که این کار با دو رویکرد کلی شامل کاهش طول انتقال لبه و افزایش اختلاف مقادیر بیشینه و کمینه پیکسل‌ها در مناطق لبه انجام می‌شود. رویکرد اول توسط الگوریتم‌هایی پیاده می‌شود که سعی در کاهش طول شیب انتقال لبه‌ها دارند. این طول به‌عنوان فاصله بین مقادیر حداقل و حداکثر پیکسل‌های تصویر در همسایگی لبه‌ها تعریف می‌شود. این رویکرد برای بازیابی4 تصاویر به شدت تار که در آن معمولاً رویکرد دوم موفق عمل نمی‌کند، استفاده می‌شود. در رویکرد دوم، طول شیب انتقال بدون تغییر باقی می‌ماند؛ در حالی که تفاوت بین حداقل و حداکثر مقدار پیکسل‌ها افزایش می‌یابد و وضوح در لبه‌ها را بالا می‌برد [1] و [2].

محققان برای افزایش وضوح تصویر روش‌های مختلفی ارائه کرده‌اند؛ از جمله مهم‌ترین آنها روش‌های مبتنی بر فیلتر 5(USM)، روش‌های مبتنی بر تعادل هیستوگرام 6(HE) و روش‌های مبتنی بر یادگیری7 است. برای هر یک از این روش‌ها الگوریتم‌های متعددی ارائه شده است.

یکی از متداول‌ترین روش‌ها‌ جهت افزایش وضوح تصویر به‌خاطر پیاده‌سازی ساده، سرعت بالا و عدم نیاز به اطلاعات پایه تصویر ورودی، روش فیلتر USM است. در این روش برای ایجاد تصویر بهبودیافته لازم است تا تصویر ورودی با ضریبی (ضریب تقویت) از مؤلفه‌های فرکانس بالای استخراج‌شده از آن جمع ‌شود. فیلتر USM با تأکید بر مؤلفه‌های فرکانس بالای تصویر عمل کرده و باعث افزایش وضوح در لبه‌های تصویر می‌شود. USM نه تنها سیستم را نسبت به نویز بسیار حساس می‌کند بلکه لبه در مناطق با وضوح بالا را بسیار بیشتر از مناطق با وضوح کم افزایش می‌دهد که در نتیجه و در بعضی موارد، باعث ایجاد آثار ناخواسته قوی می‌شود. تلاش‌های زیادی برای بهبود عملکرد فیلتر USM انجام شده‌ که استفاده از فیلتر‌های بالاگذر و پایین‌گذر، دو روش اساسی برای پیاده‌سازی USM هستند. مزیت فیلترهای بالاگذر، افزایش وضوح مرزهای بین مناطق یکنواخت است؛ اما این فیلترها سیستم‌ها را نسبت به نویز حساس کرده و معمولاً باعث مشکل تیزی بیش از اندازه8 می‌شوند که مصنوعی‌ به‌نظررسیدن تصویر را به دنبال خواهد داشت.

محققان برای کاهش حساسیت به نویز، استفاده از فیلترهای غیرخطی را پیشنهاد کردند. مرجع [3] یک فیلتر USM بهبودیافته با استفاده از فیلتر درجه دوم9 ارائه‌ کرد و [4] با جایگزینی فیلترهای غیرخطی، روش‌های USM مکعبی10 و USM گویا11 را توسعه داد. مرجع [5]، USM مبتنی بر مشتقات کسری12، همراه با فیلتر لبه‌یاب لاپلاسی را برای بهبود تصویر پیشنهاد داد. این روش با حفظ جزئیات فرکانس پایین و متوسط به افزایش وضوح در لبه‌ها پرداخته است. تنظیم پارامترهای اضافی مشتق کسری، درجه آزادی بیشتری را فراهم کرده و باعث اثربخشی بیشتر این روش شده است. از آنجا که ضریب تقویت در فیلتر USM، نقش مهمی در میزان کیفیت تصویر بهبود‌یافته دارد، گاهی به‌عنوان یک مقدار ثابت فرض شده و در برخی موارد، این ضریب با توجه به محتوای تصویر ورودی به‌صورت وفقی تعیین می‌شود. در همین راستا [6]، یک نسخه بهبودیافته بر اساس USM پویا13 را برای حل مشکل تیزی بیش از حد تصاویر ارائه داد که در آن به‌جای ضریب تقویت ثابت از ضریب تقویت وفقی با استفاده از فیلتر لبه‌یاب لاپلاسی جهت‌دار در دو جهت مختلف افقی و عمودی برای هر پیکسل استفاده شد. مرجع [7] با نگاهی متفاوت، USM هدایت‌شده با تاری را برای افزایش بهبود پیکسلی بیان کرد. در این روش، لایه‌های کلیات14 و جزئیات15 جداگانه پردازش شدند که در لایه جزئیات، اطلاعات تاری محلی16 تصویر با استفاده از الگوریتم 17JNBE برای هر پیکسل به‌دست ‌آمد و از نقشه تاری تصویر حاصل به‌طور تطبیقی به‌عنوان ضریبی از اجزای فرکانس بالای تصویر بهره برد.

مزیت استفاده از فیلترهای پایین‌گذر، تضعیف نویز است؛ لیکن تاری تصویر یکی از مشکلات این فیلترها می‌باشد. متداول‌ترین روش در پیاده‌سازی فیلتر USM، استفاده از فیلتر پایین‌گذر گوسی 18(GUM) است. استفاده از روش GUM در سال‌های اخیر با اهداف خاص انجام شده است. مرجع [8] یک الگوریتم افزایش وضوح خودکار متناسب با محتوا 
را بر اساس فیلتر GUM ایجاد کرده که بر طول خطوط استخراج‌شده 
از تصویر متکی است. مرجع [9] با استفاده از معیارهای ارزیابی کیفیت تصویر و نتایج آزمایش‌های ذهنی19 به تعیین خودکار میزان وضوح بهینه پرداخت. این روش با تعریف تابع هدف بر اساس تصویر بهبودیافته و حل آن با مسأله بهینه‌سازی، ضریب تقویت تصویر را تخمین زد. مرجع [10] با روشی متفاوت به افزایش وضوح تصویر با استفاده از روش GUM در هرم لاپلاسی پرداخت. هرم لاپلاسی برای حفظ اطلاعات لبه‌های ضعیف و GUM برای بهبود جزئیات تصویر و سرکوب نویز استفاده شده است. مرجع [11] با ارائه این موضوع که هیچ یک از روش‌های GUM موجود به حذف نویز پس‌زمینه نپرداخته‌اند، روشی ارائه داد که برخلاف روش‌های معمول، نویز فرکانس بالای پس‌زمینه تصویر را حذف کرد؛ در حالی که اطلاعات لبه حفظ شد و وضوح تصویر نیز افزایش یافت. مرجع [12] روشی جدید برای بهبود کیفیت تصاویر ورودی با ترکیب دو روش GUM و توابع بهبود تمایز20 بیان کرد. با وجود تغییر چشم‌گیر افزایش وضوح 
در این روش، متأسفانه به‌دست‌آوردن مقادیر بهینه توابع بهبود تمایز 
باعث پیچیده‌ترشدن الگوریتم شده است. از دیگر تلاش‌های انجام‌شده در این حوزه، استفاده از فیلترهای پایین‌گذر غیرخطی همانند فیلتر انتشار ‌ناهمسانگرد21، فیلتر دوطرفه22 و فیلتر هدایت‌شده23 مبتنی‌ بر USM است که علاوه بر هموارسازی مناطق یکنواخت و حفظ لبه‌ها، مانع از تقویت نویز شده است. مرجع [13] روش استفاده از فیلتر تطبیقی هدایت‌شده جهت افزایش وضوح تصویر و جلوگیری از تقویت نویز را به‌صورت هم‌زمان معرفی کرد. این روش مبتنی بر فیلتر هدایت‌شده است و با استفاده از ادغام فیلتر تطبیقی دوطرفه در فیلتر هدایت‌شده، پیاده‌سازی شد. روش فوق، لبه‌ها و بافت‌ها را بدون ایجاد آثار تصنعی و تقویت نویز بهبود داد. مرجع [14] به مطالعه استفاده از فیلتر انتشار ناهمسانگرد مبتنی بر USM با هدف کاهش آثار تصنعی در اطراف لبه‌ها که به‌صورت سایه‌های سفید هاله‌شکل ظاهر شده و باعث تخریب تصویر می‌شود، پرداخت و برتری روش خود را با دو معیار ارزیابی کیفیت تصویر نسبت به دیگر روش‌ها اثبات کرد. مرجع [15] جهت اثربخشی بیشتر در افزایش وضوح لبه‌های تصویر به‌صورت ترکیبی از دو فیلتر باترورث پایین‌گذر و فیلتر دوطرفه مبتنی بر USM استفاده کرد.

روش‌ مبتنی بر HE، یکی از روش‌های معمول و مؤثر برای بهبود وضوح تصاویر با روابط ساده ریاضی است. این روش با نگاشت تصویر تحت تابع توزیع تجمعی، باعث بهبود وضوح و روشنایی شده و تابع چگالی احتمال تقریباً یکنواختی ایجاد می‌کند. استفاده از روش HE به‌طور معمول باعث مشکلاتی همچون عدم حفظ میانگین روشنایی، افزایش وضوح بیش از حد، حذف جزئیات تصویر و غیرطبیعی‌کردن تصویر خروجی می‌شود. محققان برای حل مشکلات فوق، اصلاحات گوناگونی را ارائه کرده‌اند که ایده ‌اصلی آنها، دسته‌بندی شدت روشنایی پیکسل‌های هم‌دسته با هم است. این روش‌ها در نقطه شکستن و تعداد شکستن هیستوگرام با هم متفاوت هستند. روش‌های مبتنی بر HE دارای دو زیرکلاس متعادل‌سازی هیستوگرام معمولی 24(CHE) و متعادل‌سازی هیستوگرام ترکیبی25 هستند [16]. همچنین زیرکلاس CHE خود به متعادل‌سازی هیستوگرام سراسری [17]، متعادل‌سازی هیستوگرام دوتایی زیرتصویر [18]، متعادل‌سازی هیستوگرام چند زیرتصویر [19]، متعادل‌سازی هیستوگرام وزنی [20]، متعادل‌سازی هیستوگرام محلی [21] و متعادل‌سازی هیستوگرام ناحیه نوردهی26 [22] دسته‌بندی می‌شود.

در میان روش‌های مبتنی بر یادگیری ماشین، الگوریتم‌های یادگیری عمیق مبتنی بر شبکه‌های عصبی کانولوشنی 27(CNN) از محبوبیت زیادی برخوردارند؛ با این حال کاربرد این روش‌ها برای بهینه‌سازی پارامترهای الگوریتم‌های پردازش تصویر کم است. در [23] برای بهبود مؤثر تصاویر با وضوح کم از یادگیری عمیق استفاده شده است. در این تحقیق با الهام از USM، یک مدل جدید و ساده‌شده از فیلتر هدایت‌شونده پیشنهاد گردیده که برخلاف روش‌های معمول تنها با تخمین یک ضریب، تصویر بهبودیافته نهایی تولید می‌شود. در این شبکه، افزایش وضوح، حفظ لبه‌ و بهبود جزئیات تصویر مورد توجه قرار گرفته و با استخراج نقشه لبه و نقشه تاری تصویر توسط دو شبکه فرعی و سپس با آموزش‌دادن شبکه، ضرایب محلی مدل تخمین زده می‌شود.

از عوامل مؤثری که می‌توان در افزایش وضوح تصویر به کار گرفت، مکانیزم توجه بصری28 است. سیستم بینایی انسان نیز به‌منظور کاهش حجم اطلاعات مورد نیاز برای پردازش در مغز از این مکانیزم استفاده می‌کند تا توسط آن، فقط بخش کوچک‌تری از داده‌های ورودی که از اهمیت حیاتی و کاربردی بیشتری برخوردارند، انتخاب شده و سایر داده‌ها دور ریخته و یا کمتر مورد پردازش قرار گیرند. در واقع، هنگام تماشای  

[1] این مقاله در تاریخ 22 بهمن ماه 1380 دریافت و در تاریخ 4 بهمن ماه 1401 بازنگری شد.

مینا وفایی جهان، گروه مخابرات، دانشکده مهندسی برق، دانشگاه فردوسی مشهد، مشهد، ایران، (email: mina.vafaeijahan91@mail.um.ac.ir).

عباس ابراهیمی مقدم (نویسنده مسئول)، گروه مخابرات، دانشکده مهندسی برق، دانشگاه فردوسی مشهد، مشهد، ایران، (email: a.ebrahimi@mail.um.ac.ir).

مرتضی خادمی درح، گروه مخابرات، دانشکده مهندسی برق، دانشگاه فردوسی مشهد، مشهد، ایران، (email: khademi@mail.um.ac.ir).

[2] . Human Visual System

[3] . Acutance

[4] . Restoration

[5] . Unsharp Mask

[6] . Histogram Equalization Based Methods

[7] . Learning Based Methods

[8] . Over Sharping

[9] . Quadratic

[10] . Cubic

[11] . Rational

[12] . Fractional Derivative

[13] . Dynamic

[14] . Base Layer

[15] . Detail Layer

[16] . Local Blur Information

[17] . Just Noticeable Blur Estimation

[18] . Gaussian Unsharp Mask

[19] . Subjective

[20] . Contrast Enhancement Function

[21] . Anisotropic Diffusion Filter

[22] . Bilateral Filter

[23] . Guided Filter

[24] . Conventional HE

[25] . Hybrid HE

[26] . Exposure Region HE

[27] . Convolution Neural Network

[28] . Visual Attention

img0 

شکل 1:  دیاگرام جعبه‌ای روش پیشنهادی.

 

 

img0 

شکل 2:  مدل لبه.

 

یک تصویر، مکانیزم توجه بصری باعث می‌شود تنها به بخش کوچکی از تصویر توجه گردد و جزئیات در بخش‌های دیگر تصویر مورد توجه قرار نگیرد. طی سالیان گذشته به‌دلیل اهمیت و کاربرد توجه بصری، یافتن مدل محاسباتی برای آن یکی از موضوعات مهم تحقیقاتی بوده که نظرات فراوانی را به خود جلب کرده و چندین مدل محاسباتی برای آن ارائه شده است [24] تا [27]. مدل‌های محاسباتی ارائه‌شده با تولید یک نقشه موسوم به نقشه برجستگی، نقاط برجسته تصویر را که به‌دلیل دارابودن مشخصه‌های خاصی، باعث تمایز از مناطق اطراف و جلب توجه می‌شود، تعیین می‌کند. امروزه دقت به عملکرد HVS و الگوگیری از 
آن در توسعه روش‌های پرکاربرد پردازش تصویر همچون بهبود تصویر و بهره‌مندی از آن در صنعت عکاسی ضروری است. ماشین نیز شبیه انسان می‌تواند برای افزایش وضوح تصویر از توجه بصری استفاده نماید.

در این مقاله با درنظرگرفتن مطالب ذکرشده، روش پیشنهادی جدیدی با هدف افزایش وضوح تصویر تحت نقشه برجستگی بصری ارائه شده است. این روش برخلاف روش‌های یادشده برای افزایش بهبود کیفیت تصویر به افزایش وضوح در لبه‌های تصویر با توجه به نقشه برجستگی بصری پرداخته است.

در بخش دوم مقاله به ارائه روش پیشنهادی می‌پردازیم. ارزیابی عملکرد این روش در بخش سوم آمده است و در نهایت بخش چهارم 
به جمع‌بندی مطالب گفته‌شده می‌پردازد و خلاصه‌ای از نوآوری‌های پیشنهادی را ارائه می‌کند.

2-       روش‌ پیشنهادی

روش پیشنهادی این مقاله با هدف افزایش وضوح تصویر با لحاظ‌کردن برجستگی بصری طراحی شده است. شکل 1 فرایند کلی این روش را نشان می‌دهد. به‌منظور دستیابی به هدف مورد نظر، یک تابع غیرخطی از رابطه بین نقشه مؤلفه‌های فرکانس بالای تصویر (نقشه لبه) و برجستگی بصری پیشنهاد شده است؛ به‌طوری که تعیین پارامترهای این تابع در قالب یک مسأله بهینه‌سازی، منجر به یافتن مقدار وضوح بهینه تصویر به‌طور خودکار می‌شود.‌ در ادامه هر بخش از این شکل تشریح می‌شود.

2-1 استخراج لبه

در این تحقیق از روش GUM [28] برای استخراج لبه استفاده شده که با وجود پارامترهای مشخص، قابلیت تنظیم مناسبی دارد. نقشه لبه 1(EM) مطابق (1) و شکل 2 به‌صورت زیر به‌دست می‌آید

img0        (1)

اعمال فیلتر هموارساز گوسی به تصویر ورودی منجر به تاری آن می‌شود و با کم‌کردن خروجی این فیلتر از تصویر ورودی، نقشه مؤلفه‌های فرکانس بالای تصویر (نقشه لبه) به‌دست می‌آید. در (1)، img0 پاسخ ضربه فیلتر هموارساز گوسی است که به‌صورت زیر تعریف می‌شود

img0        (2)

2-2 تولید نقشه برجستگی بصری

برای تولید نقشه برجستگی 2(SM) در روش پیشنهادی، دو رویکرد متفاوت قابل اجراست: استفاده از یک پایگاه داده تصاویر همانند [29] که نقشه برجستگی آنها‌ توسط ردیابی چشم به‌دست آمده یا استفاده از یک مدل‌ محاسباتی همانند مدل‌های ارائه‌شده در [24] تا [27]. تنها مزیت استفاده از رویکرد اول، به‌دست‌آوردن مقدار واقعی برجستگی بصری تصاویر است. با توجه به نتایج ارائه‌شده در [24]، ما از مدل محاسباتی مشهور HFT برای تولید نقشه برجستگی در روش پیشنهادی استفاده کردیم. نقشه برجستگی در این مدل بر پایه خصوصیات تصویر ورودی (تمایز در شدت روشنایی یا رنگ) است. در واقع، مدل HFT با هموارکردن دامنه تبديل فوريه چهارگانه تصویر ورودی تحت فیلترهای گوسی با ابعاد مختلف و سپس گرفتن عکس تبدیل فوریه، به محاسبه نقشه برجستگی با آنتروپی کمتر (ناحيه برجسته متمرکزتر) می‌پردازد.

2-3 ادغام نقشه لبه و نقشه برجستگی

همان طور که در شکل 1 مشاهده می‌شود، img0 با ادغام نقشه لبه img0 و نقشه برجستگی img0 ورودی که در بالا توصیف گردید به‌دست می‌آید. این ادغام از طریق (3) تعریف می‌شود

img0        (3)

img0        (4)

که img0 ضرب پیکسلی و img0 مقدار تابع img0 در پیکسل img0 است که با ضریب img0 تعریف می‌شود. برای پرهیز از اضافه‌شدن پیچیدگی و بار محاسباتی طبق نتیجه حاصل از [30]، در اینجا از تابع غیرخطی خطا3 img0 به‌عنوان تابع img0 مطابق (4) استفاده می‌شود که تعیین پارامتر آن از طریق یک فرایند بهینه‌سازی به‌دست می‌آید. طبق (4)، img0 برجستگی نرمالیزه‌شده (تقسیم بر مقدار بیشینه img0) در پیکسل img0 از نقشه برجستگی و img0 مقدار تابع خطا در پیکسل img0 است که با یک ضریب img0 تعریف می‌شود. علت نرمالیزه‌کردن نقشه برجستگی، قراردادن مقادیر آن در محدوده img0 است.

2-4 بیشینه‌سازی تابع Q

برای داشتن تصویر img0 واضح‌تر، img0 با ضرب در img0 (ضریب تقویت) با تصویر ورودی img0 مطابق رابطه زیر جمع می‌شود

img0        (5)

که img0 نقش مهمی در کیفیت تصویر img0 دارد و مقدار نامناسب آن در برخی موارد ممکن است باعث آثار ناخواسته شدید در img0 شود.

جهت به‌دست‌آوردن img0 بهینه همراه با پارامترهای کنترلی img0 و img0، تابع img0 زیر را مطابق [9] تعریف می‌کنیم

img0        (6)

img0        (7)

img0        (8)

که در آن 4img0 معیار تشابه ساختاری است و تصویر img0 با استفاده از (5) به‌دست می‌آید. تنها تفاوت تصویر img0 با img0 در این است که بر اساس [9] برای رسیدن به تصویر img0، مقدار img0 و img0 آن (یعنی img0 و img0) تا رسیدن به واریانس 7000 با گام 5/0 افزایش می‌یابد؛ در صورتی که تصویر img0 همراه با پارامترهای کنترلی آن با بیشینه‌سازی تابع img0 حاصل می‌شود. مقدار واریانس 7000 با گام 5/0 در روش پیشنهادی ما بهترین عملکرد (بیشترین وضوح تصویر نهایی) را نشان می‌دهد.

با تعیین پارامترهای img0، img0 و img0 با توجه به نتایج [9]، مقدار آنها به ترتیب 5046/0، 0444/1 و 0092/1 می‌باشد. از آنجایی که رابطه فوق مشتق‌پذیر نبوده و تابعی چندمتغیره و غیرخطی است، برای حل مسأله بهینه‌سازی (6) از تابع fminsearch استفاده گردید. خاطرنشان می‌شود که مقادیر پارامترهای کنترلی اولیه در دو تصویر img0 و img0 به صورت پیش‌فرض، یک در نظر گرفته شده است.

2-5 تابع هیستوگرام

در این تحقیق برای پیاده‌سازی تابع هیستوگرام از نوعی متعادل‌سازی هیستوگرام تطبیقی 5(AHE) به نام متعادل‌سازی هیستوگرام تطبیقی تمایز محدود 6(CLAHE) استفاده شده است. این روش، تصویر img0 را به چند تصویر فرعی بدون هم‌پوشانی تقسیم می‌کند. در این صورت چند هیستوگرام برای یک تصویر محاسبه می‌شود که هر هیستوگرام، ناحیه مشخصی از تصویر را در بر می‌گیرد و سپس متعادل‌سازی هیستوگرام بر روی هر تصویر فرعی انجام می‌شود. این روش برای جلوگیری از افزایش تیزی بیش از اندازه در تصویر به محدودکردن وضوح با برش سطح هیستوگرام بر روی فراوانی، قبل از متعادل‌سازی هیستوگرام می‌پردازد [31]. با این کار جزئیات در تصویر به‌طور واضح نسبت به پس‌زمینه نشان داده شده و در نتیجه منجر به افزایش وضوح تصویر خروجی img0 با کیفیت بالا می‌شود.

3-       شبیه‌سازی

در این بخش، عملکرد روش‌ پیشنهادی با پنج روش دیگر با توجه 
به معیار ارزیابی ذهنی 7AFC2 و عینی8 img0 و img0 [32] مقایسه می‌شود. روش‌های مورد مقایسه عبارتند از AUSM [9]، GUSM [33]، NOUSM [34]، HE [35] و MMSICHE [36].

شکل 3، مجموعه‌ای از داده‌های ورودی را که شامل 10 تصویر رنگی با سایز img0 است، نشان می‌دهد که این تصاویر از بانک داده کداک9 گرفته شده است. 1B تصویری با مناطق برجسته متوسط، 2B 
تا 5B تصاویری با مناطق برجسته کوچک و 6B تا 10B تصاویری با مناطق برجسته بزرگ هستند. همه آزمایش‌ها روی سیستمی با مشخصات img0 انجام شده است.

جدول 1، نتایج ارزیابی ذهنی روش پیشنهادی را در مقایسه با دیگر روش‌های رقیب نشان می‌دهد. ارزیابی مطابق روش AFC2 است. طبق این روش ارزیابی، حداقل از 19 شرکت‌کننده که دارای بینایی سالم بودند، خواسته شد جفت تصاویر نشان‌داده‌شده را (دو تصویر کنار هم با فاصله عمودی و افقی یکسان بر روی یک پس‌زمینه نیمه‌خاکستری) به مدت 5 ثانیه مشاهده و در طول بازه زمانی 5 ثانیه دوم تصویر با کیفیت بهتر را، صرف نظر از میزان اطمینان از تصمیم خود، در پاسخ‌نامه ثبت کنند. شرکت‌کنندگان در مورد نحوه قرارگیری تصاویر اطلاعی نداشتند. در این آزمایش از صفحه نمایش 6/15 اینچ با رزولوشن img0 استفاده گردید. سطح روشنایی صفحه نمایش 50 درصد، روشنایی اتاق در حدود 235-250 لوکس و فاصله بین صفحه نمایش و شرکت‌کنندگان 50 سانتی‌متر تنظیم گردید. قبل از شروع آزمایش به هر شرکت‌کننده نحوه انجام آزمایش توضیح داده شد و مدت زمان تقریبی هر آزمایش برای هر شرکت‌کننده حدود 5 دقیقه بود.

برای نشان‌دادن اهمیت آماری نتایج حاصل از ارزیابی ذهنی انجام‌شده، از آزمون img0 استفاده شد که خروجی آن معروف به مقدار img010 است. فرض صفر در این آزمون آن است که هیچ اختلافی بین دو تصویر (یعنی تصویر پیشنهادی و تصویر رقیب) وجود ندارد و تعداد آرای دو روش برابر است. به عبارت دیگر فرض می‌شود که اگر فرض صفر صحیح باشد نیمی از شرکت‌کنندگان به تصویر رقیب و نیمی دیگر به تصویر حاصل از مدل 

[1] . Edge Map

[2] . Saliency Map

[3] . Error Function

[4] . Structural Similarity Index

[5] . Adaptive Histogram Equalization

[6] . Contrast Limited Adaptive Histogram Equalization

[7] . Two-Alternative Forced Choice Process

[8] . Objective

[9] . http://r0k.us/graphics/kodak/

[10] . P-Value

img0   img0   img0   img0   img0

 

                   (1B) (2B)  (3B)                     (4B)  (5B)

 

img0   img0   img0   img0   img0

 

                   (6B)  (7B)  (8B)  (9B)  (10B)

شکل 3:  مجموعه تصاویر انتخابی.

 

جدول 1: مقایسه روش پیشنهادی توسط ارزیابی ذهنی با روش‌های AUSM [9]، GUSM [33]، NOUSM [34]، HE [35] و MMSICHE [36].

 

10B

9B

8B

7B

6B

5B

4B

3B

2B

1B

 

7:12

2/0

5:14

03/0

9:10

8/0

9:10

8/0

14:5

03/0

14:5

03/0

19:0

0~

12:7

2/0

12:7

2/0

14:5

03/0

AUSM: Proposed

P-value

9:10

8/0

12:7

2/0

12:7

2/0

10:9

8/0

10:9

8/0

16:3

0~

16:3

0~

10:9

8/0

14:5

03/0

14:5

03/0

GUSM: Proposed

P-value

10:9

8/0

10:9

8/0

10:9

8/0

9:10

8/0

10:9

8/0

14:5

03/0

16:3

0~

9:10

8/0

16:3

0~

10:9

8/0

NOUSM: Proposed

P-value

0:19

0~

3:16

0~

16:3

0~

3:16

0~

3:16

0~

10:9

8/0

9:10

8/0

9:10

8/0

12:7

2/0

9:10

8/0

HE: Proposed

P-value

3:16

0~

0:19

0~

3:16

0~

3:16

0~

5:14

03/0

10:9

8/0

14:5

03/0

10:9

8/0

10:9

8/0

5:14

03/0

MMSICHE: Proposed

P-value

 

جدول 2: مقایسه روش پیشنهادی توسط معیار IE با روش‌های AUSM [9]، GUSM [33]، NOUSM [34]، HE [35] و MMSICHE [36].

 

10B

9B

8B

7B

6B

5B

4B

3B

2B

1B

 

6/6

56/7

96/6

06/7

05/7

33/7

42/7

67/7

52/7

39/7

AUSM

81/5

61/7

54/6

94/6

48/6

38/7

62/7

69/7

74/7

47/7

GUSM

46/6

58/7

96/6

04/7

04/7

39/7

49/7

68/7

63/7

4/7

NOUSM

62/5

97/5

91/5

9/5

9/5

97/5

97/5

98/5

97/5

94/5

HE

36/6

44/7

71/6

75/6

96/6

42/7

53/7

51/7

51/7

4/7

MMSICHE

53/7

71/7

59/7

44/7

6/7

65/7

76/7

66/7

82/7

42/7

Proposed

 

 

پیشنهادی رأی داده‌اند. به‌عنوان یک قاعده کلی وقتی img0 است،فرض صفر اولیه رد می‌شود و این بدان معنی است که تصویر پیشنهادی، تعداد قابل توجهی از آرا را در مقایسه با تصویر دیگر به‌دست آورده و در نتیجه دارای کیفیت بهتری است. اگر img0 بیشتر از 05/0 باشد، روشی که بیشترین آرا را کسب کرده به‌طور قطع از عملکرد بهتری در مقایسه با روش دیگر برخوردار است. همان طور که در جدول ۱ نشان داده شده، مقدار img0 در مقایسه بین روش پیشنهادی و روش‌های رقیب AUSM، HE و MMSICHE مورد قبول بوده و در روش NOUSM با اختلاف انتخاب تنها یک تصویر نسبت به روش پیشنهادی در تصاویر 1B، 6B، 8B تا 10B برتری روش NOUSM مشخص گردیده است. نتیجه حاصل‌شده بیانگر این موضوع است که تأثیر توجه بصری در افزایش وضوح تصویر نقش داشته که روش NOUSM نسبت به روش پیشنهادی تنها در انتخاب یک تصویر برتری خود را نشان می‌دهد. در روش GUSM نیز به این نکته در تصاویر 3B، 6B و 7B می‌توان اشاره کرد.

جدول 2، مقایسه‌ای را از روش پیشنهادی با روش‌های رقیب بر اساس معیار img0 مطابق (9) نشان می‌دهد

img0        (9)

img0 معیاری جهت اندازه‌گیری میزان اطلاعات تصویر است که به‌صورت گسترده برای ارزیابی تصویر مورد استفاده قرار می‌گیرد. در این نوع ارزیابی، هرچه مقدار آنتروپی تصویر بهبودیافته بیشتر باشد تصویر 
حاوی اطلاعات و جزئیات بیشتر است. در جدول 2، مقادیر برای 10 تصویر

img0 

(الف)

img0 

(ب)

 

شکل 4:  مقایسه روش پیشنهادی توسط معیارهای ارزیابی عینی با روش‌های AUSM [9]، GUSM [33]، NOUSM [34]، HE [35] و MMSICHE [36]، (الف) IE و (ب) SSIM.

 

جدول 3: مقایسه روش پیشنهادی توسط معیار SSIM با روش‌های AUSM [9]، GUSM [33]، NOUSM [34]، HE [35] و MMSICHE [36].

 

10B

9B

8B

7B

6B

5B

4B

3B

2B

1B

 

95/0

89/0

96/0

99/0

95/0

9/0

99/0

97/0

98/0

95/0

AUSM

85/0

93/0

82/0

89/0

86/0

87/0

92/0

92/0

86/0

94/0

GUSM

95/0

89/0

96/0

96/0

95/0

93/0

96/0

97/0

9/0

95/0

NOUSM

2/0

55/0

29/0

31/0

31/0

43/0

2/0

35/0

62/0

34/0

HE

92/0

91/0

91/0

9/0

9/0

9/0

91/0

92/0

83/0

89/0

MMSICHE

93/0

97/0

97/0

97/0

97/0

95/0

96/0

98/0

92/0

98/0

Proposed

 

جدول 4: مقایسه میانگین مدت زمان اجرای روش پیشنهادی با روش‌های AUSM [9]، GUSM [33]، NOUSM [34]، HE [35] و MMSICHE [36] روی 10 تصویر بر حسب ثانیه.

 

Proposed

MMSICHE

HE

NOUSM

GUSM

AUSM

 

46/4

37/2

01/2

84/2

61/3

9/12

Average

 

 

جدول 5: مقایسه میانگین مقادیر PSNR و SSIM روش پیشنهادی 
با img0 مختلف روی 10 تصویر.

 

4/1

1

6/0

img0 

6/17

68/17

10/18

PSNR

7884/0

7835/0

7921/0

SSIM

 

(شکل 3) محاسبه  شد  و  با  توجه  به  آن، مقدار  میانگین  معیار img0 در روش پیشنهادی بیشتر از روش‌های دیگر است که نشان‌دهنده حفظ بیشتر اطلاعات تصویر در روش پیشنهادی نسبت به روش‌های دیگر می‌باشد. طبق (9)، img0 احتمال شدت روشنایی img0ام در تصویر است.

جدول 3، مقایسه‌ای از مقادیر img0 روش پیشنهادی و روش‌های‌ رقیب را توسط رابطه زیر نشان می‌دهد

img0        (10)

معیار img0 نسبت به معیارهای عینی دیگر، مشابهت بیشتری با معیارهای ذهنی دارد. این معیار بر اساس سه ویژگی روشنایی، کنتراست و ساختار (مقایسه ساختار دو تصویر بر اساس همبستگی آنها)، تصویر ورودی و تصویر بهبودیافته را با هم مقایسه می‌کند [35]. طبق (10)، img0 و img0 به‌ترتیب  میانگین  و  واریانس  تصویر  ورودی  و img0 

کواریانس بین دو تصویر ورودی و بهبودیافته و img0 و img0 مقادیر ثابت هستند. هرچه مقدار img0 به عدد یک نزدیک‌تر باشد، شباهت دو تصویر به هم بیشتر است. با توجه به این جدول، مقدار میانگین img0 در روش پیشنهادی بیشتر از روش‌های دیگر است که نشان‌دهنده افزایش کیفیت تصویر می‌باشد.

جدول 4، مقایسه‌ای از میانگین مدت زمان اجرا روی کل 10 تصویر را برای روش پیشنهادی و روش‌های رقیب نشان می‌دهد. علی‌رغم عملکرد خوب روش پیشنهادی در افزایش وضوح، بیشترین زمان اجرا نیز متعلق به آن می‌باشد. استفاده از نقشه برجستگی و ادغام آن با نقشه لبه باعث افزایش زمان اجرای الگوریتم پیشنهادی شده است.

جدول 5، تأثیر مقدار img0 بر میانگین img0 و img0 را در 10 تصویر مورد آزمایش نشان می‌دهد. مطابق (1)، نقشه لبه به مقدار img0 در تابع img0 وابسته است. از آنجایی که این پارامتر در داشتن نقشه لبه با جزئیات بیشتر تأثیرگذار می‌باشد، مقادیر مختلف img0 بر روی 10 تصویر اعمال، میانگین img0 و img0 محاسبه و نتایج در جدول 5 درج شده است. ارزیابی img0، رایج‌ترین معیار در بررسی کیفیت تصویر محسوب می‌شود. معیار img0 مطابق رابطه زیر به‌دست می‌آید

img0        (11)

img0        (12)

بر طبق (11)، img0 تصویر مرجع می‌باشد و واضح است که هرچه این معیار بزرگ‌تر باشد، نویز موجود در سیگنال نسبت به سیگنال اصلی کمتر است [37]. مطابق جدول 5، روش پیشنهادی با مقدار img0 از نظر حفظ سیگنال در برابر نویز در مقایسه با مقادیر دیگر img0 عملکرد بهتری دارد و قادر به حفظ اطلاعات تصویر بر اساس دو معیار img0 و img0 می‌باشد.

 

img0    img0    img0

 

                                           (الف)  (ب)  (ج)

 

img0    img0    img0

 

                                             (د)  (ﻫ)  (و)

 

img0    img0    img0

 

                                             (ز)  (ح)  (ط)

شکل 5:  مقایسه مراحل روش پیشنهادی با روش‌های AUSM [9]، GUSM [33]، NOUSM [34]، HE [35] و MMSICHE [36] به‌صورت نمونه بر روی تصویر انتخابی 7B، (الف) تصویر ورودی، (ب) نقشه برجستگی، (ج) نقشه لبه، (د) Proposed، (ﻫ) AUSM، (و) GUSM، (ز) NOUSM، (ح) HE و (ط) MMSICHE.

 

 

شکل 4، روش پیشنهادی را با پنج روش رقیب بر اساس دو معیار img0 و img0 و برای هر 10 تصویر مقایسه می‌کند. در همه 10 تصویر،روش پیشنهادی عملکرد بهتری را در مقایسه با روش‌های رقیب نشان می‏دهد. افزایش وضوح در نقاط برجسته تصویر و اعمال تابع هیستوگرام باعث این برتری شده است. با معیار img0، روش HE، دچار اشباع در روشنایی شده و ظاهر طبیعی تصویر را مخدوش کرده است. روش MMSICHE از نظر میانگین روشنایی و میانگین محتوای اطلاعات (آنتروپی) بهتر از روش‌ HE عمل می‌کند. روش GUSM با اعمال فیلتری همانند فیلتر هدایت‌شده، عملیات تیزسازی لبه و صاف‌کردن مناطق یکنواخت را به‌طور هم‌زمان انجام می‌دهد. این روش در نمایش جزئیات تصاویر با برجستگی بزرگ خوب عمل نکرده و دچار افزایش بیش از اندازه وضوح شده و بنابراین تصاویری غیرطبیعی‌ تولید می‌کند. روش NOUSM در نمایش جزئیات و روش AUSM در حفظ ساختار تصویر، عملکرد بهتری نشان داده‌اند و در نتیجه تصاویری طبیعی‌تر تولید کرده‌اند.

در شکل 5، روش پیشنهادی با 5 روش‌ دیگر (روی تصویر 7B) مقایسه می‌شود. همچنین در مورد روش پیشنهادی، نقشه برجستگی (با روش HFT) و نقشه لبه (با روش GUM) نیز ارائه شده است.

شکل 6، نتایج مقایسه خروجی روش پیشنهادی را با پنج روش رقیب بر روی 3 تصویر دیگر (2B، 5B و 9B) نشان می‌دهد. همان طور که ملاحظه می‌کنید روش پیشنهادی از دید بیننده، عملکرد بهتری دارد.

4-       نتیجه‌گیری

ابتدا در این مقاله به مفهوم وضوح تصویر پرداختیم و بیان کردیم که علی‌رغم پژوهش‌های فراوانی که در زمینه افزایش وضوح تصویر انجام شده‌ است، هیچ یک از آنها اثر برجستگی بصری را در تعیین میزان وضوح بهینه در نظر نگرفته‌اند. از آنجایی که اثر برجستگی بصری منجر به افزایش حساسیت بصری به آن نواحی نسبت به سایر نواحی غیربرجسته تصویر می‌شود بر آن شدیم تا با درنظرگرفتن مکانیزم برجستگی بصری، مدل بهبودیافته‌ای برای تعیین میزان وضوح بهینه تصاویر به‌دست آوریم. در مدل پیشنهادی، اعمال فیلتر هموارساز گوسی به تصویر ورودی منجر به تاری آن می‌شود. با کم‌کردن خروجی این فیلتر از تصویر ورودی، نقشه مؤلفه‌های فرکانس بالای تصویر (نقشه لبه) به‌دست می‌آید. با به‌کارگیری 

img0    img0    img0

 

                                               (الف)  (ب)  (ج)

 

img0    img0    img0

 

                                                (د)  (ﻫ)  (و)

 

img0    img0    img0

 

                                               (الف)  (ب)  (ج)

 

img0    img0    img0

 

                                                (د)  (ﻫ)  (و)

 

img0    img0    img0

 

                                               (الف)  (ب)  (ج)

 

img0    img0    img0

 

                                                (د)  (ﻫ)  (و)

شکل 6:  مقایسه روش پیشنهادی با روش‌های AUSM [9]، GUSM [33]، NOUSM [34]، HE [35] و MMSICHE [36] بر روی تصاویر 2B، 5B و 9B، (الف) Proposed، (ب) AUSM، (ج) GUSM، (د) NOUSM، (ﻫ) HE و (و) MMSICHE.

 

 

یک تابع غیرخطی، میزان وضوح بهینه تصویر را با توجه به برجستگی بصری به‌دست آوردیم. تعیین پارامترهای تابع غیرخطی را در قالب یک مسأله بهینه‌سازی مدل‌سازی کردیم. همان طور که نتایج شبیه‌سازی نشان می‌دهند کیفیت بصری تصویر روش پیشنهادی نسبت به روش‌ رقیب عملکرد خوبی دارد. نتایح آزمایش‌های کمّی نیز این بهبود را نشان می‌دهند. استفاده از فیلترهای غیرخطی پایین‌گذر در تولید نقشه لبه در ادامه این تحقیق پیشنهاد می‌شود.

مراجع

[1]       Tutorials:Sharpness.http://www.cambridgeincolour.com/tutorials/sharpness.htm. [Online] (visited on June 11, 2016).

[2]       M. Reichmann, Understanding sharpness, https://luminous landscape.com/rediscover-understanding-sharpness/.[Online] (visited on June 27. 2018).

[3]       N. Strobel and S. K. Mitra, "Quadratic filters for image contrast enhancement," in Proc. of 28th Asilomar Conf. on Signals, Systems and Computers, vol. 1, pp. 208-212, Pacific Grove, CA, USA, 31 Oct-Nov. 1994.

[4]       C. Yin, Y. Zhou, S. Agaian, and C. L. Philip Chen, "Parametric rational unsharp masking for image enhancement," SPIE 9019, Image Processing: Algorithms and Systems XII, vol. 90190, 8 pp., Feb. 2014.

[5]       K. Kaur, N. Jindal, and K. Singh, "Fractional derivative based unsharp masking approach for enhancement of digital images," Multimedia Tools and Applications, vol. 80, pp. 3645-3679, Aug. 2021.

[6]       A. Polesel, G. Ramponi, and V. J. Mathews, "Image enhancement via adaptive unsharp masking," IEEE Trans. on Image Processing, vol. 9, no. 3, pp. 505-510, Mar. 2000.

[7]       W. Ye and K. K. Ma, "Blurriness-guided unsharp masking,"
IEEE Trans. on Image Processing, vol. 27, no. 9, pp. 4465-4477, Jan. 2018.

[8]       T. Kobayashi and J. Tajima, "Content-adaptive automatic image sharpening," in Proc. 20th Int. Conf. on Pattern Recognition, pp. 2214-2217, Istanbul, Turkey, 23-26 Aug. 2010.

[9]       L. Krasula, P. L. Callet, K. Fliegel, and M. Klíma, "Quality assessment of sharpened images: challenges, methodology, and objective metrics," IEEE Trans. on Image Processing, vol. 26, no. 3, pp. 1496-1508, Mar. 2017.

[10]       X. Duan, et al., "A multiscale contrast enhancement for mammogram using dynamic unsharp masking in laplacian pyramid," IEEE Trans. on Radiation and Plasma Medical Sciences, vol. 3,
no. 5, pp. 557-564, Sep. 2019.

[11]       B. J. Borah and C. K. Sun, "A GPU-accelerated modified unsharp-masking method for high-frequency background-noise suppression," IEEE Access, vol. 9, pp. 68746-68757, 2021.

[12]       I. Draganov and V. Gancheva, "Unsharp masking with local adaptive contrast enhancement of medical images," In Su, R., Zhang, YD., Liu, H. (eds) Proc. of 2021 Int. Conf. on Medical Imaging and Computer-Aided Diagnosis, Lecture Notes in Electrical Engineering, Springer, Singapore, vol. 784, pp. 354-363, Jan. 2021.

[13]       C. C. Pham and J. W. Jeon, "Efficient image sharpening and denoising using adaptive guided image filtering," IET Image Processing, vol. 9, no. 1, pp. 71-79, Jan. 2014.

[14]       R. R. Kumar, A. Kumar, and S. Srivastava, "Anisotropic diffusion based unsharp masking and crispening for denoising and enhancement of MRI images," in Proc. Int. Conf. on Emerging Frontiers in Electrical and Electronic Technologies, ICEFEET'20, 6 pp., Patna, India, 10-11Jul. 2020.

[15]       Z. Alameen, A. Muttar, and G. Albadrani, "Improving the sharpness of digital image using an amended unsharp mask filter," International J. of Image, Graphics and Signal Processing, vol. 11, no. 3, pp. 1-9, Mar. 2019.

[16]       S. H. Majeed and N. A. M. Isa, "Adaptive entropy index histogram equalization for poor contrast images," IEEE Access, vol. 9, pp. 6402-6437, 2021.

[17]       R. C. Gonzalez and R. E. Woods, Digital Image Processing Using MATLAB, 2nd Ed. New Delhi India: Pearson, 2004.

[18]       Y. T. Kim, "Contrast enhancement using brightness preserving
bi-histogram equalization," IEEE Trans. on Consumer Electronics, vol. 43, no. 1, pp. 1-8, Feb. 1997.

[19]       S. D. Chen and A. R. Ramli, "Contrast enhancement using recursive meanseparate histogram equalization for scalable brightness preservation," IEEE Trans. Consum. Electron., vol. 49, no. 4, pp. 1301-1309, Nov. 2003.

[20]       Q. Wang and R. Ward, "Fast image/video contrast enhancement based on weighted thresholded histogram equalization," IEEE Trans. Consum. Electron., vol. 53, no. 2, pp. 757-764, Jun. 2007.

[21]       J. Y. Kim, L. S. Kim, and S. H. Hwang, "An advanced contrast enhancement using partially overlapped sub-block histogram equalization," IEEE Trans. Circuits Syst. Video Technol., vol. 11,
no. 4, pp. 475-484, Apr. 2001.

[22]       S. F. Tan and N. A. M. Isa, "Exposure based multi-histogram equalization contrast enhancement for non-uniform illumination images," IEEE Access, vol. 7, pp. 70842-70861, 2019.

[23]       Z. Shi, Y. Chen, E. Gavves, P. Mettes, and C. G. M. Snoek, "Unsharp mask guided filtering," IEEE Trans. on Image Processing, vol. 30, pp. 7472-74852021.

[24]       J. Li, M. D. Levine, X. An, X. Xu, and H. He, "Visual saliency based on scale-space analysis in the frequency domain," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 35, no. 4, pp. 996-1010, Nov. 2013.

[25]       L. Itti, C. Koch, and E. Niebur, "A model of saliency-based visual attention for rapid scene analysis," IEEE Trans. Pattern Anal. Mach. Intell., vol. 20, no. 11, pp. 1254-1259, Nov. 1998.

[26]       L. Itti and C. Koch, "A saliency-based search mechanism for overt and covert shifts of visual attention," IEEE Trans. Image Process, vol. 13, no. 10, pp. 1304-1318, Jan. 2004.

[27]       A. Borji, M. M. Cheng, H. Jiang, and J. Li, "Salient object detection: a benchmark," IEEE Trans. on Image Process, vol. 24, no. 12, pp. 5706-5722, Jan. 2015.

[28]       B. Zhang, J. P. Allebach, and Z. Pizlo, "An investigation of perceived sharpness and sharpness metrics," Proc. SPIE, Image Quality and System Performance II, vol. 5668, pp. 98-110, Jan. 2005.

[29]       T. Judd, K. Ehinger, F. Durand, and A. Torralba, "Learning to predict where humans look," in Proc. IEEE 12th Int. Conf. on Computer Vision, pp. 2106-2113, Kyoto, Japan, 29 Sept.-2 Oct. 2009.

[30]       ف. نعمتی خلیل‌آباد، ﻫ. هادی‌زاده، ع. ابراهیمی‌مقدم و م. خادمی درح، "تخمین کمترین تفاوت قابل درک با استفاده از برجستگی بصری در تصاویر،" فصل‌نامه پردازش علائم و داده‌ها، جلد 17، شماره 2، صص. 71-84، 1399.

[31]       K. Zuiderveld, Contrast Limited Adaptive Histogram Equalization, Chapter VIII.5, Graphics Gems IV. P. S. Heckbert (Eds.), Cambridge, MA, Academic Press, Feb. 1994.

[32]       Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, "Image quality assessment: from error visibility to structural similarity," IEEE Trans. on Image Processing, vol. 13, no. 4, pp. 600-612, Apr. 2004.

[33]       G. Deng, F. Galetto, M. Alnasrawi, and W. Waheed, "A guided edge-aware smoothing-sharpening filter based on patch interpolation model and generalized gamma distribution," IEEE Open J. of Signal Processing, vol. 2, pp. 119-135, Mar. 2021.

[34]       D. Ngo, S. Lee, and B. Kang, "Nonlinear unsharp masking algorithm," in Proc. Int. Conf. on Electronics, Information, and Communication, ICEIC'20, 6 pp., Barcelona, Spain, 19-22 Jan. 2020.

[35]       R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th Ed. New York, NY: Pearson, pp. 138-140, 2018.

[36]       K. Singh and R. Kapoor, "Image enhancement via median-mean based sub-image-clipped histogram equalization," Optik-International J. for Light and Electron Optics. vol. 125, no. 17, pp. 4646-4651, Sept. 2014.

[37]       T. Judd, K. Ehinger, F. Durand, and A. Torralba, "Learning to predict where humans look," in Proc.IEEE 12th Int. Conf. on Computer Vision, pp. 2106-2113, Kyoto, Japan, 29 Sept.-
2 Oct. 2009.

 

مینا وفایی جهان دانشجوی کارشناسی ارشد دانشگاه فردوسی مشهد است. وی مدرک کارشناسی خود را در رشته برق، گرایش مخابرات در سال 95 دریافت کرد. علایق پژوهشی ایشان پردازش سیگنال، بینایی و یادگیری ماشین است.

 

عباس ابراهیمی مقدم مدرک کارشناسی برق، گرایش الکترونیک خود را از دانشگاه صنعتی شریف در سال 1370 و مدرک کارشناسی ارشد را از دانشگاه صنعتی خواجه نصیر در سال 1374 اخذ کرده است. وی مدرک دکتری خود را از دانشگاه McMaster کانادا دریافت نموده و از سال 1390 به‌عنوان استادیار در دانشگاه فردوسی مشهد فعالیت علمی می‌کند. زمینه‌های پژوهشی مورد علاقه وی پردازش گفتار، پردازش تصویر و ویدئو، بینایی ماشین و پردازش سیگنال‌های حیاتی است.

 

مرتضی خادمی درح تحصیلات خود را در مقاطع کارشناسی و کارشناسی ارشد مهندسی برق به‌ترتیب در سال‌های 1364 و 1366 در دانشگاه صنعتی اصفهان به پایان رسانده است. نام‌برده سال 1366 تا 1370 به‌عنوان عضو هیأت علمی (مربی) در دانشگاه فردوسی مشهد به کار مشغول بود. پس از آن به دوره دکترای مهندسی برق در دانشگاه ولونگونگ استرالیا وارد شده و در سال 1374 موفق به اخذ درجه دکتری در مهندسی برق از دانشگاه یادشده گردید. دکتر خادمی از سال 1374 دوباره در دانشگاه فردوسی مشهد مشغول به فعالیت شد و اینک نیز استاد این دانشکده است. زمینه‌های علمی مورد علاقه وی شامل موضوعاتی مانند مخابرات ویدئویی، فشرده‌سازی ویدئو، پردازش تصویر، پردازش سیگنال‌های پزشکی و پنهان‌سازی اطلاعات در ویدئو است.

 

 

 

 


رایمگ

يقوم نظام رایمگ بتنفيذ جميع عمليات الاستلام والتقييم والحكم والتحرير وتخطيط الصفحة والنشر الإلكتروني للمجلات العلمية.

الروابط

المراكز ذات الصلة

دعامة

الصفحات الرسمية

حقوق هذا الموقع الإلكتروني مملوكة لنظام Rimag Press Management. © 1438-1446

الصفحة الرئيسية| دخول| عنا| اتصل بنا|
[English] [فارسی] [en] [fa]