کد مقاله : 1401043138601 بازدید : 1746 صفحه: 183 - 192

نوع مقاله: پژوهشی

افزایش وضوح تصویر با استفاده از برجستگی بصری

محورهای موضوعی : مهندسی برق و کامپیوتر

مینا وفایی جهان ¹ , عباس ابراهیمی مقدم ² , مرتضی خادمی ³

1 - دانشکده مهندسی برق، دانشگاه فردوسی مشهد
2 - دانشکده مهندسی برق، دانشگاه فردوسی مشهد
3 - دانشکده مهندسی برق، دانشگاه فردوسی مشهد

تاریخ دریافت : 1401/05/07 تاریخ پذیرش : 1401/12/21 تاریخ انتشار : 1402/12/01

کلید واژه: افزایش وضوح در لبه‌ها, برجستگی بصری (VS) , توجه بصری (VA) ,

چکیده مقاله :

افزایش وضوح تصویر در بسیاری موارد به تقویت مؤلفه‌های فرکانس بالای آن و افزایش وضوح در لبه‌ها اطلاق می‌شود. در مدل‌های موجود افزایش وضوح فرض می‌شود که حساسیت سیستم بینایی انسان(HVS) در تمام صحنه یکسان است و تأثیرات توجه بصری (VA) ناشی از برجستگی بصری (VS) در این مدل‌ها لحاظ نشده است. مطالعات مختلف نشان‌ داده‌اند که حساسیت بصری در نقاطی که توجه بیشتری را جلب می‌کند بالاتر است؛ بنابراین افزایش وضوح تصویر مبتنی بر توجه بصری می‌تواند باعث وضوح بیشتر درک‌شده در تصویر گردد. در این مقاله، مدلی برای افزایش وضوح تصویر پیشنهاد شده که از رابطه بین نقشه مؤلفه‌های فرکانس بالای تصویر و برجستگی بصری برای تعیین مقدار بهینه وضوح تصویر استفاده می‌کند. مدل پیشنهادی با به‌کارگیری یک تابع غیرخطی، مقدار وضوح بهینه برای یک تصویر را با توجه به برجستگی بصری آن بیان می‌کند. تعیین پارامترهای تابع غیرخطی در قالب یک مسأله بهینه‌سازی مدل‌سازی شده که حل آن منجر به یافتن مقدار وضوح بهینه به طور خودکار می‌شود. جهت ارزیابی روش پیشنهادی و نشان‌دادن کارایی آن، آزمایش‌های ذهنی و عینی انجام شده که نتایج نشان می‌دهند روش پیشنهادی در صورت انتخاب مقادیر مناسب پارامترهای کنترلی، نسبت به دیگر روش‌های مورد مقایسه عملکرد مؤثرتری دارد.

چکیده انگلیسی:

Increasing the sharpness of the image, in many cases, refers to strengthening its high frequency components and increasing the sharpness at the edges. In the existing models of increasing clarity, it is assumed that the sensitivity of the human visual system is the same in the whole scene, and the effects of visual attention caused by visual salience are not included in these models. Various studies have shown that visual sensitivity is higher in places that attract more attention. Therefore, increasing image clarity based on visual attention can cause greater perceived clarity in the image. In this article, a model for increasing image sharpness is proposed, which uses the relationship between the map of high frequency image components and visual salience to determine the optimal value of image sharpness. By using a non-linear function, the proposed model expresses the optimal sharpness value for an image according to its visual prominence. Determining the parameters of the nonlinear function in the form of a modeled optimization problem, the solution of which leads to finding the optimal sharpness value automatically. The results show that the proposed method has a more effective performance than the other compared methods if the appropriate values of the control parameters are selected.

منابع و مأخذ:

[1] Tutorials:Sharpness.http://www.cambridgeincolour.com/tutorials/sharpness.htm. [Online] (visited on June 11, 2016).
[2] M. Reichmann, Understanding sharpness, https://luminous landscape.com/rediscover-understanding-sharpness/.[Online] (visited on June 27. 2018).
[3] N. Strobel and S. K. Mitra, "Quadratic filters for image contrast enhancement," in Proc. of 28th Asilomar Conf. on Signals, Systems and Computers, vol. 1, pp. 208-212, Pacific Grove, CA, USA, 31 Oct-Nov. 1994.
[4] C. Yin, Y. Zhou, S. Agaian, and C. L. Philip Chen, "Parametric rational unsharp masking for image enhancement," SPIE 9019, Image Processing: Algorithms and Systems XII, vol. 90190, 8 pp., Feb. 2014.
[5] K. Kaur, N. Jindal, and K. Singh, "Fractional derivative based unsharp masking approach for enhancement of digital images," Multimedia Tools and Applications, vol. 80, pp. 3645-3679, Aug. 2021.
[6] A. Polesel, G. Ramponi, and V. J. Mathews, "Image enhancement via adaptive unsharp masking," IEEE Trans. on Image Processing, vol. 9, no. 3, pp. 505-510, Mar. 2000.
[7] W. Ye and K. K. Ma, "Blurriness-guided unsharp masking," IEEE Trans. on Image Processing, vol. 27, no. 9, pp. 4465-4477, Jan. 2018.
[8] T. Kobayashi and J. Tajima, "Content-adaptive automatic image sharpening," in Proc. 20th Int. Conf. on Pattern Recognition, pp. 2214-2217, Istanbul, Turkey, 23-26 Aug. 2010.
[9] L. Krasula, P. L. Callet, K. Fliegel, and M. Klíma, "Quality assessment of sharpened images: challenges, methodology, and objective metrics," IEEE Trans. on Image Processing, vol. 26, no. 3, pp. 1496-1508, Mar. 2017.
[10] X. Duan, et al., "A multiscale contrast enhancement for mammogram using dynamic unsharp masking in laplacian pyramid," IEEE Trans. on Radiation and Plasma Medical Sciences, vol. 3, no. 5, pp. 557-564, Sep. 2019.
[11] B. J. Borah and C. K. Sun, "A GPU-accelerated modified unsharp-masking method for high-frequency background-noise suppression," IEEE Access, vol. 9, pp. 68746-68757, 2021.
[12] I. Draganov and V. Gancheva, "Unsharp masking with local adaptive contrast enhancement of medical images," In Su, R., Zhang, YD., Liu, H. (eds) Proc. of 2021 Int. Conf. on Medical Imaging and Computer-Aided Diagnosis, Lecture Notes in Electrical Engineering, Springer, Singapore, vol. 784, pp. 354-363, Jan. 2021.
[13] C. C. Pham and J. W. Jeon, "Efficient image sharpening and denoising using adaptive guided image filtering," IET Image Processing, vol. 9, no. 1, pp. 71-79, Jan. 2014.
[14] R. R. Kumar, A. Kumar, and S. Srivastava, "Anisotropic diffusion based unsharp masking and crispening for denoising and enhancement of MRI images," in Proc. Int. Conf. on Emerging Frontiers in Electrical and Electronic Technologies, ICEFEET'20, 6 pp., Patna, India, 10-11Jul. 2020.
[15] Z. Alameen, A. Muttar, and G. Albadrani, "Improving the sharpness of digital image using an amended unsharp mask filter," International J. of Image, Graphics and Signal Processing, vol. 11, no. 3, pp. 1-9, Mar. 2019.
[16] S. H. Majeed and N. A. M. Isa, "Adaptive entropy index histogram equalization for poor contrast images," IEEE Access, vol. 9, pp. 6402-6437, 2021.
[17] R. C. Gonzalez and R. E. Woods, Digital Image Processing Using MATLAB, 2nd Ed. New Delhi India: Pearson, 2004.
[18] Y. T. Kim, "Contrast enhancement using brightness preserving bi-histogram equalization," IEEE Trans. on Consumer Electronics, vol. 43, no. 1, pp. 1-8, Feb. 1997.
[19] S. D. Chen and A. R. Ramli, "Contrast enhancement using recursive meanseparate histogram equalization for scalable brightness preservation," IEEE Trans. Consum. Electron., vol. 49, no. 4, pp. 1301-1309, Nov. 2003.
[20] Q. Wang and R. Ward, "Fast image/video contrast enhancement based on weighted thresholded histogram equalization," IEEE Trans. Consum. Electron., vol. 53, no. 2, pp. 757-764, Jun. 2007.
[21] J. Y. Kim, L. S. Kim, and S. H. Hwang, "An advanced contrast enhancement using partially overlapped sub-block histogram equalization," IEEE Trans. Circuits Syst. Video Technol., vol. 11, no. 4, pp. 475-484, Apr. 2001.
[22] S. F. Tan and N. A. M. Isa, "Exposure based multi-histogram equalization contrast enhancement for non-uniform illumination images," IEEE Access, vol. 7, pp. 70842-70861, 2019.
[23] Z. Shi, Y. Chen, E. Gavves, P. Mettes, and C. G. M. Snoek, "Unsharp mask guided filtering," IEEE Trans. on Image Processing, vol. 30, pp. 7472-74852021.
[24] J. Li, M. D. Levine, X. An, X. Xu, and H. He, "Visual saliency based on scale-space analysis in the frequency domain," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 35, no. 4, pp. 996-1010, Nov. 2013.
[25] L. Itti, C. Koch, and E. Niebur, "A model of saliency-based visual attention for rapid scene analysis," IEEE Trans. Pattern Anal. Mach. Intell., vol. 20, no. 11, pp. 1254-1259, Nov. 1998.
[26] L. Itti and C. Koch, "A saliency-based search mechanism for overt and covert shifts of visual attention," IEEE Trans. Image Process, vol. 13, no. 10, pp. 1304-1318, Jan. 2004.
[27] A. Borji, M. M. Cheng, H. Jiang, and J. Li, "Salient object detection: a benchmark," IEEE Trans. on Image Process, vol. 24, no. 12, pp. 5706-5722, Jan. 2015.
[28] B. Zhang, J. P. Allebach, and Z. Pizlo, "An investigation of perceived sharpness and sharpness metrics," Proc. SPIE, Image Quality and System Performance II, vol. 5668, pp. 98-110, Jan. 2005.
[29] T. Judd, K. Ehinger, F. Durand, and A. Torralba, "Learning to predict where humans look," in Proc. IEEE 12th Int. Conf. on Computer Vision, pp. 2106-2113, Kyoto, Japan, 29 Sept.-2 Oct. 2009.
[30‌ ف. نعمتی خلیل‌آباد، ﻫ. هادی‌زاده، ع. ابراهیمی‌مقدم و م. خادمی درح، "تخمین کمترین تفاوت قابل درک با استفاده از برجستگی بصری در تصاویر،" فصل‌نامه پردازش علائم و داده‌ها، جلد 17، شماره 2، صص. 71-84، 1399.
[31] K. Zuiderveld, Contrast Limited Adaptive Histogram Equalization, Chapter VIII.5, Graphics Gems IV. P. S. Heckbert (Eds.), Cambridge, MA, Academic Press, Feb. 1994.
[32] Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, "Image quality assessment: from error visibility to structural similarity," IEEE Trans. on Image Processing, vol. 13, no. 4, pp. 600-612, Apr. 2004.
[33] G. Deng, F. Galetto, M. Alnasrawi, and W. Waheed, "A guided edge-aware smoothing-sharpening filter based on patch interpolation model and generalized gamma distribution," IEEE Open J. of Signal Processing, vol. 2, pp. 119-135, Mar. 2021.
[34] D. Ngo, S. Lee, and B. Kang, "Nonlinear unsharp masking algorithm," in Proc. Int. Conf. on Electronics, Information, and Communication, ICEIC'20, 6 pp., Barcelona, Spain, 19-22 Jan. 2020.
[35] R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th Ed. New York, NY: Pearson, pp. 138-140, 2018.
[36] K. Singh and R. Kapoor, "Image enhancement via median-mean based sub-image-clipped histogram equalization," Optik-International J. for Light and Electron Optics. vol. 125, no. 17, pp. 4646-4651, Sept. 2014.
[37] T. Judd, K. Ehinger, F. Durand, and A. Torralba, "Learning to predict where humans look," in Proc.IEEE 12th Int. Conf. on Computer Vision, pp. 2106-2113, Kyoto, Japan, 29 Sept.- 2 Oct. 2009.

متن کامل:

معرفي يک روش جديد خوشه‌يابي خودکار

مقاله پژوهشی

افزایش وضوح تصویر با استفاده از برجستگی بصری

مینا وفایی جهان، عباس ابراهیمی مقدم و مرتضی خادمی درح

چکیده: افزایش وضوح تصویر در بسیاری موارد به تقویت مؤلفه‌های فرکانس بالای آن و افزایش وضوح در لبه‌ها اطلاق می‌شود. در مدل‌های موجود افزایش وضوح فرض می‌شود که حساسیت سیستم بینایی انسان (HVS) در تمام صحنه یکسان است و تأثیرات توجه بصری (VA) ناشی از برجستگی بصری (VS) در این مدل‌ها لحاظ نشده است. مطالعات مختلف نشان‌ داده‌اند که حساسیت بصری در نقاطی که توجه بیشتری را جلب می‌کند بالاتر است؛ بنابراین افزایش وضوح تصویر مبتنی بر توجه بصری می‌تواند باعث وضوح بیشتر درک‌شده در تصویر گردد. در این مقاله، مدلی برای افزایش وضوح تصویر پیشنهاد شده که از رابطه بین نقشه مؤلفه‌های فرکانس بالای تصویر و برجستگی بصری برای تعیین مقدار بهینه وضوح تصویر استفاده می‌کند. مدل پیشنهادی با به‌کارگیری یک تابع غیرخطی، مقدار وضوح بهینه برای یک تصویر را با توجه به برجستگی بصری آن بیان می‌کند. تعیین پارامترهای تابع غیرخطی در قالب یک مسأله بهینه‌سازی مدل‌سازی شده که حل آن منجر به یافتن مقدار وضوح بهینه به طور خودکار می‌شود. جهت ارزیابی روش پیشنهادی و نشان‌دادن کارایی آن، آزمایش‌های ذهنی و عینی انجام شده که نتایج نشان می‌دهند روش پیشنهادی در صورت انتخاب مقادیر مناسب پارامترهای کنترلی، نسبت به دیگر روش‌های مورد مقایسه عملکرد مؤثرتری دارد.

کلیدواژه: افزایش وضوح در لبه‌ها، برجستگی بصری (VS)، توجه بصری (VA).

1- مقدمه

در حین ثبت یک تصویر، وجود برخی از محدودیت‌های محیطی باعث کاهش وضوح تصویر ثبت‌شده می‌شود. کاهش وضوح تصویر منجر به ازدست‌دادن جزئیات در آن شده و استخراج اطلاعات مهم برای پردازش توسط سیستم بینایی انسان ²(HVS) و ماشین را با محدودیت مواجه می‌کند. از اهداف مهم برای افزایش وضوح و بهبود تصاویر دیجیتالی، افزایش ‌تفکیک‌پذیری در لبه‌های³ تصویر است که این کار با دو رویکرد کلی شامل کاهش طول انتقال لبه و افزایش اختلاف مقادیر بیشینه و کمینه پیکسل‌ها در مناطق لبه انجام می‌شود. رویکرد اول توسط الگوریتم‌هایی پیاده می‌شود که سعی در کاهش طول شیب انتقال لبه‌ها دارند. این طول به‌عنوان فاصله بین مقادیر حداقل و حداکثر پیکسل‌های تصویر در همسایگی لبه‌ها تعریف می‌شود. این رویکرد برای بازیابی⁴ تصاویر به شدت تار که در آن معمولاً رویکرد دوم موفق عمل نمی‌کند، استفاده می‌شود. در رویکرد دوم، طول شیب انتقال بدون تغییر باقی می‌ماند؛ در حالی که تفاوت بین حداقل و حداکثر مقدار پیکسل‌ها افزایش می‌یابد و وضوح در لبه‌ها را بالا می‌برد [1] و [2].

محققان برای افزایش وضوح تصویر روش‌های مختلفی ارائه کرده‌اند؛ از جمله مهم‌ترین آنها روش‌های مبتنی بر فیلتر ⁵(USM)، روش‌های مبتنی بر تعادل هیستوگرام ⁶(HE) و روش‌های مبتنی بر یادگیری⁷ است. برای هر یک از این روش‌ها الگوریتم‌های متعددی ارائه شده است.

یکی از متداول‌ترین روش‌ها‌ جهت افزایش وضوح تصویر به‌خاطر پیاده‌سازی ساده، سرعت بالا و عدم نیاز به اطلاعات پایه تصویر ورودی، روش فیلتر USM است. در این روش برای ایجاد تصویر بهبودیافته لازم است تا تصویر ورودی با ضریبی (ضریب تقویت) از مؤلفه‌های فرکانس بالای استخراج‌شده از آن جمع ‌شود. فیلتر USM با تأکید بر مؤلفه‌های فرکانس بالای تصویر عمل کرده و باعث افزایش وضوح در لبه‌های تصویر می‌شود. USM نه تنها سیستم را نسبت به نویز بسیار حساس می‌کند بلکه لبه در مناطق با وضوح بالا را بسیار بیشتر از مناطق با وضوح کم افزایش می‌دهد که در نتیجه و در بعضی موارد، باعث ایجاد آثار ناخواسته قوی می‌شود. تلاش‌های زیادی برای بهبود عملکرد فیلتر USM انجام شده‌ که استفاده از فیلتر‌های بالاگذر و پایین‌گذر، دو روش اساسی برای پیاده‌سازی USM هستند. مزیت فیلترهای بالاگذر، افزایش وضوح مرزهای بین مناطق یکنواخت است؛ اما این فیلترها سیستم‌ها را نسبت به نویز حساس کرده و معمولاً باعث مشکل تیزی بیش از اندازه⁸ می‌شوند که مصنوعی‌ به‌نظررسیدن تصویر را به دنبال خواهد داشت.

محققان برای کاهش حساسیت به نویز، استفاده از فیلترهای غیرخطی را پیشنهاد کردند. مرجع [3] یک فیلتر USM بهبودیافته با استفاده از فیلتر درجه دوم⁹ ارائه‌ کرد و [4] با جایگزینی فیلترهای غیرخطی، روش‌های USM مکعبی¹⁰ و USM گویا¹¹ را توسعه داد. مرجع [5]، USM مبتنی بر مشتقات کسری¹²، همراه با فیلتر لبه‌یاب لاپلاسی را برای بهبود تصویر پیشنهاد داد. این روش با حفظ جزئیات فرکانس پایین و متوسط به افزایش وضوح در لبه‌ها پرداخته است. تنظیم پارامترهای اضافی مشتق کسری، درجه آزادی بیشتری را فراهم کرده و باعث اثربخشی بیشتر این روش شده است. از آنجا که ضریب تقویت در فیلتر USM، نقش مهمی در میزان کیفیت تصویر بهبود‌یافته دارد، گاهی به‌عنوان یک مقدار ثابت فرض شده و در برخی موارد، این ضریب با توجه به محتوای تصویر ورودی به‌صورت وفقی تعیین می‌شود. در همین راستا [6]، یک نسخه بهبودیافته بر اساس USM پویا¹³ را برای حل مشکل تیزی بیش از حد تصاویر ارائه داد که در آن به‌جای ضریب تقویت ثابت از ضریب تقویت وفقی با استفاده از فیلتر لبه‌یاب لاپلاسی جهت‌دار در دو جهت مختلف افقی و عمودی برای هر پیکسل استفاده شد. مرجع [7] با نگاهی متفاوت، USM هدایت‌شده با تاری را برای افزایش بهبود پیکسلی بیان کرد. در این روش، لایه‌های کلیات¹⁴ و جزئیات¹⁵ جداگانه پردازش شدند که در لایه جزئیات، اطلاعات تاری محلی¹⁶ تصویر با استفاده از الگوریتم ¹⁷JNBE برای هر پیکسل به‌دست ‌آمد و از نقشه تاری تصویر حاصل به‌طور تطبیقی به‌عنوان ضریبی از اجزای فرکانس بالای تصویر بهره برد.

مزیت استفاده از فیلترهای پایین‌گذر، تضعیف نویز است؛ لیکن تاری تصویر یکی از مشکلات این فیلترها می‌باشد. متداول‌ترین روش در پیاده‌سازی فیلتر USM، استفاده از فیلتر پایین‌گذر گوسی ¹⁸(GUM) است. استفاده از روش GUM در سال‌های اخیر با اهداف خاص انجام شده است. مرجع [8] یک الگوریتم افزایش وضوح خودکار متناسب با محتوا
را بر اساس فیلتر GUM ایجاد کرده که بر طول خطوط استخراج‌شده
از تصویر متکی است. مرجع [9] با استفاده از معیارهای ارزیابی کیفیت تصویر و نتایج آزمایش‌های ذهنی¹⁹ به تعیین خودکار میزان وضوح بهینه پرداخت. این روش با تعریف تابع هدف بر اساس تصویر بهبودیافته و حل آن با مسأله بهینه‌سازی، ضریب تقویت تصویر را تخمین زد. مرجع [10] با روشی متفاوت به افزایش وضوح تصویر با استفاده از روش GUM در هرم لاپلاسی پرداخت. هرم لاپلاسی برای حفظ اطلاعات لبه‌های ضعیف و GUM برای بهبود جزئیات تصویر و سرکوب نویز استفاده شده است. مرجع [11] با ارائه این موضوع که هیچ یک از روش‌های GUM موجود به حذف نویز پس‌زمینه نپرداخته‌اند، روشی ارائه داد که برخلاف روش‌های معمول، نویز فرکانس بالای پس‌زمینه تصویر را حذف کرد؛ در حالی که اطلاعات لبه حفظ شد و وضوح تصویر نیز افزایش یافت. مرجع [12] روشی جدید برای بهبود کیفیت تصاویر ورودی با ترکیب دو روش GUM و توابع بهبود تمایز²⁰ بیان کرد. با وجود تغییر چشم‌گیر افزایش وضوح
در این روش، متأسفانه به‌دست‌آوردن مقادیر بهینه توابع بهبود تمایز
باعث پیچیده‌ترشدن الگوریتم شده است. از دیگر تلاش‌های انجام‌شده در این حوزه، استفاده از فیلترهای پایین‌گذر غیرخطی همانند فیلتر انتشار ‌ناهمسانگرد²¹، فیلتر دوطرفه²² و فیلتر هدایت‌شده²³ مبتنی‌ بر USM است که علاوه بر هموارسازی مناطق یکنواخت و حفظ لبه‌ها، مانع از تقویت نویز شده است. مرجع [13] روش استفاده از فیلتر تطبیقی هدایت‌شده جهت افزایش وضوح تصویر و جلوگیری از تقویت نویز را به‌صورت هم‌زمان معرفی کرد. این روش مبتنی بر فیلتر هدایت‌شده است و با استفاده از ادغام فیلتر تطبیقی دوطرفه در فیلتر هدایت‌شده، پیاده‌سازی شد. روش فوق، لبه‌ها و بافت‌ها را بدون ایجاد آثار تصنعی و تقویت نویز بهبود داد. مرجع [14] به مطالعه استفاده از فیلتر انتشار ناهمسانگرد مبتنی بر USM با هدف کاهش آثار تصنعی در اطراف لبه‌ها که به‌صورت سایه‌های سفید هاله‌شکل ظاهر شده و باعث تخریب تصویر می‌شود، پرداخت و برتری روش خود را با دو معیار ارزیابی کیفیت تصویر نسبت به دیگر روش‌ها اثبات کرد. مرجع [15] جهت اثربخشی بیشتر در افزایش وضوح لبه‌های تصویر به‌صورت ترکیبی از دو فیلتر باترورث پایین‌گذر و فیلتر دوطرفه مبتنی بر USM استفاده کرد.

روش‌ مبتنی بر HE، یکی از روش‌های معمول و مؤثر برای بهبود وضوح تصاویر با روابط ساده ریاضی است. این روش با نگاشت تصویر تحت تابع توزیع تجمعی، باعث بهبود وضوح و روشنایی شده و تابع چگالی احتمال تقریباً یکنواختی ایجاد می‌کند. استفاده از روش HE به‌طور معمول باعث مشکلاتی همچون عدم حفظ میانگین روشنایی، افزایش وضوح بیش از حد، حذف جزئیات تصویر و غیرطبیعی‌کردن تصویر خروجی می‌شود. محققان برای حل مشکلات فوق، اصلاحات گوناگونی را ارائه کرده‌اند که ایده ‌اصلی آنها، دسته‌بندی شدت روشنایی پیکسل‌های هم‌دسته با هم است. این روش‌ها در نقطه شکستن و تعداد شکستن هیستوگرام با هم متفاوت هستند. روش‌های مبتنی بر HE دارای دو زیرکلاس متعادل‌سازی هیستوگرام معمولی ²⁴(CHE) و متعادل‌سازی هیستوگرام ترکیبی²⁵ هستند [16]. همچنین زیرکلاس CHE خود به متعادل‌سازی هیستوگرام سراسری [17]، متعادل‌سازی هیستوگرام دوتایی زیرتصویر [18]، متعادل‌سازی هیستوگرام چند زیرتصویر [19]، متعادل‌سازی هیستوگرام وزنی [20]، متعادل‌سازی هیستوگرام محلی [21] و متعادل‌سازی هیستوگرام ناحیه نوردهی²⁶ [22] دسته‌بندی می‌شود.

در میان روش‌های مبتنی بر یادگیری ماشین، الگوریتم‌های یادگیری عمیق مبتنی بر شبکه‌های عصبی کانولوشنی ²⁷(CNN) از محبوبیت زیادی برخوردارند؛ با این حال کاربرد این روش‌ها برای بهینه‌سازی پارامترهای الگوریتم‌های پردازش تصویر کم است. در [23] برای بهبود مؤثر تصاویر با وضوح کم از یادگیری عمیق استفاده شده است. در این تحقیق با الهام از USM، یک مدل جدید و ساده‌شده از فیلتر هدایت‌شونده پیشنهاد گردیده که برخلاف روش‌های معمول تنها با تخمین یک ضریب، تصویر بهبودیافته نهایی تولید می‌شود. در این شبکه، افزایش وضوح، حفظ لبه‌ و بهبود جزئیات تصویر مورد توجه قرار گرفته و با استخراج نقشه لبه و نقشه تاری تصویر توسط دو شبکه فرعی و سپس با آموزش‌دادن شبکه، ضرایب محلی مدل تخمین زده می‌شود.

از عوامل مؤثری که می‌توان در افزایش وضوح تصویر به کار گرفت، مکانیزم توجه بصری²⁸ است. سیستم بینایی انسان نیز به‌منظور کاهش حجم اطلاعات مورد نیاز برای پردازش در مغز از این مکانیزم استفاده می‌کند تا توسط آن، فقط بخش کوچک‌تری از داده‌های ورودی که از اهمیت حیاتی و کاربردی بیشتری برخوردارند، انتخاب شده و سایر داده‌ها دور ریخته و یا کمتر مورد پردازش قرار گیرند. در واقع، هنگام تماشای

[1] این مقاله در تاریخ 22 بهمن ماه 1380 دریافت و در تاریخ 4 بهمن ماه 1401 بازنگری شد.

مینا وفایی جهان، گروه مخابرات، دانشکده مهندسی برق، دانشگاه فردوسی مشهد، مشهد، ایران، (email: mina.vafaeijahan91@mail.um.ac.ir).

عباس ابراهیمی مقدم (نویسنده مسئول)، گروه مخابرات، دانشکده مهندسی برق، دانشگاه فردوسی مشهد، مشهد، ایران، (email: a.ebrahimi@mail.um.ac.ir).

مرتضی خادمی درح، گروه مخابرات، دانشکده مهندسی برق، دانشگاه فردوسی مشهد، مشهد، ایران، (email: khademi@mail.um.ac.ir).

[2] . Human Visual System

[3] . Acutance

[4] . Restoration

[5] . Unsharp Mask

[6] . Histogram Equalization Based Methods

[7] . Learning Based Methods

[8] . Over Sharping

[9] . Quadratic

[10] . Cubic

[11] . Rational

[12] . Fractional Derivative

[13] . Dynamic

[14] . Base Layer

[15] . Detail Layer

[16] . Local Blur Information

[17] . Just Noticeable Blur Estimation

[18] . Gaussian Unsharp Mask

[19] . Subjective

[20] . Contrast Enhancement Function

[21] . Anisotropic Diffusion Filter

[22] . Bilateral Filter

[23] . Guided Filter

[24] . Conventional HE

[25] . Hybrid HE

[26] . Exposure Region HE

[27] . Convolution Neural Network

[28] . Visual Attention

شکل 1: دیاگرام جعبه‌ای روش پیشنهادی.

شکل 2: مدل لبه.

یک تصویر، مکانیزم توجه بصری باعث می‌شود تنها به بخش کوچکی از تصویر توجه گردد و جزئیات در بخش‌های دیگر تصویر مورد توجه قرار نگیرد. طی سالیان گذشته به‌دلیل اهمیت و کاربرد توجه بصری، یافتن مدل محاسباتی برای آن یکی از موضوعات مهم تحقیقاتی بوده که نظرات فراوانی را به خود جلب کرده و چندین مدل محاسباتی برای آن ارائه شده است [24] تا [27]. مدل‌های محاسباتی ارائه‌شده با تولید یک نقشه موسوم به نقشه برجستگی، نقاط برجسته تصویر را که به‌دلیل دارابودن مشخصه‌های خاصی، باعث تمایز از مناطق اطراف و جلب توجه می‌شود، تعیین می‌کند. امروزه دقت به عملکرد HVS و الگوگیری از
آن در توسعه روش‌های پرکاربرد پردازش تصویر همچون بهبود تصویر و بهره‌مندی از آن در صنعت عکاسی ضروری است. ماشین نیز شبیه انسان می‌تواند برای افزایش وضوح تصویر از توجه بصری استفاده نماید.

در این مقاله با درنظرگرفتن مطالب ذکرشده، روش پیشنهادی جدیدی با هدف افزایش وضوح تصویر تحت نقشه برجستگی بصری ارائه شده است. این روش برخلاف روش‌های یادشده برای افزایش بهبود کیفیت تصویر به افزایش وضوح در لبه‌های تصویر با توجه به نقشه برجستگی بصری پرداخته است.

در بخش دوم مقاله به ارائه روش پیشنهادی می‌پردازیم. ارزیابی عملکرد این روش در بخش سوم آمده است و در نهایت بخش چهارم
به جمع‌بندی مطالب گفته‌شده می‌پردازد و خلاصه‌ای از نوآوری‌های پیشنهادی را ارائه می‌کند.

2- روش‌ پیشنهادی

روش پیشنهادی این مقاله با هدف افزایش وضوح تصویر با لحاظ‌کردن برجستگی بصری طراحی شده است. شکل 1 فرایند کلی این روش را نشان می‌دهد. به‌منظور دستیابی به هدف مورد نظر، یک تابع غیرخطی از رابطه بین نقشه مؤلفه‌های فرکانس بالای تصویر (نقشه لبه) و برجستگی بصری پیشنهاد شده است؛ به‌طوری که تعیین پارامترهای این تابع در قالب یک مسأله بهینه‌سازی، منجر به یافتن مقدار وضوح بهینه تصویر به‌طور خودکار می‌شود.‌ در ادامه هر بخش از این شکل تشریح می‌شود.

2-1 استخراج لبه

در این تحقیق از روش GUM [28] برای استخراج لبه استفاده شده که با وجود پارامترهای مشخص، قابلیت تنظیم مناسبی دارد. نقشه لبه ¹(EM) مطابق (1) و شکل 2 به‌صورت زیر به‌دست می‌آید

(1)

اعمال فیلتر هموارساز گوسی به تصویر ورودی منجر به تاری آن می‌شود و با کم‌کردن خروجی این فیلتر از تصویر ورودی، نقشه مؤلفه‌های فرکانس بالای تصویر (نقشه لبه) به‌دست می‌آید. در (1)، پاسخ ضربه فیلتر هموارساز گوسی است که به‌صورت زیر تعریف می‌شود

(2)

2-2 تولید نقشه برجستگی بصری

برای تولید نقشه برجستگی ²(SM) در روش پیشنهادی، دو رویکرد متفاوت قابل اجراست: استفاده از یک پایگاه داده تصاویر همانند [29] که نقشه برجستگی آنها‌ توسط ردیابی چشم به‌دست آمده یا استفاده از یک مدل‌ محاسباتی همانند مدل‌های ارائه‌شده در [24] تا [27]. تنها مزیت استفاده از رویکرد اول، به‌دست‌آوردن مقدار واقعی برجستگی بصری تصاویر است. با توجه به نتایج ارائه‌شده در [24]، ما از مدل محاسباتی مشهور HFT برای تولید نقشه برجستگی در روش پیشنهادی استفاده کردیم. نقشه برجستگی در این مدل بر پایه خصوصیات تصویر ورودی (تمایز در شدت روشنایی یا رنگ) است. در واقع، مدل HFT با هموارکردن دامنه تبديل فوريه چهارگانه تصویر ورودی تحت فیلترهای گوسی با ابعاد مختلف و سپس گرفتن عکس تبدیل فوریه، به محاسبه نقشه برجستگی با آنتروپی کمتر (ناحيه برجسته متمرکزتر) می‌پردازد.

2-3 ادغام نقشه لبه و نقشه برجستگی

همان طور که در شکل 1 مشاهده می‌شود، با ادغام نقشه لبه و نقشه برجستگی ورودی که در بالا توصیف گردید به‌دست می‌آید. این ادغام از طریق (3) تعریف می‌شود

(3)

(4)

که ضرب پیکسلی و مقدار تابع در پیکسل است که با ضریب تعریف می‌شود. برای پرهیز از اضافه‌شدن پیچیدگی و بار محاسباتی طبق نتیجه حاصل از [30]، در اینجا از تابع غیرخطی خطا³ به‌عنوان تابع مطابق (4) استفاده می‌شود که تعیین پارامتر آن از طریق یک فرایند بهینه‌سازی به‌دست می‌آید. طبق (4)، برجستگی نرمالیزه‌شده (تقسیم بر مقدار بیشینه ) در پیکسل از نقشه برجستگی و مقدار تابع خطا در پیکسل است که با یک ضریب تعریف می‌شود. علت نرمالیزه‌کردن نقشه برجستگی، قراردادن مقادیر آن در محدوده است.

2-4 بیشینه‌سازی تابع Q

برای داشتن تصویر واضح‌تر، با ضرب در (ضریب تقویت) با تصویر ورودی مطابق رابطه زیر جمع می‌شود

(5)

که نقش مهمی در کیفیت تصویر دارد و مقدار نامناسب آن در برخی موارد ممکن است باعث آثار ناخواسته شدید در شود.

جهت به‌دست‌آوردن بهینه همراه با پارامترهای کنترلی و ، تابع زیر را مطابق [9] تعریف می‌کنیم

(6)

(7)

(8)

که در آن ⁴ معیار تشابه ساختاری است و تصویر با استفاده از (5) به‌دست می‌آید. تنها تفاوت تصویر با در این است که بر اساس [9] برای رسیدن به تصویر ، مقدار و آن (یعنی و ) تا رسیدن به واریانس 7000 با گام 5/0 افزایش می‌یابد؛ در صورتی که تصویر همراه با پارامترهای کنترلی آن با بیشینه‌سازی تابع حاصل می‌شود. مقدار واریانس 7000 با گام 5/0 در روش پیشنهادی ما بهترین عملکرد (بیشترین وضوح تصویر نهایی) را نشان می‌دهد.

با تعیین پارامترهای ، و با توجه به نتایج [9]، مقدار آنها به ترتیب 5046/0، 0444/1 و 0092/1 می‌باشد. از آنجایی که رابطه فوق مشتق‌پذیر نبوده و تابعی چندمتغیره و غیرخطی است، برای حل مسأله بهینه‌سازی (6) از تابع fminsearch استفاده گردید. خاطرنشان می‌شود که مقادیر پارامترهای کنترلی اولیه در دو تصویر و به صورت پیش‌فرض، یک در نظر گرفته شده است.

2-5 تابع هیستوگرام

در این تحقیق برای پیاده‌سازی تابع هیستوگرام از نوعی متعادل‌سازی هیستوگرام تطبیقی ⁵(AHE) به نام متعادل‌سازی هیستوگرام تطبیقی تمایز محدود ⁶(CLAHE) استفاده شده است. این روش، تصویر را به چند تصویر فرعی بدون هم‌پوشانی تقسیم می‌کند. در این صورت چند هیستوگرام برای یک تصویر محاسبه می‌شود که هر هیستوگرام، ناحیه مشخصی از تصویر را در بر می‌گیرد و سپس متعادل‌سازی هیستوگرام بر روی هر تصویر فرعی انجام می‌شود. این روش برای جلوگیری از افزایش تیزی بیش از اندازه در تصویر به محدودکردن وضوح با برش سطح هیستوگرام بر روی فراوانی، قبل از متعادل‌سازی هیستوگرام می‌پردازد [31]. با این کار جزئیات در تصویر به‌طور واضح نسبت به پس‌زمینه نشان داده شده و در نتیجه منجر به افزایش وضوح تصویر خروجی با کیفیت بالا می‌شود.

3- شبیه‌سازی

در این بخش، عملکرد روش‌ پیشنهادی با پنج روش دیگر با توجه
به معیار ارزیابی ذهنی ⁷AFC2 و عینی⁸ و [32] مقایسه می‌شود. روش‌های مورد مقایسه عبارتند از AUSM [9]، GUSM [33]، NOUSM [34]، HE [35] و MMSICHE [36].

شکل 3، مجموعه‌ای از داده‌های ورودی را که شامل 10 تصویر رنگی با سایز است، نشان می‌دهد که این تصاویر از بانک داده کداک⁹ گرفته شده است. 1B تصویری با مناطق برجسته متوسط، 2B
تا 5B تصاویری با مناطق برجسته کوچک و 6B تا 10B تصاویری با مناطق برجسته بزرگ هستند. همه آزمایش‌ها روی سیستمی با مشخصات انجام شده است.

جدول 1، نتایج ارزیابی ذهنی روش پیشنهادی را در مقایسه با دیگر روش‌های رقیب نشان می‌دهد. ارزیابی مطابق روش AFC2 است. طبق این روش ارزیابی، حداقل از 19 شرکت‌کننده که دارای بینایی سالم بودند، خواسته شد جفت تصاویر نشان‌داده‌شده را (دو تصویر کنار هم با فاصله عمودی و افقی یکسان بر روی یک پس‌زمینه نیمه‌خاکستری) به مدت 5 ثانیه مشاهده و در طول بازه زمانی 5 ثانیه دوم تصویر با کیفیت بهتر را، صرف نظر از میزان اطمینان از تصمیم خود، در پاسخ‌نامه ثبت کنند. شرکت‌کنندگان در مورد نحوه قرارگیری تصاویر اطلاعی نداشتند. در این آزمایش از صفحه نمایش 6/15 اینچ با رزولوشن استفاده گردید. سطح روشنایی صفحه نمایش 50 درصد، روشنایی اتاق در حدود 235-250 لوکس و فاصله بین صفحه نمایش و شرکت‌کنندگان 50 سانتی‌متر تنظیم گردید. قبل از شروع آزمایش به هر شرکت‌کننده نحوه انجام آزمایش توضیح داده شد و مدت زمان تقریبی هر آزمایش برای هر شرکت‌کننده حدود 5 دقیقه بود.

برای نشان‌دادن اهمیت آماری نتایج حاصل از ارزیابی ذهنی انجام‌شده، از آزمون استفاده شد که خروجی آن معروف به مقدار ¹⁰ است. فرض صفر در این آزمون آن است که هیچ اختلافی بین دو تصویر (یعنی تصویر پیشنهادی و تصویر رقیب) وجود ندارد و تعداد آرای دو روش برابر است. به عبارت دیگر فرض می‌شود که اگر فرض صفر صحیح باشد نیمی از شرکت‌کنندگان به تصویر رقیب و نیمی دیگر به تصویر حاصل از مدل

[1] . Edge Map

[2] . Saliency Map

[3] . Error Function

[4] . Structural Similarity Index

[5] . Adaptive Histogram Equalization

[6] . Contrast Limited Adaptive Histogram Equalization

[7] . Two-Alternative Forced Choice Process

[8] . Objective

[9] . http://r0k.us/graphics/kodak/

[10] . P-Value

(1B) (2B) (3B) (4B) (5B)

(6B) (7B) (8B) (9B) (10B)

شکل 3: مجموعه تصاویر انتخابی.

جدول 1: مقایسه روش پیشنهادی توسط ارزیابی ذهنی با روش‌های AUSM [9]، GUSM [33]، NOUSM [34]، HE [35] و MMSICHE [36].

10B

7:12

2/0

5:14

03/0

9:10

8/0

9:10

8/0

14:5

03/0

14:5

03/0

19:0

12:7

2/0

12:7

2/0

14:5

03/0

AUSM: Proposed

P-value

9:10

8/0

12:7

2/0

12:7

2/0

10:9

8/0

10:9

8/0

16:3

10:9

8/0

14:5

03/0

14:5

03/0

GUSM: Proposed

P-value

10:9

8/0

10:9

8/0

10:9

8/0

9:10

8/0

10:9

8/0

14:5

03/0

16:3

9:10

8/0

16:3

10:9

8/0

NOUSM: Proposed

P-value

0:19

3:16

16:3

3:16

10:9

8/0

9:10

8/0

9:10

8/0

12:7

2/0

9:10

8/0

HE: Proposed

P-value

3:16

0:19

3:16

5:14

03/0

10:9

8/0

14:5

03/0

10:9

8/0

10:9

8/0

5:14

03/0

MMSICHE: Proposed

P-value

جدول 2: مقایسه روش پیشنهادی توسط معیار IE با روش‌های AUSM [9]، GUSM [33]، NOUSM [34]، HE [35] و MMSICHE [36].

10B	9B	8B	7B	6B	5B	4B	3B	2B	1B
6/6	56/7	96/6	06/7	05/7	33/7	42/7	67/7	52/7	39/7	AUSM
81/5	61/7	54/6	94/6	48/6	38/7	62/7	69/7	74/7	47/7	GUSM
46/6	58/7	96/6	04/7	04/7	39/7	49/7	68/7	63/7	4/7	NOUSM
62/5	97/5	91/5	9/5	9/5	97/5	97/5	98/5	97/5	94/5	HE
36/6	44/7	71/6	75/6	96/6	42/7	53/7	51/7	51/7	4/7	MMSICHE
53/7	71/7	59/7	44/7	6/7	65/7	76/7	66/7	82/7	42/7	Proposed

پیشنهادی رأی داده‌اند. به‌عنوان یک قاعده کلی وقتی است،فرض صفر اولیه رد می‌شود و این بدان معنی است که تصویر پیشنهادی، تعداد قابل توجهی از آرا را در مقایسه با تصویر دیگر به‌دست آورده و در نتیجه دارای کیفیت بهتری است. اگر بیشتر از 05/0 باشد، روشی که بیشترین آرا را کسب کرده به‌طور قطع از عملکرد بهتری در مقایسه با روش دیگر برخوردار است. همان طور که در جدول ۱ نشان داده شده، مقدار در مقایسه بین روش پیشنهادی و روش‌های رقیب AUSM، HE و MMSICHE مورد قبول بوده و در روش NOUSM با اختلاف انتخاب تنها یک تصویر نسبت به روش پیشنهادی در تصاویر 1B، 6B، 8B تا 10B برتری روش NOUSM مشخص گردیده است. نتیجه حاصل‌شده بیانگر این موضوع است که تأثیر توجه بصری در افزایش وضوح تصویر نقش داشته که روش NOUSM نسبت به روش پیشنهادی تنها در انتخاب یک تصویر برتری خود را نشان می‌دهد. در روش GUSM نیز به این نکته در تصاویر 3B، 6B و 7B می‌توان اشاره کرد.

جدول 2، مقایسه‌ای را از روش پیشنهادی با روش‌های رقیب بر اساس معیار مطابق (9) نشان می‌دهد

(9)

معیاری جهت اندازه‌گیری میزان اطلاعات تصویر است که به‌صورت گسترده برای ارزیابی تصویر مورد استفاده قرار می‌گیرد. در این نوع ارزیابی، هرچه مقدار آنتروپی تصویر بهبودیافته بیشتر باشد تصویر
حاوی اطلاعات و جزئیات بیشتر است. در جدول 2، مقادیر برای 10 تصویر

(الف)

(ب)

شکل 4: مقایسه روش پیشنهادی توسط معیارهای ارزیابی عینی با روش‌های AUSM [9]، GUSM [33]، NOUSM [34]، HE [35] و MMSICHE [36]، (الف) IE و (ب) SSIM.

جدول 3: مقایسه روش پیشنهادی توسط معیار SSIM با روش‌های AUSM [9]، GUSM [33]، NOUSM [34]، HE [35] و MMSICHE [36].

10B	9B	8B	7B	6B	5B	4B	3B	2B	1B
95/0	89/0	96/0	99/0	95/0	9/0	99/0	97/0	98/0	95/0	AUSM
85/0	93/0	82/0	89/0	86/0	87/0	92/0	92/0	86/0	94/0	GUSM
95/0	89/0	96/0	96/0	95/0	93/0	96/0	97/0	9/0	95/0	NOUSM
2/0	55/0	29/0	31/0	31/0	43/0	2/0	35/0	62/0	34/0	HE
92/0	91/0	91/0	9/0	9/0	9/0	91/0	92/0	83/0	89/0	MMSICHE
93/0	97/0	97/0	97/0	97/0	95/0	96/0	98/0	92/0	98/0	Proposed

جدول 4: مقایسه میانگین مدت زمان اجرای روش پیشنهادی با روش‌های AUSM [9]، GUSM [33]، NOUSM [34]، HE [35] و MMSICHE [36] روی 10 تصویر بر حسب ثانیه.

Proposed	MMSICHE	HE	NOUSM	GUSM	AUSM
46/4	37/2	01/2	84/2	61/3	9/12	Average

جدول 5: مقایسه میانگین مقادیر PSNR و SSIM روش پیشنهادی
با مختلف روی 10 تصویر.

4/1	1	6/0
6/17	68/17	10/18	PSNR
7884/0	7835/0	7921/0	SSIM

(شکل 3) محاسبه شد و با توجه به آن، مقدار میانگین معیار در روش پیشنهادی بیشتر از روش‌های دیگر است که نشان‌دهنده حفظ بیشتر اطلاعات تصویر در روش پیشنهادی نسبت به روش‌های دیگر می‌باشد. طبق (9)، احتمال شدت روشنایی ام در تصویر است.

جدول 3، مقایسه‌ای از مقادیر روش پیشنهادی و روش‌های‌ رقیب را توسط رابطه زیر نشان می‌دهد

(10)

معیار نسبت به معیارهای عینی دیگر، مشابهت بیشتری با معیارهای ذهنی دارد. این معیار بر اساس سه ویژگی روشنایی، کنتراست و ساختار (مقایسه ساختار دو تصویر بر اساس همبستگی آنها)، تصویر ورودی و تصویر بهبودیافته را با هم مقایسه می‌کند [35]. طبق (10)، و به‌ترتیب میانگین و واریانس تصویر ورودی و

کواریانس بین دو تصویر ورودی و بهبودیافته و و مقادیر ثابت هستند. هرچه مقدار به عدد یک نزدیک‌تر باشد، شباهت دو تصویر به هم بیشتر است. با توجه به این جدول، مقدار میانگین در روش پیشنهادی بیشتر از روش‌های دیگر است که نشان‌دهنده افزایش کیفیت تصویر می‌باشد.

جدول 4، مقایسه‌ای از میانگین مدت زمان اجرا روی کل 10 تصویر را برای روش پیشنهادی و روش‌های رقیب نشان می‌دهد. علی‌رغم عملکرد خوب روش پیشنهادی در افزایش وضوح، بیشترین زمان اجرا نیز متعلق به آن می‌باشد. استفاده از نقشه برجستگی و ادغام آن با نقشه لبه باعث افزایش زمان اجرای الگوریتم پیشنهادی شده است.

جدول 5، تأثیر مقدار بر میانگین و را در 10 تصویر مورد آزمایش نشان می‌دهد. مطابق (1)، نقشه لبه به مقدار در تابع وابسته است. از آنجایی که این پارامتر در داشتن نقشه لبه با جزئیات بیشتر تأثیرگذار می‌باشد، مقادیر مختلف بر روی 10 تصویر اعمال، میانگین و محاسبه و نتایج در جدول 5 درج شده است. ارزیابی ، رایج‌ترین معیار در بررسی کیفیت تصویر محسوب می‌شود. معیار مطابق رابطه زیر به‌دست می‌آید

(11)

(12)

بر طبق (11)، تصویر مرجع می‌باشد و واضح است که هرچه این معیار بزرگ‌تر باشد، نویز موجود در سیگنال نسبت به سیگنال اصلی کمتر است [37]. مطابق جدول 5، روش پیشنهادی با مقدار از نظر حفظ سیگنال در برابر نویز در مقایسه با مقادیر دیگر عملکرد بهتری دارد و قادر به حفظ اطلاعات تصویر بر اساس دو معیار و می‌باشد.

(الف) (ب) (ج)

(د) (ﻫ) (و)

(ز) (ح) (ط)

شکل 5: مقایسه مراحل روش پیشنهادی با روش‌های AUSM [9]، GUSM [33]، NOUSM [34]، HE [35] و MMSICHE [36] به‌صورت نمونه بر روی تصویر انتخابی 7B، (الف) تصویر ورودی، (ب) نقشه برجستگی، (ج) نقشه لبه، (د) Proposed، (ﻫ) AUSM، (و) GUSM، (ز) NOUSM، (ح) HE و (ط) MMSICHE.

شکل 4، روش پیشنهادی را با پنج روش رقیب بر اساس دو معیار و و برای هر 10 تصویر مقایسه می‌کند. در همه 10 تصویر،روش پیشنهادی عملکرد بهتری را در مقایسه با روش‌های رقیب نشان می‏دهد. افزایش وضوح در نقاط برجسته تصویر و اعمال تابع هیستوگرام باعث این برتری شده است. با معیار ، روش HE، دچار اشباع در روشنایی شده و ظاهر طبیعی تصویر را مخدوش کرده است. روش MMSICHE از نظر میانگین روشنایی و میانگین محتوای اطلاعات (آنتروپی) بهتر از روش‌ HE عمل می‌کند. روش GUSM با اعمال فیلتری همانند فیلتر هدایت‌شده، عملیات تیزسازی لبه و صاف‌کردن مناطق یکنواخت را به‌طور هم‌زمان انجام می‌دهد. این روش در نمایش جزئیات تصاویر با برجستگی بزرگ خوب عمل نکرده و دچار افزایش بیش از اندازه وضوح شده و بنابراین تصاویری غیرطبیعی‌ تولید می‌کند. روش NOUSM در نمایش جزئیات و روش AUSM در حفظ ساختار تصویر، عملکرد بهتری نشان داده‌اند و در نتیجه تصاویری طبیعی‌تر تولید کرده‌اند.

در شکل 5، روش پیشنهادی با 5 روش‌ دیگر (روی تصویر 7B) مقایسه می‌شود. همچنین در مورد روش پیشنهادی، نقشه برجستگی (با روش HFT) و نقشه لبه (با روش GUM) نیز ارائه شده است.

شکل 6، نتایج مقایسه خروجی روش پیشنهادی را با پنج روش رقیب بر روی 3 تصویر دیگر (2B، 5B و 9B) نشان می‌دهد. همان طور که ملاحظه می‌کنید روش پیشنهادی از دید بیننده، عملکرد بهتری دارد.

4- نتیجه‌گیری

ابتدا در این مقاله به مفهوم وضوح تصویر پرداختیم و بیان کردیم که علی‌رغم پژوهش‌های فراوانی که در زمینه افزایش وضوح تصویر انجام شده‌ است، هیچ یک از آنها اثر برجستگی بصری را در تعیین میزان وضوح بهینه در نظر نگرفته‌اند. از آنجایی که اثر برجستگی بصری منجر به افزایش حساسیت بصری به آن نواحی نسبت به سایر نواحی غیربرجسته تصویر می‌شود بر آن شدیم تا با درنظرگرفتن مکانیزم برجستگی بصری، مدل بهبودیافته‌ای برای تعیین میزان وضوح بهینه تصاویر به‌دست آوریم. در مدل پیشنهادی، اعمال فیلتر هموارساز گوسی به تصویر ورودی منجر به تاری آن می‌شود. با کم‌کردن خروجی این فیلتر از تصویر ورودی، نقشه مؤلفه‌های فرکانس بالای تصویر (نقشه لبه) به‌دست می‌آید. با به‌کارگیری

$img0$

(الف) (ب) (ج)

(د) (ﻫ) (و)

(الف) (ب) (ج)

(د) (ﻫ) (و)

(الف) (ب) (ج)

(د) (ﻫ) (و)

شکل 6: مقایسه روش پیشنهادی با روش‌های AUSM [9]، GUSM [33]، NOUSM [34]، HE [35] و MMSICHE [36] بر روی تصاویر 2B، 5B و 9B، (الف) Proposed، (ب) AUSM، (ج) GUSM، (د) NOUSM، (ﻫ) HE و (و) MMSICHE.

یک تابع غیرخطی، میزان وضوح بهینه تصویر را با توجه به برجستگی بصری به‌دست آوردیم. تعیین پارامترهای تابع غیرخطی را در قالب یک مسأله بهینه‌سازی مدل‌سازی کردیم. همان طور که نتایج شبیه‌سازی نشان می‌دهند کیفیت بصری تصویر روش پیشنهادی نسبت به روش‌ رقیب عملکرد خوبی دارد. نتایح آزمایش‌های کمّی نیز این بهبود را نشان می‌دهند. استفاده از فیلترهای غیرخطی پایین‌گذر در تولید نقشه لبه در ادامه این تحقیق پیشنهاد می‌شود.

مراجع

[1] Tutorials:Sharpness.http://www.cambridgeincolour.com/tutorials/sharpness.htm. [Online] (visited on June 11, 2016).

[2] M. Reichmann, Understanding sharpness, https://luminous landscape.com/rediscover-understanding-sharpness/.[Online] (visited on June 27. 2018).

[3] N. Strobel and S. K. Mitra, "Quadratic filters for image contrast enhancement," in Proc. of 28th Asilomar Conf. on Signals, Systems and Computers, vol. 1, pp. 208-212, Pacific Grove, CA, USA, 31 Oct-Nov. 1994.

[4] C. Yin, Y. Zhou, S. Agaian, and C. L. Philip Chen, "Parametric rational unsharp masking for image enhancement," SPIE 9019, Image Processing: Algorithms and Systems XII, vol. 90190, 8 pp., Feb. 2014.

[5] K. Kaur, N. Jindal, and K. Singh, "Fractional derivative based unsharp masking approach for enhancement of digital images," Multimedia Tools and Applications, vol. 80, pp. 3645-3679, Aug. 2021.

[6] A. Polesel, G. Ramponi, and V. J. Mathews, "Image enhancement via adaptive unsharp masking," IEEE Trans. on Image Processing, vol. 9, no. 3, pp. 505-510, Mar. 2000.

[7] W. Ye and K. K. Ma, "Blurriness-guided unsharp masking,"
IEEE Trans. on Image Processing, vol. 27, no. 9, pp. 4465-4477, Jan. 2018.

[8] T. Kobayashi and J. Tajima, "Content-adaptive automatic image sharpening," in Proc. 20th Int. Conf. on Pattern Recognition, pp. 2214-2217, Istanbul, Turkey, 23-26 Aug. 2010.

[9] L. Krasula, P. L. Callet, K. Fliegel, and M. Klíma, "Quality assessment of sharpened images: challenges, methodology, and objective metrics," IEEE Trans. on Image Processing, vol. 26, no. 3, pp. 1496-1508, Mar. 2017.

[10] X. Duan, et al., "A multiscale contrast enhancement for mammogram using dynamic unsharp masking in laplacian pyramid," IEEE Trans. on Radiation and Plasma Medical Sciences, vol. 3,
no. 5, pp. 557-564, Sep. 2019.

[11] B. J. Borah and C. K. Sun, "A GPU-accelerated modified unsharp-masking method for high-frequency background-noise suppression," IEEE Access, vol. 9, pp. 68746-68757, 2021.

[12] I. Draganov and V. Gancheva, "Unsharp masking with local adaptive contrast enhancement of medical images," In Su, R., Zhang, YD., Liu, H. (eds) Proc. of 2021 Int. Conf. on Medical Imaging and Computer-Aided Diagnosis, Lecture Notes in Electrical Engineering, Springer, Singapore, vol. 784, pp. 354-363, Jan. 2021.

[13] C. C. Pham and J. W. Jeon, "Efficient image sharpening and denoising using adaptive guided image filtering," IET Image Processing, vol. 9, no. 1, pp. 71-79, Jan. 2014.

[14] R. R. Kumar, A. Kumar, and S. Srivastava, "Anisotropic diffusion based unsharp masking and crispening for denoising and enhancement of MRI images," in Proc. Int. Conf. on Emerging Frontiers in Electrical and Electronic Technologies, ICEFEET'20, 6 pp., Patna, India, 10-11Jul. 2020.

[15] Z. Alameen, A. Muttar, and G. Albadrani, "Improving the sharpness of digital image using an amended unsharp mask filter," International J. of Image, Graphics and Signal Processing, vol. 11, no. 3, pp. 1-9, Mar. 2019.

[16] S. H. Majeed and N. A. M. Isa, "Adaptive entropy index histogram equalization for poor contrast images," IEEE Access, vol. 9, pp. 6402-6437, 2021.

[17] R. C. Gonzalez and R. E. Woods, Digital Image Processing Using MATLAB, 2nd Ed. New Delhi India: Pearson, 2004.

[18] Y. T. Kim, "Contrast enhancement using brightness preserving
bi-histogram equalization," IEEE Trans. on Consumer Electronics, vol. 43, no. 1, pp. 1-8, Feb. 1997.

[19] S. D. Chen and A. R. Ramli, "Contrast enhancement using recursive meanseparate histogram equalization for scalable brightness preservation," IEEE Trans. Consum. Electron., vol. 49, no. 4, pp. 1301-1309, Nov. 2003.

[20] Q. Wang and R. Ward, "Fast image/video contrast enhancement based on weighted thresholded histogram equalization," IEEE Trans. Consum. Electron., vol. 53, no. 2, pp. 757-764, Jun. 2007.

[21] J. Y. Kim, L. S. Kim, and S. H. Hwang, "An advanced contrast enhancement using partially overlapped sub-block histogram equalization," IEEE Trans. Circuits Syst. Video Technol., vol. 11,
no. 4, pp. 475-484, Apr. 2001.

[22] S. F. Tan and N. A. M. Isa, "Exposure based multi-histogram equalization contrast enhancement for non-uniform illumination images," IEEE Access, vol. 7, pp. 70842-70861, 2019.

[23] Z. Shi, Y. Chen, E. Gavves, P. Mettes, and C. G. M. Snoek, "Unsharp mask guided filtering," IEEE Trans. on Image Processing, vol. 30, pp. 7472-74852021.

[24] J. Li, M. D. Levine, X. An, X. Xu, and H. He, "Visual saliency based on scale-space analysis in the frequency domain," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 35, no. 4, pp. 996-1010, Nov. 2013.

[25] L. Itti, C. Koch, and E. Niebur, "A model of saliency-based visual attention for rapid scene analysis," IEEE Trans. Pattern Anal. Mach. Intell., vol. 20, no. 11, pp. 1254-1259, Nov. 1998.

[26] L. Itti and C. Koch, "A saliency-based search mechanism for overt and covert shifts of visual attention," IEEE Trans. Image Process, vol. 13, no. 10, pp. 1304-1318, Jan. 2004.

[27] A. Borji, M. M. Cheng, H. Jiang, and J. Li, "Salient object detection: a benchmark," IEEE Trans. on Image Process, vol. 24, no. 12, pp. 5706-5722, Jan. 2015.

[28] B. Zhang, J. P. Allebach, and Z. Pizlo, "An investigation of perceived sharpness and sharpness metrics," Proc. SPIE, Image Quality and System Performance II, vol. 5668, pp. 98-110, Jan. 2005.

[29] T. Judd, K. Ehinger, F. Durand, and A. Torralba, "Learning to predict where humans look," in Proc. IEEE 12th Int. Conf. on Computer Vision, pp. 2106-2113, Kyoto, Japan, 29 Sept.-2 Oct. 2009.

[30] ف. نعمتی خلیل‌آباد، ﻫ. هادی‌زاده، ع. ابراهیمی‌مقدم و م. خادمی درح، "تخمین کمترین تفاوت قابل درک با استفاده از برجستگی بصری در تصاویر،" فصل‌نامه پردازش علائم و داده‌ها، جلد 17، شماره 2، صص. 71-84، 1399.

[31] K. Zuiderveld, Contrast Limited Adaptive Histogram Equalization, Chapter VIII.5, Graphics Gems IV. P. S. Heckbert (Eds.), Cambridge, MA, Academic Press, Feb. 1994.

[32] Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, "Image quality assessment: from error visibility to structural similarity," IEEE Trans. on Image Processing, vol. 13, no. 4, pp. 600-612, Apr. 2004.

[33] G. Deng, F. Galetto, M. Alnasrawi, and W. Waheed, "A guided edge-aware smoothing-sharpening filter based on patch interpolation model and generalized gamma distribution," IEEE Open J. of Signal Processing, vol. 2, pp. 119-135, Mar. 2021.

[34] D. Ngo, S. Lee, and B. Kang, "Nonlinear unsharp masking algorithm," in Proc. Int. Conf. on Electronics, Information, and Communication, ICEIC'20, 6 pp., Barcelona, Spain, 19-22 Jan. 2020.

[35] R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th Ed. New York, NY: Pearson, pp. 138-140, 2018.

[36] K. Singh and R. Kapoor, "Image enhancement via median-mean based sub-image-clipped histogram equalization," Optik-International J. for Light and Electron Optics. vol. 125, no. 17, pp. 4646-4651, Sept. 2014.

[37] T. Judd, K. Ehinger, F. Durand, and A. Torralba, "Learning to predict where humans look," in Proc.IEEE 12th Int. Conf. on Computer Vision, pp. 2106-2113, Kyoto, Japan, 29 Sept.-
2 Oct. 2009.

مینا وفایی جهان دانشجوی کارشناسی ارشد دانشگاه فردوسی مشهد است. وی مدرک کارشناسی خود را در رشته برق، گرایش مخابرات در سال 95 دریافت کرد. علایق پژوهشی ایشان پردازش سیگنال، بینایی و یادگیری ماشین است.

عباس ابراهیمی مقدم مدرک کارشناسی برق، گرایش الکترونیک خود را از دانشگاه صنعتی شریف در سال 1370 و مدرک کارشناسی ارشد را از دانشگاه صنعتی خواجه نصیر در سال 1374 اخذ کرده است. وی مدرک دکتری خود را از دانشگاه McMaster کانادا دریافت نموده و از سال 1390 به‌عنوان استادیار در دانشگاه فردوسی مشهد فعالیت علمی می‌کند. زمینه‌های پژوهشی مورد علاقه وی پردازش گفتار، پردازش تصویر و ویدئو، بینایی ماشین و پردازش سیگنال‌های حیاتی است.

مرتضی خادمی درح تحصیلات خود را در مقاطع کارشناسی و کارشناسی ارشد مهندسی برق به‌ترتیب در سال‌های 1364 و 1366 در دانشگاه صنعتی اصفهان به پایان رسانده است. نام‌برده سال 1366 تا 1370 به‌عنوان عضو هیأت علمی (مربی) در دانشگاه فردوسی مشهد به کار مشغول بود. پس از آن به دوره دکترای مهندسی برق در دانشگاه ولونگونگ استرالیا وارد شده و در سال 1374 موفق به اخذ درجه دکتری در مهندسی برق از دانشگاه یادشده گردید. دکتر خادمی از سال 1374 دوباره در دانشگاه فردوسی مشهد مشغول به فعالیت شد و اینک نیز استاد این دانشکده است. زمینه‌های علمی مورد علاقه وی شامل موضوعاتی مانند مخابرات ویدئویی، فشرده‌سازی ویدئو، پردازش تصویر، پردازش سیگنال‌های پزشکی و پنهان‌سازی اطلاعات در ویدئو است.

اشتراک گذاری

آدرس مقاله

افزایش وضوح تصویر با استفاده از برجستگی بصری

رایمگ

پیوندهای سایت

مراکز مرتبط

پشتیبانی

صفحات رسمی