.png)
چالشهای پردازش تصویر در اسناد خط فارسی (Right-to-Left)
تصور کنید یک سیستم هوش مصنوعی پیشرفته را که میتواند میلیونها خط کد را در ثانیه تحلیل کند یا تصاویری با جزئیات خیرهکننده خلق کند، مقابل یک نامه قدیمی اداری یا یک سند دستنویس فارسی قرار میدهید. احتمالاً نتیجه چیزی شبیه به یک "سوپ حروف" خواهد بود؛ کلماتی که جابهجا شدهاند، حروف پیوسته که از هم گسستهاند و معنایی که کاملاً از بین رفته است.
اما چرا اتفاق میافتد؟ در حالی که شرکتهایی مثل گوگل (Google) و مایکروسافت (Microsoft) میلیاردها دلار روی OCR یا همان "کاراکتر شناس" هزینه کردهاند، هنوز هم وقتی نوبت به زبانهای راستبهچپ (RTL) و بهویژه فارسی میرسد، ماشینها دچار سردرگمی میشوند. حقیقت این است که پردازش تصویر در اسناد فارسی، صرفاً یک مسئله فنی ساده نیست، بلکه یک نبرد میان منطق ریاضی کامپیوتر و پیچیدگیهای بصری و هنری خط فارسی است.
"زبان فارسی یکی از پیچیدهترین ساختارهای بصری را برای ماشینها دارد؛ جایی که یک نقطه یا یک تغییر کوچک در زاویه اتصال دو حرف، میتواند معنای کلمه را از زمین تا آسمان تغییر دهد."
بیایید روراست باشیم؛ برای ما انسانها، خواندن یک متن فارسی که حروفش به هم چسبیدهاند، کاری غریزی است. مغز ما به طور خودکار الگوها را شناسایی میکند. اما برای یک الگوریتم، هر تصویر از یک سند، مجموعهای از پیکسلهای سیاه و سفید است. وقتی این پیکسلها در قالب خط فارسی قرار میگیرند، چالشها به قدری زیاد میشوند که حتی پیشرفتهترین مدلهای یادگیری عمیق (Deep Learning) هم گاهی تسلیم میشوند.
کابوس اتصال حروف: وقتی مرزها از بین میروند
یکی از بزرگترین موانع در پردازش تصویر اسناد فارسی، مفهومی به نام Segmentation یا "قطعهبندی" است. در زبان انگلیسی، هر حرف تقریباً یک فضای مستقل دارد. شما میتوانید یک خط عمودی بین حرف 'A' و 'B' بکشید و هر دو را به صورت مجزا شناسایی کنید. اما در فارسی؟
در خط فارسی، حروف بسته به جایگاهشان در کلمه (آغاز، میانه یا پایان)، شکلشان تغییر میکند. حالا تصور کنید یک مدل هوش مصنوعی باید تشخیص دهد که این توده از پیکسلها، آیا حرف "س" است که به "ی" وصل شده، یا شاید یک "ش" است که نقطه آن به دلیل کیفیت پایین اسکن، گم شده است. این یعنی ماشین نمیتواند به راحتی بگوید یک حرف کجا تمام میشود و حرف بعدی از کجا شروع میشود.
این موضوع در اسناد دستنویس به مراتب بدتر است. هر انسانی سبک خاصی از نوشتن دارد. برخی حروف را میکِشند، برخی آنها را بیش از حد فشرده میکنند و برخی دیگر با زاویهای مینویسند که تمام استانداردهای هندسی را به هم میریزد. برای یک سیستم OCR، این یعنی مواجه شدن با هزاران متغیر که هیچکدام از یک فرمول ثابت پیروی نمیکنند.
چرا جهت راستبهچپ (RTL) برای ماشینها عجیب است؟
بسیاری از معماریهای اولیه پردازش متن و تصویر در دنیا بر اساس استانداردهای غربی طراحی شدهاند. یعنی منطق "شروع از چپ و حرکت به راست". وقتی این مدلها با اسناد فارسی مواجه میشوند، حتی اگر حروف را درست تشخیص دهند، گاهی در چیدمان آنها دچار خطا میشوند. این موضوع در اسنادی که ترکیبی از اعداد انگلیسی (چپبه راست) و متن فارسی (راستبهچپ) هستند، به یک فاجعه تبدیل میشود.
برای درک بهتر، بیایید یک مثال واقعی بزنیم. فرض کنید یک فاکتور مالی دارید که در آن تاریخ به شمسی و مبلغ به دلار نوشته شده است. سیستم باید بتواند همزمان دو جهت مخالف را پردازش کند، تشخیص دهد که عدد مربوط به کدام کلمه است و در نهایت آنها را در یک دیتابیس مرتب ذخیره کند. اگر سیستم در تشخیص "نقطه شروع خط" دچار خطا شود، کل دادههای استخراج شده جابهجا شده و خروجی کاملاً غلط خواهد بود.
نویزهای بصری؛ دشمن شماره یک دقت
آیا تا به حال سعی کردهاید یک سند قدیمی را اسکن کنید که لکههای قهوهای دارد یا کاغذش زرد شده است؟ برای چشم انسان، این لکهها مزاحم نیستند و ما به راحتی متن را میخوانیم. اما برای یک مدل پردازش تصویر، یک لکه کوچک روی کاغذ ممکن است به عنوان "نقطه" شناسایی شود یا دو حرف جداگانه را به هم بچسباند. (1).png)
اینجاست که مفهوم Image Pre-processing یا "پیشپردازش تصویر" وارد میشود. قبل از اینکه هوش مصنوعی سعی کند متن را بخواند، باید تصویر را "تمیز" کند. اما تمیز کردن تصویر فارسی بسیار حساس است. اگر الگوریتم بیش از حد سختگیرانه عمل کند و نویزها را حذف کند، ممکن است نقاط حروف "ب"، "پ"، "ت" و "ث" را هم به عنوان نویز تشخیص داده و حذف کند. نتیجه؟ تبدیل "بیت" به "تیت" یا "تت"!
در دنیای واقعی، ما با انواع و اقسام چالشهای بصری روبرو هستیم:
- سایه انداختن کاغذ: در عکسهایی که با موبایل گرفته شدهاند، سایه دست یا گوشی باعث تغییر شدت روشنایی در بخشهای مختلف سند میشود.
- تداخل خطوط: در بسیاری از اسناد قدیمی، خطوط به قدری به هم نزدیک هستند که لبههای کلمات خط اول با بالای کلمات خط دوم تداخل پیدا میکنند.
- تغییر زاویه (Skew): وقتی کاغذ کج اسکن میشود، خطوط متن دیگر افقی نیستند و سیستم OCR در پیدا کردن "خط پایه" (Baseline) دچار مشکل میشود.
برای حل این مسائل، متخصصان از تکنیکهای پیچیدهای مثل Binarization (تبدیل تصویر به سیاه و سفید مطلق) و Deskewing (راست کردن خطوط) استفاده میکنند. اما حتی با این ابزارها، رسیدن به دقت ۱۰۰ درصد در متون فارسی، به دلیل ماهیت منعطف این زبان، تقریباً غیرممکن است. اگر به دنبال راهکارهایی هستید که این پیچیدگیها را در کسبوکارتان مدیریت کنید، میتوانید با مشاوران زیروکس ایآی در مورد پیادهسازی سیستمهای هوشمند استخراج داده گفتگو کنید تا متوجه شوید چگونه میتوان این خطاها را به حداقل رساند.
تفاوت فاحش بین متن تایپی و متن دستنویس (HTR)
بسیاری از مردم تصور میکنند اگر سیستم بتواند متن تایپی (مثل یک فایل PDF) را بخواند، پس خواندن دستنویس هم ساده است. اما در واقعیت، ما با دو دنیای کاملاً متفاوت روبرو هستیم. پردازش متن تایپی را OCR مینامند، اما پردازش دستنویس را HTR (Handwritten Text Recognition) میگویند.
در متن تایپی، ما با "فونت" سر و کار داریم. فونتها قوانین مشخصی دارند. حتی اگر فونت تغییر کند، فاصله بین حروف و ساختار کلی آنها در یک سند یکسان است. اما در دستنویس، ما با "رفتار انسانی" سر و کار داریم. هر فرد در لحظات مختلف روز، حتی یک کلمه را به دو شکل متفاوت مینویسد.
| ویژگی | متن تایپی (OCR) | متن دستنویس (HTR) |
|---|---|---|
| ثبات ساختاری | بسیار بالا (فونتهای استاندارد) | بسیار پایین (بستگی به نویسنده) |
| جداسازی حروف | نسبتاً آسان | بسیار دشوار (حروف در هم تنیده) |
| تاثیر نویز | متوسط | بسیار زیاد (اشتباه با خطوط اضافی) |
| دقت مدلهای فعلی | بالا (۸۰٪ تا ۹۵٪) | متوسط تا پایین (۴۰٪ تا ۷۰٪) |
این تفاوت باعث میشود که برای پردازش اسناد دستنویس فارسی، دیگر نتوان از مدلهای ساده "تشخیص کاراکتر به کاراکتر" استفاده کرد. در عوض، باید از مدلهای Sequence-to-Sequence استفاده کرد. یعنی ماشین به جای اینکه بگوید "این یک 'الف' است و این یک 'ل' است"، سعی میکند کل کلمه یا حتی کل جمله را به عنوان یک "رشته" ببیند و بر اساس احتمالات آماری حدس بزند که این شکل بصری، احتمالاً معادل کدام کلمه در زبان فارسی است.
به زبان ساده، ماشین یاد میگیرد که اگر بعد از حرف "ب" در یک کلمه، شکلی شبیه به "ا" و "ر" دید، احتمالاً کلمه "باران" است، حتی اگر حرف "ر" کمی کج نوشته شده باشد. این دقیقاً همان روشی است که ما انسانها هنگام خواندن دستخطهای بد، از "بافت متن" (Context) برای حدس زدن کلمات استفاده میکنیم.
جنگ با "لیگاتورها" و پیچیدگیهای تایپوگرافی فارسی
اگر فکر میکنید اتصال ساده حروف بزرگترین مشکل است، اجازه دهید شما را با مفهومی به نام Ligatures یا "لیگاتورها" آشنا کنم. در دنیای تایپوگرافی فارسی، لیگاتور یعنی زمانی که دو یا چند حرف با هم ادغام میشوند و یک شکل بصری کاملاً جدید خلق میکنند که هیچ شباهتی به تکتک حروف سازندهاش ندارد. معروفترین مثال در این زمینه، ترکیب "ل" و "ا" در کلمه "الله" یا اتصال "می" در بسیاری از فونتهای نستعلیق و حتی برخی فونتهای رسمی است.
حالا تصور کنید یک مدل هوش مصنوعی که آموزش دیده است هر شکل را به یک حرف تبدیل کند، با یک لیگاتور مواجه میشود. ماشین به دنبال لبههای هر حرف میگردد تا آنها را تفکیک کند، اما هیچ لبهای پیدا نمیکند! چون دو حرف در هم ذوب شدهاند. در این لحظه، مدل یا دچار خطا میشود و یک کاراکتر ناشناخته (مثل مربعهای معروف یا همان �) برمیگرداند، یا سعی میکند آن شکل جدید را به نزدیکترین حرف تکنفره تبدیل کند که نتیجهاش یک کلمه بیمعنی است.
این چالش در اسناد اداری قدیمی که با ماشینهای تایپی قدیمی نوشته شدهاند یا متونی که با فونتهای هنری چاپ شدهاند، به اوج خود میرسد. در واقع، ما با یک تضاد بنیادین روبرو هستیم: هدف ماشین، تجزیه (Analysis) است، در حالی که ماهیت خط فارسی در بسیاری از نقاط، ترکیب (Synthesis) است.
"در پردازش تصویر متون فارسی، ما با زبانی سر و کار داریم که در آن هندسه، معنا را میسازد. وقتی هندسه تغییر میکند، معنا برای ماشین میمیرد."
چالش "نقطه"؛ کوچکترین جزئیاتی که بزرگترین تغییرات را میسازد
بیایید به سادهترین عضو الفبای ما نگاه کنیم: نقطه. در زبان انگلیسی، اگر یک نقطه در انتهای جمله گم شود، معنای جمله تغییر نمیکند. اما در فارسی، نقطه تعیینکننده هویت حرف است. تفاوت بین "ب"، "پ"، "ت" و "ث" تنها در تعداد و جایگاه چند پیکسل سیاه روی یک پسزمینه سفید است.
در محیطهای عملیاتی، اسناد همیشه تمیز نیستند. فرض کنید یک سند اسکن شده است و به دلیل کیفیت پایین، یکی از نقاط حرف "ت" محو شده است. حالا سیستم OCR با اطمینان کامل میگوید این حرف "ب" است. اینجاست که خطای بصری به خطای معنایی تبدیل میشود. برای حل این مشکل، توسعهدهندگان مجبورند از مدلهای زبانی (Language Models) در کنار پردازش تصویر استفاده کنند. یعنی ماشین باید بگوید: «من اینجا یک حرف 'ب' میبینم، اما با توجه به کلمات قبل و بعد، احتمالاً این کلمه باید 'تست' باشد، پس آن نقطه محو شده را نادیده میگیرم و آن را 'ت' میخوانم.»
این یعنی ما برای خواندن یک سند فارسی، به یک سیستم دو لایه نیاز داریم: لایه اول که میبیند (Computer Vision) و لایه دوم که میفهمد (NLP - پردازش زبان طبیعی). اگر هر یک از این دو لایه ضعیف باشد، کل سیستم شکست میخورد.
ساختار پیچیده اسناد؛ فراتر از شناسایی حروف
بسیاری از افراد تصور میکنند پردازش تصویر یعنی تبدیل عکس به متن. اما در دنیای واقعی، اسناد ساختار دارند. به این مفهوم Document Layout Analysis (DLA) میگویند. تصور کنید یک فرم ثبتنام یا یک قرارداد حقوقی فارسی را در نظر بگیرید. این اسناد شامل جداول، ستونهای مختلف، سربرگها، مهرها و امضاهایی هستند که به طور تصادفی روی متن قرار گرفتهاند.
در زبانهای چپبهراست، مدلهای DLA به راحتی میتوانند ستونها را تشخیص دهند. اما در اسناد فارسی، به دلیل تداخل احتمالی در حاشیهها و نحوه قرارگیری جداول، ماشینها گاهی گیج میشوند. برای مثال، ممکن است سیستم فکر کند متن ستون سمت راست، در واقع ادامه متن ستون سمت چپ است و کلمات را به صورت زیگزاگی بخواند. نتیجه این میشود که شما متنی دارید که حروفش درست هستند، اما ترتیب جملات به گونهای است که هیچ انسانی نمیتواند آن را بفهمد.
یک چالش خندهدار اما دردناک دیگر، "مهرها" هستند. در اسناد اداری ایران، مهرها معمولاً به صورت دایرهای یا بیضوی و با رنگ آبی یا قرمز روی متن ضرب میشوند. برای یک الگوریتم پردازش تصویر، مهر یک "نویز عظیم" است که روی پیکسلهای متن قرار گرفته است. ماشین باید بتواند تشخیص دهد که این رنگ آبی یک لکه نیست، بلکه یک مهر است و باید سعی کند متنی که زیر آن مهر قرار دارد را استخراج کند، بدون اینکه متنِ داخل خودِ مهر را با متن اصلی سند مخلوط کند.
برای مدیریت این پیچیدگیها، از تکنیکهایی مثل Region Proposal Networks استفاده میشود. ماشین ابتدا تصویر را به بلوکهای مختلف تقسیم میکند: «اینجا سربرگ است»، «اینجا جدول است»، «اینجا مهر است» و «اینجا متن اصلی است». سپس هر بلوک را با متدی متفاوت پردازش میکند. اما حتی با این روشها، وقتی صحبت از اسنادی میشود که به صورت دستی پر شدهاند و نوشتهها از کادرهای تعیین شده بیرون زدهاند، دقت سیستمها به شدت افت میکند.
مقایسهای میان رویکردهای سنتی و مدرن در پردازش اسناد فارسی
برای اینکه درک کنیم چرا هوش مصنوعیهای جدید (مثل مدلهای ترنسفورمر یا GPT-4V) نسبت به سیستمهای قدیمی برتری دارند، باید نگاهی به تکامل روشها بیندازیم. در گذشته، ما از روشهای "قاعدهمند" (Rule-based) استفاده میکردیم. یعنی به ماشین میگفتیم: «اگر یک خط افقی دیدی و زیر آن یک نقطه بود، پس این حرف "ب" است.»
طبیعتاً این روش در برابر هرگونه تغییر کوچک (مثل کج بودن خط یا تغییر فونت) شکست میخورد. سپس عصر "یادگیری ماشین" (Machine Learning) آمد که در آن ماشین از روی هزاران نمونه یاد میگرفت. اما انقلاب واقعی با Deep Learning و شبکههای عصبی کانولوشنی (CNN) رخ داد که اجازه داد ماشین "ویژگیهای بصری" را خودش کشف کند، نه اینکه ما به او دیکته کنیم.
در جدول زیر، تفاوت این سه نسل از پردازش تصویر را مشاهده میکنید:
| ویژگی | رویکرد قاعدهمند (قدیمی) | یادگیری ماشین (متوسط) | یادگیری عمیق (مدرن) |
|---|---|---|---|
| نحوه شناسایی | بر اساس فرمولهای ریاضی ثابت | بر اساس الگوهای آماری | بر اساس شبکههای عصبی پیچیده |
| انعطاف در فونت | تقریباً صفر | محدود به فونتهای آموزشی | بسیار بالا (توانایی تعمیم) |
| مدیریت نویز | بسیار ضعیف | متوسط (نیاز به پیشپردازش شدید) | بالا (توانایی نادیده گرفتن نویز) |
| سرعت پردازش | بسیار سریع | سریع | کندتر (نیاز به GPU) |
با وجود این پیشرفتها، هنوز یک حلقه مفقود وجود دارد: دادههای باکیفیت. مدلهای مدرن برای یادگیری نیاز به میلیونها تصویر از متون فارسی دارند که توسط انسانها برچسبگذاری (Labeling) شده باشند. در حالی که برای زبان انگلیسی، مجموعههای داده (Datasets) عظیم و رایگان وجود دارد، برای فارسی هنوز با کمبود دادههای استاندارد روبرو هستیم. این یعنی حتی پیشرفتهترین مدلهای OpenAI یا Google هم وقتی با یک سند فارسی بسیار خاص روبرو میشوند، ممکن است به دلیل نبودِ نمونههای مشابه در مرحله آموزش، دچار توهم (Hallucination) شوند و کلماتی را ابداع کنند که اصلاً در تصویر وجود ندارند.
آینده پردازش اسناد فارسی؛ از خواندن ساده تا درک عمیق
اکنون که با لایههای مختلف چالشهای پردازش تصویر در متون راستبهبهچپ آشنا شدیم، شاید این سوال پیش بیاید: «آیا هرگز به روزی میرسیم که ماشینها بتوانند اسناد فارسی را با دقت ۱۰۰ درصد بخوانند؟» پاسخ به این سوال در تغییر پارادایم از OCR (شناسایی کاراکتر) به VDU (درک بصری اسناد) نهفته است.
در روشهای قدیمی، ماشین سعی میکرد ابتدا حروف را ببیند، سپس کلمات را بسازد و در نهایت جمله را تحلیل کند. اما نسل جدید هوش مصنوعی، یعنی مدلهای چندوجهی (Multimodal Models)، مسیر را برعکس کردهاند. این مدلها همزمان تصویر را میبینند و ساختار زبانی را درک میکنند. آنها دیگر به دنبال این نیستند که لبهی حرف "س" را پیدا کنند، بلکه کل فضای بصری سند را به عنوان یک واحد تحلیل میکنند. این یعنی ماشین میفهمد که یک لکه آبی در گوشه صفحه، احتمالاً یک مهر تأیید است و متنی که زیر آن قرار دارد، یک امضای رسمی است، حتی اگر پیکسلهای آن به شدت مخدوش شده باشند.
تصور کنید سیستمی را داشته باشید که نه تنها متن یک قرارداد قدیمی را استخراج میکند، بلکه میتواند به شما بگوید: «در بند چهارم این قرارداد، مبلغ ذکر شده با اعداد نوشته شده در انتهای سند همخوانی ندارد.» این یعنی عبور از مرحله "تبدیل تصویر به متن" و رسیدن به مرحله "تحلیل محتوا".
چگونه میتوان اثرات منفی این چالشها را در سازمانها کاهش داد؟
برای کسبوکارهایی که با حجم عظیمی از اسناد کاغذی یا اسکنهای بیکیفیت سر و کار دارند، تکیه بر یک نرمافزار OCR ساده، ریسک خطای انسانی و مالی بزرگی را به همراه دارد. برای به حداقل رساندن این خطاها، باید یک استراتژی جامع در سه مرحله پیادهسازی شود:
- بهینهسازی ورودی: استفاده از اسکنرهای با کیفیت بالا و پیادهسازی فیلترهای پیشپردازش (Preprocessing) برای حذف نویزهای محیطی و اصلاح زاویه اسناد قبل از ارسال به هوش مصنوعی.
- استفاده از مدلهای ترکیبی: ترکیب مدلهای بینایی ماشین (Computer Vision) با مدلهای زبانی (LLMs) تا خطاهای بصری از طریق منطق زبانی اصلاح شوند.
- حلقه بازبینی انسانی (Human-in-the-loop): پذیرفتن این واقعیت که در زبان پیچیدهای مثل فارسی، نظارت انسانی بر خروجیهای حساس (مانند اسناد مالی یا حقوقی) تا زمان رسیدن به دقت ۹۹٪ ضروری است.
"هوش مصنوعی قرار نیست جایگزین متخصصی شود که متون فارسی را میخواند، بلکه قرار است او را از شر هزاران ساعت تایپ دستی و جستجوی خستهکننده در بایگانیهای غبارآلود نجات دهد."
سخن پایانی: تبدیل چالش به فرصت
پردازش تصویر در اسناد فارسی، علیرغم تمام دشواریهای فنی، یک فرصت طلایی برای دیجیتالی کردن میراث و دادههای ماست. از تبدیل دستنوشتههای تاریخی به متون قابل جستجو گرفته تا اتوماسیون کامل فرآیندهای اداری در سازمانها، همگی به غلبه بر این موانع بستگی دارد.
بیایید روراست باشیم؛ پیادهسازی چنین سیستمهایی برای یک تیم غیرفنی یا حتی تیمهای برنامهنویسی معمولی، به دلیل پیچیدگیهای زبان فارسی و نیاز به سختافزارهای پردازشی قوی، بسیار دشوار است. بسیاری از سازمانها سعی میکنند با خرید نرمافزارهای آماده خارجی این مشکل را حل کنند، اما متوجه میشوند که این ابزارها برای زبانهای لاتین ساخته شدهاند و در مواجهه با "لیگاتورها" یا "مهرهای اداری" ایرانی، کاملاً فلج میشوند.
راه حل واقعی، استفاده از معماریهایی است که از ابتدا با درک پیچیدگیهای بومی طراحی شدهاند. اگر سازمان شما با حجم زیادی از اسناد فارسی سر و کار دارد و میخواهید بدون درگیر شدن با پیچیدگیهای فنی، دادههای خود را به صورت هوشمند و دقیق استخراج کنید، پیشنهاد میکنم یک گام عملی بردارید. شما میتوانید با بررسی راهکارهای تخصصی در بخش تماس زیروکس ایآی، مشاورهای بگیرید تا متوجه شوید چگونه میتوان مدلهای هوش مصنوعی را متناسب با نوع اسناد شما بهینه کرد و نرخ خطای پردازش را به پایینترین سطح ممکن رساند.
در نهایت، دنیای پردازش تصویر در حال تغییر است. ما از عصری که در آن ماشینها فقط "میدیدند" به عصری وارد شدهایم که ماشینها "میفهمند". زبان فارسی با تمام پیچیدگیهای بصریاش، دیگر سدی در برابر پیشرفت نیست، بلکه چالشی است که با ابزارهای درست، میتواند به بزرگترین مزیت رقابتی سازمانها در مدیریت دانش تبدیل شود.