جمعه، آذر ۲۱، ۱۳۹۳

زبان عربی قدیم - بدون نقطه و اِعراب

امروز در ویکیپدیا به مطلبی در مورد زبان عربی برخورد کردم که برای من عجیب بود. مطلب در مورد نگارشهای مختلف زبان عربی بود. ظاهرا در زمانیها قدیم در زبان عربی نه نقطه‌ای وجود داشته و نه اعرابی. نمونه نوشته شده زیر در زمانهای مختلف را می‌توانید در عکس زیر ببینید:

نگارشهای مختلف بسم‌الله ارحمن الرحیم 

اولین خط مربوط به خط عربی کوفی است که در قرن ۹ استفاده می‌شده است. حذف اعراب از زبان عربی به تنهائی پردازش متن را مشکل می‌کند برای اینکه مدل کامگیوتری ما  باید بتواند در جمله را تجزیه و تحلیل کرده و بر اساس نقش هر کلمه اعراب آنرا حدس بزند. حال اگر نقطه را هم حذف کنیم، پیچیدگی زبان عربی بیشتر خواهد شد.


مثلا دیگه فرقی بین ب و ن در زبان عربی نخواهد بود. آیا بنظر شما با توجه به اینکه زبان فارسی از سیستم مشابه زبان عربی برای نوشتن استفاده می‌کند، چنین تغییری در زبان فارسی هم اتفاق افتاده است؟

لینکهای مرتبط

چهارشنبه، شهریور ۱۲، ۱۳۹۳

مبدل متن به دست‌خط

من آقای خوش‌خطی هستم


همیشه صحبت از استفاده از مدلهای یادگیری ماشین برای تشخیص دست‌خط بوده، اما اینبار گروهی از محققان دانشگاه تورنتو مدلی ارائه کرده‌اند که می‌تونه متن نوشته شده را به دست‌خط شما تبدیل کنه. تصور کنید که می‌خواهید متنی با دست‌خط خودتان داشته باشید اما با توجه به اینکه اینروزها نوشتن روی کاغذ کار ساده‌ای نیست، از انجام اینکار صرفنظر می‌کنید. اما اگر این برنامه را داشته باشید می‌توانید متن را تایپ کرده و در نهایت آنرا با دست‌خط خودتان داشته باشید.

نمونه متن نوشته شده توسط این برنامه
این برنامه را می‌توانید از طریق لینک زیر تست کنید. البته در حال حاضر فقط برای دست‌خطهای موجود به زبان انگلیسی در سیستم اینکار را انجام میده.


تصور کنید که بتوانید متن خودتان را به دست‌خط فردی که دوست دارید بنویسید. مثلا متن نامه شما با دست‌خط شکسپیر.



چه کاربردهای دیگری برای این تکنولوژی می‌توانید تصور کنید؟

چهارشنبه، مرداد ۱۵، ۱۳۹۳

یک برنامه - تشخیص دهنده زبان - Language identification


یکی از اولین ابزارهای مورد نیاز پروژه‌های پردازش زبان طبیعی چند زبانه،  تشخیص زبان محتوای داده شده است. روشهای مختلفی برای اینکار می‌توان استفاده کرد، که ساده‌ترین آن استفاده از مدل ngram  است. در ادامه این نوشته این مدل را توضیح داده و در نهایت یک برنامه پرل (Perl) براي استفاده شما معرفي می‌كنم.