प्राकृतिक भाषा प्रसंस्करण

प्राकृतिक भाषा प्रसंस्करण (एनएलपी) कम्प्यूटर साइंस, सूचना इंजीनियरिंग, और कृत्रिम बुद्धि का एक उप-क्षेत्र है जो कंप्यूटर और मानव (प्राकृतिक) भाषाओं के बीच बातचीत से संबंधित है, विशेष रूप से कंप्यूटर को बड़ी मात्रा में प्राकृतिक भाषा डेटा को संसाधित करने और विश्लेषण करने के लिए प्रोग्राम करने के लिए कैसे करें।

प्राकृतिक भाषा प्रसंस्करण में चुनौतियों में अक्सर भाषण मान्यता, प्राकृतिक भाषा समझ और प्राकृतिक भाषा उत्पादन शामिल होता है।

इतिहास
प्राकृतिक भाषा प्रसंस्करण का इतिहास आमतौर पर 1 9 50 के दशक में शुरू हुआ, हालांकि कार्य पहले की अवधि से पाया जा सकता है। 1 9 50 में, एलन ट्यूरिंग ने “इंटेलिजेंस” नामक एक लेख प्रकाशित किया, जिसे प्रस्तावित किया गया था जिसे अब ट्यूरिंग टेस्ट को बुद्धिमत्ता के मानदंड के रूप में जाना जाता है।

1 9 54 में जॉर्जटाउन प्रयोग में 60 से अधिक रूसी वाक्यों का अंग्रेजी में पूरी तरह से स्वचालित अनुवाद शामिल था। लेखकों ने दावा किया कि तीन या पांच वर्षों के भीतर, मशीन अनुवाद एक हल समस्या होगी। हालांकि, वास्तविक प्रगति बहुत धीमी थी, और 1 9 66 में एएलपीएसी रिपोर्ट के बाद, जिसमें पाया गया कि दस साल का शोध उम्मीदों को पूरा करने में असफल रहा है, मशीन अनुवाद के लिए धन नाटकीय रूप से कम किया गया था। मशीन अनुवाद में थोड़ा और शोध 1 9 80 के दशक के अंत तक आयोजित किया गया था, जब पहली सांख्यिकीय मशीन अनुवाद प्रणाली विकसित की गई थीं।

1 9 60 के दशक में विकसित कुछ उल्लेखनीय रूप से सफल प्राकृतिक भाषा प्रसंस्करण प्रणालियां एसएचआरडीएलयू थीं, जो प्रतिबंधित शब्दावली के साथ प्रतिबंधित “ब्लॉक दुनिया” में काम कर रही एक प्राकृतिक भाषा प्रणाली थी, और 1 9 64 और 1 9 66 के बीच जोसेफ वेज़ेनबाम द्वारा लिखित रोजरियन मनोचिकित्सक का अनुकरण एलिजा। मानव विचार या भावना के बारे में कोई जानकारी नहीं, ELIZA ने कभी-कभी एक चौंकाने वाली मानव-जैसी बातचीत प्रदान की। जब “रोगी” बहुत छोटे ज्ञान आधार से अधिक हो जाता है, तो एलिजा एक सामान्य प्रतिक्रिया प्रदान कर सकता है, उदाहरण के लिए, “मेरा सिर दर्द क्यों करता है” के साथ जवाब देता है “आप अपने सिर को क्यों कहते हैं?”।

1 9 70 के दशक के दौरान, कई प्रोग्रामर ने “वैचारिक औपचारिकता” लिखना शुरू किया, जिसने कंप्यूटर-समझने योग्य डेटा में वास्तविक दुनिया की जानकारी को संरचित किया। उदाहरण हैं मार्गी (स्कैंक, 1 9 75), एसएएम (कुलिंगफोर्ड, 1 9 78), पीएएम (विल्सेंस्की, 1 9 78), टेलसपिन (मीहान, 1 9 76), क्वाल्म (लेहर्ट, 1 9 77), पॉलिटिक्स (कार्बनेल, 1 9 7 9), और प्लॉट यूनिट्स (लेहर्टर्ट 1 9 81) )। इस समय के दौरान, कई chatterbots पेरी, रेक्टर, और Jabberwacky सहित लिखा गया था।

1 9 80 के दशक तक, अधिकांश प्राकृतिक भाषा प्रसंस्करण प्रणाली हस्तलिखित नियमों के जटिल सेटों पर आधारित थीं। 1 9 80 के दशक के उत्तरार्ध में, भाषा प्रसंस्करण के लिए मशीन लर्निंग एल्गोरिदम की शुरूआत के साथ प्राकृतिक भाषा प्रसंस्करण में एक क्रांति हुई थी। यह कम्प्यूटेशनल पावर में स्थिर वृद्धि (मूर के कानून को देखें) और भाषाविज्ञान (जैसे परिवर्तनकारी व्याकरण) के चोम्स्कायन सिद्धांतों के प्रभुत्व के क्रमिक कमी के कारण था, जिनके सैद्धांतिक आधार पर कॉर्पस भाषाविज्ञान के प्रकार को हतोत्साहित किया गया जो मशीन-सीखने के दृष्टिकोण को कम करता है भाषा प्रसंस्करण के लिए। शुरुआती उपयोग किए जाने वाले मशीन सीखने वाले एल्गोरिदम में से कुछ, जैसे निर्णय पेड़, कठोर परिश्रम प्रणाली- तब मौजूदा हाथ-लिखित नियमों के समान नियम। हालांकि, अंश-भाषण टैगिंग ने छुपे हुए मार्कोव मॉडलों के प्राकृतिक भाषा प्रसंस्करण के उपयोग को पेश किया, और तेजी से, अनुसंधान ने सांख्यिकीय मॉडल पर ध्यान केंद्रित किया है, जो इनपुट बनाने वाली सुविधाओं के लिए वास्तविक मूल्यवान भार को जोड़ने के आधार पर नरम, संभाव्य निर्णय लेते हैं। डेटा। कैश भाषा मॉडल जिन पर कई भाषण मान्यता प्रणाली अब भरोसा करते हैं, ऐसे सांख्यिकीय मॉडल के उदाहरण हैं। ऐसे मॉडल आम तौर पर अधिक मजबूत होते हैं जब अपरिचित इनपुट दिया जाता है, विशेष रूप से इनपुट जिसमें त्रुटियां होती हैं (वास्तविक दुनिया डेटा के लिए बहुत आम है), और कई उप-कार्यक्षेत्रों वाली एक बड़ी प्रणाली में एकीकृत होने पर अधिक विश्वसनीय परिणाम उत्पन्न करती हैं।

उल्लेखनीय प्रारंभिक सफलताओं में से कई मशीन अनुवाद के क्षेत्र में हुईं, खासकर आईबीएम रिसर्च में काम करने के कारण, जहां लगातार अधिक जटिल सांख्यिकीय मॉडल विकसित किए गए। ये सिस्टम सरकार के संबंधित सिस्टम की सभी आधिकारिक भाषाओं में सभी सरकारी कार्यवाहीओं के अनुवाद के लिए बुलाए जाने वाले कानूनों के परिणामस्वरूप कनाडा के संसद और यूरोपीय संघ द्वारा उत्पादित मौजूदा बहुभाषी पाठ्य निगम का लाभ लेने में सक्षम थे। हालांकि, अधिकांश प्रणालियों को विशेष रूप से इन प्रणालियों द्वारा लागू कार्यों के लिए विकसित निगम पर निर्भर किया गया था, जो इन प्रणालियों की सफलता में एक बड़ी सीमा थी (और अक्सर जारी है)। नतीजतन, अनुसंधान का एक बड़ा सौदा सीमित मात्रा में डेटा से अधिक प्रभावी ढंग से सीखने के तरीकों में चला गया है।

हाल के शोध ने असुरक्षित और अर्द्ध पर्यवेक्षित शिक्षण एल्गोरिदम पर तेजी से ध्यान केंद्रित किया है। ऐसे एल्गोरिदम डेटा से सीखने में सक्षम होते हैं जिन्हें वांछित उत्तरों के साथ हाथ से एनोटेट नहीं किया गया है, या एनोटेटेड और गैर-एनोटेटेड डेटा के संयोजन का उपयोग किया जा रहा है। आम तौर पर, यह कार्य पर्यवेक्षित शिक्षा से कहीं अधिक कठिन होता है, और आमतौर पर इनपुट डेटा के लिए कम सटीक परिणाम उत्पन्न करता है। हालांकि, गैर-एनोटेटेड डेटा उपलब्ध है (जिसमें अन्य चीजों के अलावा, वर्ल्ड वाइड वेब की पूरी सामग्री भी शामिल है), जो अक्सर कम से कम परिणामों के लिए तैयार हो सकती है यदि एल्गोरिदम का उपयोग पर्याप्त समय जटिलता के लिए होता है व्यावहारिक हो।

2010 के दशक में, प्रतिनिधित्व सीखने और गहरे तंत्रिका नेटवर्क-शैली मशीन सीखने के तरीके प्राकृतिक भाषा प्रसंस्करण में व्यापक हो गए, क्योंकि परिणामस्वरूप झुकाव के परिणामस्वरूप यह तकनीक कई प्राकृतिक भाषा कार्यों में अत्याधुनिक परिणाम प्राप्त कर सकती है, उदाहरण के लिए भाषा मॉडलिंग, पार्सिंग और कई अन्य लोगों में। लोकप्रिय तकनीकों में शब्द के अर्थात् गुणों को कैप्चर करने के लिए शब्द एम्बेडिंग का उपयोग शामिल है, और अलग-अलग मध्यवर्ती कार्यों की पाइपलाइन पर निर्भर होने के बजाय उच्च स्तरीय कार्य (उदाहरण के लिए, प्रश्न उत्तर देने) की अंत-टू-एंड सीखने में वृद्धि शामिल है (उदाहरण के लिए, भाग-का-भाषण टैगिंग और निर्भरता पार्सिंग)। कुछ क्षेत्रों में, इस शिफ्ट ने एनएलपी सिस्टमों को कैसे डिजाइन किया गया है, इस बारे में काफी बदलाव किए हैं, जैसे गहरे तंत्रिका नेटवर्क-आधारित दृष्टिकोण सांख्यिकीय प्राकृतिक भाषा प्रसंस्करण से अलग एक नए प्रतिमान के रूप में देखा जा सकता है। उदाहरण के लिए, तंत्रिका मशीन अनुवाद (एनएमटी) शब्द इस तथ्य पर जोर देता है कि मशीन अनुवाद के लिए गहरी सीखने-आधारित दृष्टिकोण सीधे अनुक्रम-से-अनुक्रम परिवर्तन सीखते हैं, जो मध्यवर्ती चरणों जैसे शब्द संरेखण और भाषा मॉडलिंग जैसे सांख्यिकीय में उपयोग किए जाने की आवश्यकता को रोकते हैं मशीन अनुवाद (एसएमटी)।

नियम-आधारित बनाम सांख्यिकीय एनएलपी
प्रारंभिक दिनों में, कई भाषा-प्रसंस्करण प्रणालियों को नियमों के एक सेट को कोड-कोडिंग द्वारा डिजाइन किया गया था, उदाहरण के लिए व्याकरण लिखना या स्टेमिंग के लिए हेरिस्टिक नियम तैयार करना। हालांकि, यह प्राकृतिक भाषा भिन्नता के लिए सामान्य रूप से मजबूत नहीं है।

1 9 80 के दशक के उत्तरार्ध और 1 99 0 के दशक के मध्य में तथाकथित “सांख्यिकीय क्रांति” के बाद, बहुत से प्राकृतिक भाषा प्रसंस्करण अनुसंधान ने मशीन सीखने पर भारी निर्भर किया है।

सामान्य वास्तविक उदाहरणों (एक कॉर्पस (बहुवचन, “निगम”) के बड़े निगम के विश्लेषण के माध्यम से स्वचालित रूप से ऐसे नियमों को सीखने के लिए सांख्यिकीय अनुमान का उपयोग करने के लिए मशीन-लर्निंग पैराडाइम कॉल करता है, संभवतः मानव या कंप्यूटर एनोटेशन के साथ दस्तावेज़ों का एक सेट है )।

मशीन-लर्निंग एल्गोरिदम के कई अलग-अलग वर्ग प्राकृतिक-भाषा-प्रसंस्करण कार्यों पर लागू किए गए हैं। ये एल्गोरिदम इनपुट डेटा से उत्पन्न “फीचर्स” का एक बड़ा सेट इनपुट के रूप में लेते हैं। कुछ शुरुआती-प्रयोग किए गए एल्गोरिदम, जैसे कि निर्णय पेड़, कठोर परिश्रम प्रणालियों का उत्पादन करते हैं, फिर हाथ-लिखित नियमों की प्रणालियों के समान नियम होते हैं जो तब आम थे। हालांकि, बढ़ते हुए, अनुसंधान ने सांख्यिकीय मॉडल पर ध्यान केंद्रित किया है, जो प्रत्येक इनपुट सुविधा के लिए वास्तविक मूल्यवान भार को जोड़ने के आधार पर मुलायम, संभाव्य निर्णय लेते हैं। इस तरह के मॉडल का लाभ यह है कि वे केवल एक के बजाय कई अलग-अलग संभावित उत्तरों की सापेक्ष निश्चितता व्यक्त कर सकते हैं, जब अधिक मॉडल को एक बड़े सिस्टम के घटक के रूप में शामिल किया जाता है तो अधिक विश्वसनीय परिणाम उत्पन्न करते हैं।

मशीन-लर्निंग एल्गोरिदम के आधार पर सिस्टम हाथ से उत्पादित नियमों पर कई फायदे हैं:

मशीन सीखने के दौरान उपयोग की जाने वाली सीखने की प्रक्रिया स्वचालित रूप से सबसे आम मामलों पर ध्यान केंद्रित करती है, जबकि हाथों से नियम लिखते समय अक्सर यह स्पष्ट नहीं होता है कि प्रयास को निर्देशित किया जाना चाहिए।
स्वचालित सीखने की प्रक्रिया सांख्यिकीय-अनुमान एल्गोरिदम का उपयोग उन मॉडलों का उत्पादन करने के लिए कर सकती है जो अपरिचित इनपुट (जैसे शब्दों या संरचनाओं को पहले देखा नहीं गया है) और ग़लत इनपुट (जैसे गलत वर्तनी वाले शब्दों या गलती से छोड़े गए शब्दों के साथ) के लिए मजबूत हैं। आम तौर पर, हाथ से लिखे गए नियमों के साथ इस तरह के इनपुट को गहन रूप से संभालना – या अधिक आम तौर पर, हाथ से लिखे नियमों की प्रणालियों का निर्माण करना जो मुलायम निर्णय लेते हैं- बेहद मुश्किल, त्रुटि-प्रवण और समय लेने वाली है।
नियमों को स्वचालित रूप से सीखने के आधार पर सिस्टम को अधिक इनपुट डेटा की आपूर्ति करके अधिक सटीक बनाया जा सकता है। हालांकि, हाथ से लिखे गए नियमों के आधार पर सिस्टम केवल नियमों की जटिलता को बढ़ाकर अधिक सटीक बना सकते हैं, जो एक और अधिक कठिन कार्य है। विशेष रूप से, हाथ से तैयार नियमों के आधार पर सिस्टम की जटिलता की एक सीमा है, जिसके बाद सिस्टम अधिक से अधिक अप्रबंधनीय बन जाते हैं। हालांकि, मशीन-लर्निंग सिस्टम में इनपुट करने के लिए अधिक डेटा बनाने के लिए केवल मानव-घंटे की संख्या में समान वृद्धि की आवश्यकता होती है, आमतौर पर एनोटेशन प्रक्रिया की जटिलता में महत्वपूर्ण वृद्धि के बिना।

प्रमुख मूल्यांकन और कार्य
निम्नलिखित प्राकृतिक भाषा प्रसंस्करण में सबसे अधिक शोध किए गए कार्यों की एक सूची है। ध्यान दें कि इनमें से कुछ कार्यों में प्रत्यक्ष वास्तविक दुनिया के अनुप्रयोग हैं, जबकि अन्य आमतौर पर उप-कार्य के रूप में कार्य करते हैं जिनका उपयोग बड़े कार्यों को हल करने में सहायता के लिए किया जाता है।

यद्यपि प्राकृतिक भाषा प्रसंस्करण कार्य बारीकी से अंतर्निहित हैं, लेकिन उन्हें अक्सर सुविधा के लिए श्रेणियों में विभाजित किया जाता है। एक मोटे विभाजन नीचे दिया गया है।

वाक्य – विन्यास

व्याकरण प्रेरण
एक औपचारिक व्याकरण उत्पन्न करें जो एक भाषा के वाक्यविन्यास का वर्णन करता है।

lemmatization

मोर्फोलॉजिकल सेगमेंटेशन
अलग-अलग शब्दों को अलग-अलग morphemes में और morphemes की कक्षा की पहचान। इस कार्य की कठिनाई भाषा पर विचारधारा की जटिलता (यानी शब्दों की संरचना) पर निर्भर करती है। अंग्रेजी में काफी सरल रूपरेखा है, विशेष रूप से इन्फ्लेक्शनल मॉर्फोलॉजी, और इस प्रकार इस कार्य को पूरी तरह से अनदेखा करना और आसानी से एक शब्द के सभी संभावित रूपों (जैसे “खुला, खुलता है, खोला, खोलना”) अलग शब्दों के रूप में मॉडल करना संभव है। तुर्की या मीतेई जैसी भाषाओं में, एक अत्यधिक संक्रमित भारतीय भाषा, हालांकि, ऐसा दृष्टिकोण संभव नहीं है, क्योंकि प्रत्येक शब्दकोश प्रविष्टि में हजारों संभावित शब्द रूप हैं।

भाषण का हिस्सा टैगिंग
एक वाक्य को देखते हुए, प्रत्येक शब्द के लिए भाषण का हिस्सा निर्धारित करें। कई शब्द, विशेष रूप से आम लोग, भाषण के कई हिस्सों के रूप में कार्य कर सकते हैं। उदाहरण के लिए, “पुस्तक” एक संज्ञा हो सकती है (“तालिका पर पुस्तक”) या क्रिया (“एक उड़ान बुक करने के लिए”); “सेट” एक संज्ञा, क्रिया या विशेषण हो सकता है; और “बाहर” भाषण के कम से कम पांच अलग-अलग हिस्सों में से कोई भी हो सकता है। कुछ भाषाओं में दूसरों की तुलना में ऐसी अधिक अस्पष्टता है। [संदिग्ध – चर्चा] अंग्रेजी जैसे छोटे इन्फ्लेक्शनल मॉर्फोलॉजी वाली भाषाएं विशेष रूप से ऐसी अस्पष्टता के लिए प्रवण होती हैं। चीनी ऐसी अस्पष्टता से ग्रस्त है क्योंकि यह शब्दकोष के दौरान एक टोनल भाषा है। इस तरह के परिवर्तन को अर्थपूर्ण अर्थ व्यक्त करने के लिए ऑर्थोग्राफी के भीतर नियोजित संस्थाओं के माध्यम से आसानी से व्यक्त नहीं किया जाता है।

पदच्छेद
किसी दिए गए वाक्य के पार्स पेड़ (व्याकरण संबंधी विश्लेषण) का निर्धारण करें। प्राकृतिक भाषाओं के लिए व्याकरण संदिग्ध है और सामान्य वाक्यों में कई संभावित विश्लेषण हैं। असल में, शायद आश्चर्यजनक रूप से, एक सामान्य वाक्य के लिए हजारों संभावित पार्स हो सकते हैं (जिनमें से अधिकांश मानव के लिए पूरी तरह से बकवास लगेंगे)। पार्सिंग, निर्भरता पार्सिंग और निर्वाचन क्षेत्र पार्सिंग के दो प्राथमिक प्रकार हैं। निर्भरता पार्सिंग वाक्य में शब्दों (प्राथमिक वस्तुओं और भविष्यवाणियों जैसी चीजों को चिह्नित करने) के बीच संबंधों पर केंद्रित है, जबकि निर्वाचन क्षेत्र पार्सिंग एक संभाव्य संदर्भ-मुक्त व्याकरण (पीसीएफजी) का उपयोग करके पार्स ट्री बनाने पर केंद्रित है।

वाक्य तोड़ने (वाक्य सीमा असंबद्धता के रूप में भी जाना जाता है)
पाठ के एक हिस्से को देखते हुए, वाक्य सीमाएं पाएं। वाक्य सीमाओं को अक्सर अवधि या अन्य विराम चिह्नों द्वारा चिह्नित किया जाता है, लेकिन ये वही पात्र अन्य उद्देश्यों को पूरा कर सकते हैं (उदाहरण के लिए संक्षेप को चिह्नित करना)।

स्टेमिंग
शब्द विभाजन
अलग-अलग शब्दों में निरंतर पाठ का एक हिस्सा अलग करें। अंग्रेजी जैसी भाषा के लिए, यह काफी मामूली है, क्योंकि शब्द आमतौर पर रिक्त स्थान से अलग होते हैं। हालांकि, चीनी, जापानी और थाई जैसी कुछ लिखित भाषाएं इस तरह के फैशन में शब्द सीमाओं को चिह्नित नहीं करती हैं, और उन भाषाओं में टेक्स्ट सेगमेंटेशन एक महत्वपूर्ण कार्य है जो भाषा में शब्दों की शब्दावली और रूपरेखा के ज्ञान की आवश्यकता होती है। कभी-कभी इस प्रक्रिया का उपयोग डेटा खनन में बैग ऑफ वर्ड्स (बीओओ) निर्माण जैसे मामलों में भी किया जाता है।

शब्दावली निष्कर्षण
शब्दावली निष्कर्षण का लक्ष्य स्वचालित रूप से किसी दिए गए कॉर्पस से प्रासंगिक शर्तों को निकालना है।

शब्दार्थ

लेक्सिकल अर्थशास्त्र
संदर्भ में अलग-अलग शब्दों का कम्प्यूटेशनल अर्थ क्या है?

मशीन अनुवाद
स्वचालित रूप से एक मानव भाषा से दूसरे पाठ में पाठ का अनुवाद करें। यह सबसे कठिन समस्याओं में से एक है, और समस्याओं की एक वर्ग का सदस्य है जिसे “एआई-पूर्ण” कहा जाता है, यानी मनुष्यों के पास विभिन्न प्रकार के ज्ञान की आवश्यकता होती है (व्याकरण, अर्थशास्त्र, असली दुनिया के बारे में तथ्य इत्यादि। ठीक से हल करने के लिए)।

नामित इकाई पहचान (एनईआर)
पाठ की एक धारा को देखते हुए, निर्धारित करें कि टेक्स्ट मैप में कौन से आइटम उचित नामों, जैसे कि लोगों या स्थानों, और प्रत्येक ऐसे नाम का प्रकार क्या है (उदाहरण के लिए व्यक्ति, स्थान, संगठन)। ध्यान दें कि, हालांकि पूंजीकरण अंग्रेजी जैसी भाषाओं में नामित इकाइयों को पहचानने में सहायता कर सकता है, लेकिन यह जानकारी नामित इकाई के प्रकार को निर्धारित करने में सहायता नहीं कर सकती है, और किसी भी मामले में अक्सर गलत या अपर्याप्त होता है। उदाहरण के लिए, वाक्य का पहला शब्द भी पूंजीकृत होता है, और नामित संस्थाएं अक्सर कई शब्दों का विस्तार करती हैं, जिनमें से कुछ केवल पूंजीकृत होती हैं। इसके अलावा, गैर-पश्चिमी लिपियों (जैसे चीनी या अरबी) में कई अन्य भाषाओं में कोई पूंजीकरण नहीं है, और यहां तक ​​कि पूंजीकरण वाली भाषाएं भी नामों को अलग करने के लिए इसका उपयोग नहीं कर सकती हैं। उदाहरण के लिए, जर्मन सभी संज्ञाओं को कैपिटल करता है, भले ही वे नाम हैं, और फ्रेंच और स्पैनिश उन नामों को कैपिटल नहीं करते हैं जो विशेषण के रूप में कार्य करते हैं।

प्राकृतिक भाषा पीढ़ी
कंप्यूटर डेटाबेस या अर्थपूर्ण इरादों से जानकारी को पढ़ने योग्य मानव भाषा में कनवर्ट करें।

प्राकृतिक भाषा समझ
टेक्स्ट के हिस्सों को अधिक औपचारिक प्रस्तुतिकरणों में कनवर्ट करें जैसे कि प्रथम-आदेश तर्क संरचनाएं जो कंप्यूटर प्रोग्रामों में हेरफेर करने के लिए आसान होती हैं। प्राकृतिक भाषा समझ में कई संभावित अर्थशास्त्र से इच्छित अर्थपूर्ण की पहचान शामिल होती है जिसे प्राकृतिक भाषा अभिव्यक्ति से लिया जा सकता है जो आमतौर पर प्राकृतिक भाषा अवधारणाओं के संगठित नोटेशन का रूप लेता है। भाषा मेटामोडेल और ऑन्टोलॉजी का परिचय और निर्माण कुशल है हालांकि अनुभवजन्य समाधान। बंद-विश्व धारणा (सीडब्ल्यूए) बनाम खुली दुनिया की धारणा, या व्यक्तिपरक हां / नहीं बनाम उद्देश्य के रूप में अंतर्निहित धारणाओं के साथ भ्रम के बिना प्राकृतिक भाषा अर्थशास्त्र का एक स्पष्ट औपचारिकरण, अर्थशास्त्र औपचारिकरण के आधार के निर्माण के लिए सही / गलत है ।

ऑप्टिकल कैरेक्टर रिकॉग्नाइजेशन (ओसीआर)
मुद्रित पाठ का प्रतिनिधित्व करने वाली छवि को देखते हुए, संबंधित पाठ निर्धारित करें।

प्रश्न का उत्तर
मानव-भाषा प्रश्न को देखते हुए, इसका उत्तर निर्धारित करें। विशिष्ट प्रश्नों का एक विशिष्ट सही उत्तर होता है (जैसे “कनाडा की राजधानी क्या है?”), लेकिन कभी-कभी ओपन-एंडेड प्रश्नों पर भी विचार किया जाता है (जैसे कि “जीवन का अर्थ क्या है?”)। हाल के कार्यों ने और भी जटिल प्रश्नों को देखा है।

पाठ की प्राप्ति को पहचानना
दो पाठ खंडों को देखते हुए, यह निर्धारित करें कि क्या कोई सच है, दूसरे की निंदा करता है, या दूसरे की अस्वीकृति को शामिल करता है, या दूसरे को या तो सत्य या गलत होने की अनुमति देता है।

संबंध निष्कर्षण
पाठ का एक हिस्सा देखते हुए, नामित संस्थाओं के बीच संबंधों की पहचान करें (उदाहरण के लिए किसके साथ विवाहित है)।

भावना विश्लेषण (बहुआयामी भावना विश्लेषण भी देखें)
आमतौर पर दस्तावेजों के एक सेट से व्यक्तिपरक जानकारी निकालें, अक्सर विशिष्ट वस्तुओं के बारे में “ध्रुवीयता” निर्धारित करने के लिए ऑनलाइन समीक्षाओं का उपयोग करना। विपणन के उद्देश्य के लिए सोशल मीडिया में जनता की राय के रुझानों की पहचान करने के लिए यह विशेष रूप से उपयोगी है।

विषय विभाजन और मान्यता
पाठ के एक हिस्से को देखते हुए, इसे सेगमेंट में विभाजित करें जिनमें से प्रत्येक विषय के लिए समर्पित है, और सेगमेंट के विषय की पहचान करें।

शब्द भावना असंबद्धता
कई शब्दों में एक से अधिक अर्थ हैं; हमें उस अर्थ का चयन करना है जो संदर्भ में सबसे अधिक समझ में आता है। इस समस्या के लिए, हमें आम तौर पर शब्दों और संबंधित शब्द इंद्रियों की एक सूची दी जाती है, उदाहरण के लिए एक शब्दकोश से या ऑनलाइन संसाधन जैसे वर्डनेट से।

प्रवचन

स्वचालित संक्षेपण
पाठ के एक खंड का एक पठनीय सारांश तैयार करें। अक्सर एक ज्ञात प्रकार के पाठ के सारांश प्रदान करने के लिए उपयोग किया जाता है, जैसे समाचार पत्र के वित्तीय खंड में लेख।
कोरिफर संकल्प

एक वाक्य या पाठ के बड़े हिस्से को देखते हुए, निर्धारित करें कि कौन से शब्द (“उल्लेख”) एक ही वस्तु (“संस्थाएं”) का संदर्भ देते हैं। अनाफोरा रेज़ोल्यूशन इस कार्य का एक विशिष्ट उदाहरण है, और विशेष रूप से उन संज्ञाओं या नामों के साथ सर्वनामों से मिलान करने के लिए चिंतित है, जिनके बारे में वे संदर्भित करते हैं। कोरिफरेंस रिज़ॉल्यूशन के अधिक सामान्य कार्य में संदर्भित अभिव्यक्तियों को शामिल करने वाले तथाकथित “ब्रिजिंग रिलेशनशिप” की पहचान भी शामिल है। उदाहरण के लिए, “उन्होंने सामने वाले दरवाजे के माध्यम से जॉन के घर में प्रवेश किया” जैसे वाक्य में, “सामने का दरवाजा” एक संदर्भित अभिव्यक्ति है और ब्रिजिंग रिश्ते की पहचान की जानी चाहिए यह तथ्य है कि जिस दरवाजे को संदर्भित किया जा रहा है वह जॉन के सामने का दरवाजा है घर (किसी अन्य संरचना के बजाए जिसे भी संदर्भित किया जा सकता है)।

भाषण का विश्लेषण
इस रूब्रिक में कई संबंधित कार्य शामिल हैं। एक कार्य जुड़े हुए पाठ की प्रवचन संरचना की पहचान कर रहा है, यानी वाक्यों के बीच भाषण संबंधों की प्रकृति (जैसे विस्तार, स्पष्टीकरण, विपरीत)। एक और संभावित कार्य पाठ के एक हिस्से में भाषण कृत्यों को पहचानना और वर्गीकृत करना है (उदाहरण के लिए हाँ-कोई प्रश्न, सामग्री प्रश्न, कथन, दावा, आदि)।

भाषण

वाक् पहचान
किसी व्यक्ति या बोलने वाले लोगों की एक ध्वनि क्लिप को देखते हुए, भाषण के पाठ का प्रतिनिधित्व निर्धारित करें। यह भाषण के पाठ के विपरीत है और यह बेहद मुश्किल समस्याओं में से एक है जिसे “एआई-पूर्ण” कहा जाता है (ऊपर देखें)। प्राकृतिक भाषण में लगातार शब्दों के बीच कोई भी विराम नहीं होता है, और इस प्रकार भाषण विभाजन भाषण मान्यता का एक आवश्यक उप-कार्य है (नीचे देखें)। ध्यान दें कि अधिकांश बोली जाने वाली भाषाओं में, लगातार अक्षरों का प्रतिनिधित्व करने वाली ध्वनियां एक दूसरे में एक-दूसरे में मिलती हैं, जिसे कोर्टेक्यूलेशन कहा जाता है, इसलिए एनालॉग सिग्नल का रूपांतरण अलग-अलग वर्णों में परिवर्तित करना बहुत मुश्किल प्रक्रिया हो सकता है।

भाषण विभाजन
किसी व्यक्ति या बोलने वाले लोगों की एक ध्वनि क्लिप को देखते हुए, इसे शब्दों में अलग करें। भाषण मान्यता का एक उप-कार्य और आमतौर पर इसके साथ समूहीकृत।

लिखे हुए को बोलने में बदलना
एक पाठ को देखते हुए, उन इकाइयों को बदलें और एक बोले गए प्रतिनिधित्व का उत्पादन करें। दृष्टिहीन लोगों की सहायता के लिए टेक्स्ट-टू-स्पीच का उपयोग किया जा सकता है।