ट्रांसक्रिबस मॉडल निर्माण और प्रशिक्षण गाइड
यह पृष्ठ आपको ट्रांस्क्रिबस इंटरफ़ेस से परिचित कराएगा। इसका उपयोग दस्तावेज़ों को ट्रांसक्रिप्ट करने के लिए किया जा सकता है - नए मॉडल बनाने और प्रशिक्षित करने के लिए या ट्रांसक्रिबस पर मौजूदा मॉडल का परीक्षण करने के लिए भी किया जा सकता हैं।
प्रक्रिया का सामान्य अवलोकन
एक नया मॉडल बनाने और प्रशिक्षित करने की पूरी प्रक्रिया काफी व्यापक है। नीचे दिया गया यह फ़्लोचार्ट आवश्यक मॉडल प्रशिक्षण डेटा प्राप्त करने से लेकर आपके विकिस्रोत पर मॉडल उपलब्ध कराने तक संपूर्ण वर्कफ़्लो में शामिल विभिन्न चरणों का विस्तृत विवरण देता है।
नोट: सरलता के लिए फ़्लोचार्ट में बहुभुजों के आकार को अनुकूलित करने या बेसलाइन डेटा को संपादित करने जैसी कुछ उन्नत प्रक्रियाओं का उल्लेख नहीं किया गया है। उनका विवरण उनके संबंधित अनुभागों में दिया जाएगा।
The entire process of creating and training a new model is quite extensive. This flowchart given below broadly details the various steps involved in the whole workflow right from getting the required model training data to making the model available on your Wikisource.
NOTE: Certain advanced processes like customizing shapes of polygons or editing baseline data are not mentioned in the flowchart for sake of simplicity. They will be detailed in their respective sections.
पूर्वापेक्षाएँ
एक नया मॉडल बनाने और प्रशिक्षित करने हेतु निम्नलिखित पूर्वापेक्षाएँ हैं:
The following are the prerequisites to creating and training a new model
- ओसीआर संचालन करने के लिए पर्याप्त क्रेडिट के साथ ट्रांसक्रिबस पर एक कार्यात्मक खाता रखें
- अपनी वांछित भाषा में कम से कम ५,००० और १५,००० शब्द (लगभग २५-७५ पृष्ठ) लिखित सामग्री अपलोड करने के लिए तैयार रखें।
- यदि आप मुद्रित पाठ के साथ काम कर रहे हैं न कि हस्तलिखित पाठ के साथ, तो प्रशिक्षण डेटा की आवश्यकता कम मात्रा में होगी (लगभग ५० पृष्ठ)
- कृपया ध्यान दें कि किसी विशेष प्रकार के पृष्ठों की संख्या जिसके लिए मॉडल बनाया जा रहा है, मॉडल के प्रदर्शन के लिए महत्वपूर्ण है
- हस्तलिखित पाठ की किसी विशेष शैली के लिए एक मॉडल बनाते समय, सुनिश्चित करें कि उपलब्ध सभी पांडुलिपियाँ केवल उस विशेष शैली की हैं
- और बहुत धैर्य रखें, क्योंकि इसमें कुछ समय लगेगा!
Transkribus Tools
Transkribus
Formerly known as Transkribus Lite, the latest version of the web app, released on 30th August 2023, claims to be a feature rich editor cum model creation and testing workspace. It allows the user to transcribe documents, use existing models on their documents, perform model creation and training, and eventually publish a model of their own. All processes and workflows in this guide are related to the web interface, unless mentioned otherwise.
Transkribus Expert
The desktop client provided by Transkribus has everything that Transkribus can offer, including some features that the web interface is yet to accommodate. The modification of polygon data and advanced options to export/import data to collections and models are only available on the desktop client.
ट्रांसक्रिबस कार्यक्षेत्र
ट्रांसक्रिबस में एक सुविधा संपन्न वेब इंटरफ़ेस है जो प्रूफरीडिंग, टेक्स्ट पहचान, कई भाषाओं से निपटने वाले मॉडल तक पहुंच और पांडुलिपियों के साथ प्रयोग सहित कई कार्यक्षमता प्रदान करता है। यह वह जगह है जहां आप अपना अधिकांश समय जमीनी सही प्रलेख तैयार करने, एक नया मॉडल बनाने, उसे प्रासंगिक दस्तावेजों पर प्रशिक्षित करने और उसकी सटीकता को सत्यापित करने में बिताएंगे। एक बार जब आप ट्रांसक्रिबस खाते से लॉग इन कर लेते हैं, तो आपको एक डैशबोर्ड पर निर्देशित किया जाएगा जो नीचे दिखाए गए जैसा दिखता है। यदि आपके पास अभी तक कोई संग्रह नहीं है तो चिंता न करें!
Transkribus has a feature rich web interface that provides a host of functionality including proofreading, text recognition, accessing models that deal with multiple languages, and experimenting with manuscripts. This is where you will spend the majority of your time as you prepare ground truth documents, build a new model, train it on the relevant documents, and validate its accuracy. Once you have logged in with a Transkribus account, you will be directed to a dashboard that looks similar to the one shown below. Don’t worry if you do not have any collections, yet!
महत्वपूर्ण शब्दावली
ट्रांसक्रिबस के साथ काम करते समय कुछ शब्दों से परिचित होना महत्वपूर्ण है। हालाँकि वे सभी अभी प्रासंगिक नहीं हैं, लेकिन आप संदर्भ के लिए उन्हें देखने कभी भी यहाँ वापस आ सकते हैं!
While working with Transkribus it is important to be familiar with a few terms. All of them are not immediately relevant, but you can always come back for reference!
प्रलेख
ट्रांसक्रिबस पर अपलोड की गई पांडुलिपि की कोई भी छवि या पृष्ठ एक प्रलेख (दस्तावेज़) माना जाता है
Any image or page of a manuscript that is uploaded to Transkribus is considered a document
संग्रह
संग्रह संबंधित दस्तावेज़ों का एक समूह है (उदाहरण के लिए किसी विशेष भाषा या शैली का) जो आपको अपने कार्यकारी डेस्क को बेहतर ढंग से व्यवस्थित करने में सहायता करता है
A collection is a group of related documents (e.g. of a particular language or style) that helps you to organize your work desk better
बेसलाइन मॉडल
एक ट्रांसक्रिबस मॉडल जो दस्तावेज़ में सभी पाठ्य सामग्री के लिए केवल सामान्य आधार रेखा से संबंधित है
A Transkribus model that deals with only the baseline common to all the textual material in the document
'नोटएक समर्पित बेसलाइन मॉडल का होना कुछ मामलों में सहायक होता है
एचटीआर मॉडल
हस्तलिखित पाठ पहचान (एचटीआर) मॉडल वह है जो हस्तलिखित पाठ का पता लगाकर और आवश्यक आउटपुट टेक्स्ट उत्पन्न करके वास्तविक ओसीआर निष्पादित करता है।
A Handwritten Text Recognition (HTR) model is what performs the actual OCR by detecting the handwritten text and generating the required output text
नोट इसका उपयोग अक्सर बेसलाइन मॉडल के साथ मिलकर किया जाता है
जमीनी सच्चाई
सभी दस्तावेज़ जो पहले से ही प्रूफरीड किए जा चुके हैं और जिनमें पाठ का सही प्रतिलेखन है, उन्हें नए मॉडल के निर्माण का आधार बनाने के लिए जमीनी सच्चा डेटा के रूप में लेबल किया जा सकता है।
All documents that have already been proofread and have correct transcription of text can be labeled as ground truth data, to form the basis of building a new model
कार्य
ट्रांसक्रिबस पर चलने वाली कोई भी प्रक्रिया, जैसे किसी दस्तावेज़ पर पाठ पहचान करना, एक कार्य के रूप में वर्गीकृत किया जाता है और ट्रांसक्रिबस सर्वर पर कतारबद्ध होता है
Any process run on Transkribus, like performing text recognition on a document, is classified as a job and is queued on the Transkribus server
प्रशिक्षण सेट
आमतौर पर संपूर्ण डेटा सेट का ९०% हिस्सा, प्रशिक्षण डेटा में ऐसे दस्तावेज़ होते हैं जिनका उपयोग एल्गोरिदम एक विशेष लिखावट पर एक नए मॉडल को प्रशिक्षित करने के लिए करता है।
Usually consisting of 90% of the entire data set, the training data contains documents that the algorithm uses to train a new model on a particular handwriting
सत्यापन सेट
आम तौर पर पूरे डेटा सेट का १०% सम्मिलित होता है, सत्यापन सेट में दस्तावेज़ होते हैं जिन पर मॉडल लिखावट को प्रभावी ढंग से पहचानने में अपने प्रदर्शन को मान्य करता है
Usually consisting of 10% of the entire data set, the validation set contains documents on which the model validates its performance in recognizing the handwriting effectively
युग (Epoch)
वह समय अवधि जिसके लिए मॉडल को प्रशिक्षण डेटा पर प्रशिक्षित किया जाता है, युग कहा जाता है
The time period for which the model is trained on the training data is called epochs
नोट बहुत अधिक संख्या में युग होने से मॉडल को प्रशिक्षण सेट पर अत्यधिक प्रशिक्षित किया जा सकता है, जिससे यह नए डेटा पर खराब प्रदर्शन कर सकता है '
किसी संग्रह में दस्तावेज़ अपलोड करना
ट्रांसक्रिबस में दस्तावेज़ जोड़ने का सबसे आसान तरीका एक नया संग्रह बनाना है। एक बार जब आप संग्रह टैब पर एक नया संग्रह बना लेते हैं, तो आपको नीचे दिखाए अनुसार एक स्क्रीन पर पुनः निर्देशित किया जाएगा।
इंटरफ़ेस में निम्नलिखित विकल्प सम्मिलित हैं (तदनुसार क्रमांकित):
The easiest way to add documents to Transkribus is by creating a new collection. Once you create a new collection on the Collections tab, you will be redirected to a screen as shown below.
The interface includes the following options (numbered accordingly):
- उस संग्रह का नाम जिसके साथ आप वर्तमान में काम कर रहे हैं
- संग्रह में नए दस्तावेज़ अपलोड करने के लिए दस्तावेज़ अपलोड करें पर क्लिक करें
- यह चुनने का विकल्प कि आप छवि अपलोड कर रहे हैं या पीडीएफ
- जिस दस्तावेज़ को आप अपलोड कर रहे हैं उसका शीर्षक सेट करें
- जैसा कि संकेत दिया गया है, यह आपको संग्रह में फ़ाइल अपलोड करने की अनुमति देता है
दस्तावेज़ सफलतापूर्वक अपलोड होने के बाद, संग्रह स्क्रीन पर उस संग्रह में दस्तावेज़ों की सूची प्रदर्शित होनी चाहिए। किसी भी दस्तावेज़ पर क्लिक करने से आप दस्तावेज़ के अलग-अलग पृष्ठों की एक सूची पर पहुंच जाएंगे, जैसा कि नीचे दिए गए चित्र में दिखाया गया है।
उपयोगकर्ता के पास दस्तावेज़ से एक पृष्ठ जोड़ने या हटाने, एक पृष्ठ पर लिखावट पहचान (एचटीआर मॉडल का उपयोग करके) करने, पृष्ठ की स्थिति को चार अनुमत पृष्ठ स्थितियों में से एक पर सेट करने, साथ ही साथ एक सबसेट निर्यात करने का विकल्प होता है। पन्ने. प्रदर्शित किए जा रहे पृष्ठों को फ़िल्टर करने के अन्य विकल्प पृष्ठ पर टूलबार के दाईं ओर फ़िल्टर विकल्प के माध्यम से उपलब्ध हैं।
The user has the option to add or delete a page from the document, perform handwriting recognition (using an HTR model) on a page, set the status of the page to one of the four allowed page statuses, as well export a subset of the pages. Further options to filter the pages being displayed are available via the Filter option on the right side of the toolbar on the page.
आपका ट्रांसक्रिबस कार्य क्षेत्र
एक बार जब आप अपने ट्रांसक्रिबस इंटरफ़ेस पर वर्क डेस्क अनुभाग के अंतर्गत किसी भी दस्तावेज़ पर क्लिक करते हैं, तो आपको नीचे दिखाए अनुसार एक स्क्रीन पर पुनः निर्देशित किया जाएगा।
Once you click on any of the documents under the Work Desk section on your Transkribus interface, you will be redirected to a screen as shown below.
यह वह जगह है जहाँ आपकी पांडुलिपि से संबंधित सभी कार्य होंगे। इंटरफ़ेस में निम्नलिखित विकल्प शामिल हैं (तदनुसार क्रमांकित):
- पांडुलिपि को चारों ओर ले जाने के लिए कर्सर उपकरण
- आपकी पांडुलिपि के लिए आधार रेखाएं दर्शाने के लिए पेन टूल
- आपकी पांडुलिपि में विभिन्न क्षेत्रों को परिभाषित करने के लिए क्षेत्र चयनकर्ता उपकरण
- पांडुलिपि क्षेत्रों में तालिकाएँ जोड़ने के लिए एक उपकरण
- अधिक जानकारी और कीबोर्ड शॉर्टकट प्रदान करने के लिए एक बटन
- एक लेआउट संपादक जो आपको अपनी लाइनें और क्षेत्र एक ही स्थान पर देखने की अनुमति देता है
- ज़ूम नियंत्रक
- अपने दस्तावेज़ को देखने के क्षेत्र के संबंध में केन्द्रित करें
- दस्तावेज़ को देखने के क्षेत्र में फिट करें
- अपने दस्तावेज़ को घुमाएँ
- दृश्य को पूर्ण स्क्रीन में बदलें
- मौजूदा मॉडल के साथ ट्रांसक्रिप्शन शुरू करें
- मौजूदा दस्तावेज़ को डाउनलोड करने का विकल्प
- पृष्ठ की स्थिति को निम्न में से किसी एक में बदलने के लिए एक ड्रॉप डाउन
- प्रगति पर
- जमीनी सच
- हो गया
- अंतिम
- अपने वर्तमान दस्तावेज़ पर प्रगति सहेजें
इनके अलावा, परिवर्तनों को पूर्ववत/पुनः करने के लिए बटन, एक वर्चुअल कीबोर्ड और अपना काम साझा करने के विकल्प भी हैं।
जमीनी सच्चाई जोड़ना
किसी मॉडल को प्रशिक्षित करने से पहले, आपको अपना प्रशिक्षण डेटा तैयार करने की आवश्यकता होगी, इसका मतलब है कि मॉडल को प्रशिक्षित करने के लिए पर्याप्त छवियां और उनके संबंधित सही प्रतिलेखन तैयार करना। जमीनी सच्चाई को जोड़ने के रूप में जानी जाने वाली यह प्रक्रिया यह सुनिश्चित करती है कि मॉडल को मौजूदा मान्य डेटा पर प्रशिक्षित किया जा सकता है।
Before training a model, you will need to prepare your training data, this means preparing enough images and their corresponding correct transcriptions to train the model. This process known as the addition of ground truth, ensures that the model can be trained on existing validated data.
This involves transcribing manuscripts using the Transkribus editor, and saving each page as ground truth. This indicates that the pages can be used to train your model. The process of transcribing on Transkribus using Wikisource as a reference is outlined below:
- Open a manuscript of your choice on Wikisource, and have a local copy ready to be uploaded to your Transkribus collection
- Once the document is uploaded to the collection, you can proceed to open the first page (or any page of your choice) to begin transcription. The page will open in an editor as shown below
- Open the corresponding page on Wikisource in another window. You will need to work with both tabs open simultaneously
- Once you have completed drawing regions and marking baselines satisfactorily, you can proceed with adding the corresponding text
- For each line drawn on the Transkribus editor there should exist a line on the Wikisource page. The text from the relevant line of the Wikisource page is copied and pasted in the relevant line of the Transkribus editor. Continue this process until lines in every region marked in the Transkribus editor have corresponding transcribed text
The above video depicts how to transcribe text using Tranksribus and Wikisource simultaneously.
एक कस्टम मॉडल का प्रशिक्षण
लेआउट पहचान मॉडल (वैकल्पिक)
यह एक वैकल्पिक गतिविधि है। यदि आप निश्चित नहीं हैं कि आपकी भाषा को लेआउट पहचान मॉडल की आवश्यकता है या नहीं, तो कृपया फ़ैब्रिकेटर पर टिकट प्राप्त करें। लेआउट पहचान/लाइन डिटेक्शन मॉडल का निर्माण मुख्य रूप से तब किया जाता है जब लिखावट या स्क्रिप्ट को सीधे प्रशिक्षित करना मुश्किल होता है और इसमें अक्षरों या वर्णों का स्थान अलग-अलग होता है। डिफ़ॉल्ट रूप से, ट्रांसक्रिबस आंतरिक रूप से मिश्रित लाइन ओरिएंटेशन मॉडल को लेआउट डिटेक्शन मॉडल के रूप में उपयोग करता है। यह अधिकांश पश्चिमी लिपियों के लिए अच्छा काम करता है।
This is an optional activity. If you are not sure whether your language requires a layout recognition model, please raise a ticket on Phabricator. The layout recognition/line detection model is primarily intended to be constructed if the handwriting or script is difficult to be trained upon directly and has varying placements of letters or characters. By default, Transkribus internally uses the Mixed Line Orientation model as the layout detection model. This works well for most Western scripts.
लेआउट मॉडल को प्रशिक्षित करने की प्रक्रिया एक अनुभाग से शुरू होती है जैसा कि नीचे दिखाया गया है।
- प्रशिक्षण अनुभाग पर जाएं और संकेत के अनुसार एक संग्रह चुनें। बेसलाइन मॉडल विकल्प चुनें, जैसा कि चित्र २ में दिखाया गया है।
- दिखाई देने वाले संवाद बॉक्स में, आवश्यक विवरण भरने के लिए आगे बढ़ें जैसे मॉडल का नाम (ऊपर चित्र में क्रमांक ३) और विवरण (ऊपर चित्र में क्रमांक ४)। युग (उपरोक्त चित्र में क्रमांक ५) नाम का फ़ील्ड यह निर्धारित करता है कि मॉडल प्रदान किए गए डेटा सेट पर कितनी देर तक पुनरावृति करेगा।
- अगले चरण में पिछले चरण में तैयार किए गए सही आधार रेखाओं वाले प्रशिक्षण डेटा का चयन करना शामिल है। उन सभी प्रासंगिक दस्तावेज़ों या संग्रहों का चयन करें जिनसे आप मॉडल को सीखना चाहते हैं। इसी प्रकार, सत्यापन के लिए उपयोग किए जाने वाले डेटा सेट का भी चयन करें।
- नोट:' आदर्श रूप से, उपलब्ध संपूर्ण डेटा का ९०% प्रशिक्षण के लिए उपयोग किया जाना चाहिए जबकि १०% सत्यापन के लिए उपयोग किया जाना चाहिए।
- मॉडल प्रशिक्षण प्रक्रिया को ट्रिगर करें
प्रशिक्षण प्रक्रिया को पूरा होने में कुछ मिनट लगते हैं। आप जॉब्स टैब में प्रशिक्षण प्रक्रिया की प्रगति की जाँच कर सकते हैं। एक बार पूरा होने पर, यह कार्य लेआउट पहचान मॉडल तैयार करता है जिसका उपयोग मुख्य मॉडल बनाने के लिए किया जा सकता है!
लेआउट सुधारना (वैकल्पिक)
प्रशिक्षण चरण के बाद, ट्रांसक्रिबस उत्पन्न पाठ क्षेत्रों को लेता है और उन्हें बहुभुज के रूप में प्रस्तुत करता है, जो इन आकृतियों को संशोधित करने की क्षमता प्रदान करता है। हालाँकि, यह कार्यक्षमता विशेष रूप से ट्रांसक्रिबस एक्सपर्ट क्लाइंट के भीतर उपलब्ध है, जो अधिक जटिल दस्तावेज़ प्रसंस्करण के लिए उन्नत सुविधाएँ प्रदान करता है।
After the training phase, Transkribus takes the generated text regions and represents them as polygons, offering the capability to modify these shapes. This functionality, however, is exclusively accessible within the Transkribus Expert Client, which provides advanced features for more intricate document processing.
उपरोक्त चित्र में १ के रूप में हाइलाइट किया गया क्षेत्र चयनित बहुभुज आकार को दर्शाता है। यह ध्यान रखना महत्वपूर्ण है कि ये आकृतियाँ अनिवार्य रूप से सीधी रेखाओं से जुड़े अलग-अलग बिंदुओं से बनी हैं। विज़ुअलाइज़ेशन में परस्पर जुड़े हुए बिंदु होते हैं जो बहुभुज की रूपरेखा बनाते हैं, जिसमें प्रत्येक सीधी रेखा दो आसन्न बिंदुओं को जोड़ती है।
- २ द्वारा संदर्भित उपकरण पहले से चयनित आकार में पूरक बिंदुओं को सम्मिलित करने की क्षमता का परिचय देता है, जिससे उपकरण की बहुमुखी प्रतिभा बढ़ती है। इन अतिरिक्त बिंदुओं को या तो पाठ क्षेत्र या इसकी आधार रेखा पर स्थित किया जा सकता है, जिससे अनुकूलन में उच्च स्तर की सटीकता की अनुमति मिलती है।
- यदि किसी समायोजन की आवश्यकता होती है, तो उपरोक्त चित्र में ३ द्वारा इंगित उपकरण चुने हुए आकार से एक निर्दिष्ट बिंदु को हटा देता है। यह विशेष उपकरण आधार रेखाओं को परिष्कृत या छोटा करने के लिए विशेष रूप से फायदेमंद है, यह सुनिश्चित करते हुए कि वे दस्तावेज़ के लेआउट के साथ सटीक रूप से मेल खाते हैं।
विशिष्ट आवश्यकताओं के अनुसार आकृति को तैयार करने की प्रक्रिया में इन परिभाषित बिंदुओं का हेरफेर शामिल है। बहुभुज बनाने वाले बिंदुओं को स्थानांतरित करके, उपयोगकर्ताओं के पास संबंधित टेक्स्ट ब्लॉक के समोच्च से बेहतर मिलान करने के लिए आकार को संशोधित करने की सुविधा होती है।
संक्षेप में, ट्रांसक्रिबस में बहुभुज जमीनी सच्चाइयों को समायोजित करने की क्षमता, विशेषज्ञ क्लाइंट के माध्यम से सुविधा प्रदान की जाती है, जो एक बहुआयामी टूलसेट का परिचय देती है। बहुभुज बनाने वाले परस्पर जुड़े बिंदुओं का संयोजन, नए बिंदुओं को जोड़ना, बिंदुओं को स्थानांतरित करने की स्वतंत्रता और बिंदुओं को खत्म करने का विकल्प नियंत्रण की एक विस्तृत श्रृंखला प्रदान करता है।
बालिनी और जावा जैसी भाषाओं के मामले में, यह सुविधा विशेष रूप से सहायक है क्योंकि स्क्रिप्ट और इसकी संबंधित आधार रेखाएं अन्य पश्चिमी भाषाओं की तुलना में अधिक अनियमित होती हैं। यह प्रशिक्षित किए जा रहे मॉडल की सटीकता को बढ़ाने में मदद करता है और, बदले में, प्रतिलेखित पाठ को।