2. LITERATURE REVIEW

Bu tezin yazımı sırasında bilimsel etik kurallarına uyulduğunu, başkalarının eserlerinden yararlanılmışsa bilimsel normlara uygun şekilde alıntı yapıldığını, kullanılan verilerde herhangi bir çarpıtma bulunmadığını, kullanılmadığını beyan ederim. tezin bir kısmı. Bu üniversitede veya başka bir üniversitede başka bir tez çalışması olarak sunulmuştur. Süreç boyunca beni destekleyen ve cesaretlendiren, bitmek bilmeyen sorularımı sabırla cevaplayan Nilüfer Alimen'e teşekkür ederim. Sürecin ilk aşamasında bu konuyu seçmemde bana yol gösteren Kadir İlbey Çakıroğlu'na ve CAT araçlarını kullanmayı öğrenen, ihtiyaç duyduğumuzda bir dost gibi bize yardımcı olan Bekir Diri'ye de şükranlarımı sunmak isterim.

Ayşe Banu Karadağ for their vision that they always share with us throughout our educational years. I would like to thank all my family, especially my mother, my sister and my brother for their encouragement, support and love throughout my life.

INTRODUCTION

According to the Federation of Hearing Impacted, there are over 4 million people suffering from hearing impairment in Turkey1. Again, I hope this project makes a contribution to help people with hearing impairments to communicate and provide an opportunity to evaluate a study for research.

LITERATURE REVIEW

One of the efforts of recent years is a Convolutional Neural Network which is based on deep learning (M. Taskiran, 2018). Another is the Kinect sensor which consists of a camera that has microphones for 3D motion capture, face and voice recognition (Z. Zhang, 2012. It consists of two main parts: text-to-sign and sign-to-text translation and also VirtualSign Application Studio Online (VSSO).

VSSO is an online sign language lexicon configurator and a very effective tool for all translation within the project. The text to sign translator is a kind of online translator that depends on a user's language choice among six different European sign languages. The sign-to-text translator is a desktop application and has data gloves and a Kinect sensor in the system.

In addition, in this part of the ACE project, the first output appears in the form of a PowerPoint form that teachers could use for their presentation. The team has some plans in terms of improving the system, such as developing a sign language grammar rule configurator for context recognition, which will reduce the communication gap between teachers and students.

COMMENTARY

Pre-Translation

Translation

• Terminology
• The Expressions Whose Equivalent Meanings Are Researched
• Literally Translated Expressions
• Expressions with Abbreviations
• Translation Decisions
• Editing

I immediately started translating the project because I knew it was a long process that required research and patience. There were some long sentences and these appeared in different segments due to the length of the sentence. The translation process was partly challenging for me in terms of choosing the right Turkish equivalent of the words.

On the one hand, it was important to choose appropriate terms for technical terms that reflect the engineering dimension of the project. Because hedging was one of the characteristics of academic writing that reflected a general statement about the topic. Therefore, for the translation of the project, it was important to express the sequence of events with appropriate linking words.

First, I was expected to find the equivalent Turkish meaning of text-to-character and character-to-text. As mentioned in the terminology section, after researching the Turkish side of the field, I only had one alternative, "robotik tercüman." At the same time, I talked to some people in the field.

CONCLUDING REMARKS

Bu alanda daha fazla gelişme, sıkı çalışmaya, öğretmenler ve alandaki uzmanlar arasında iyi bağlantıya, LSP'lerle işbirliğine ve sağır kişilerin ihtiyaçlarının dikkate alınmasına odaklanılarak mümkün olabilir. Ayrıca üniversitelerde işaret dili derslerinin yaygınlaştırılması bu alanda belirli eylem planlarının gerçekleştirilmesinin bir parçası olabilir. 34; Göstergelerarası çeviri bağlamında özgün bir eser: Enis Batur'un Acı Bilgi Füg Sanatı Üzerine Yeni Bir Deneme adlı eseri üzerine bir inceleme." RumeliDE Dil ve Edebiyat Araştırmaları Dergisi.

Source Text

This leads them to establish the sign language of their countries as their main form of communication. As previously mentioned, there is a common perception that even though deaf students use sign language as their main language, they can read texts fluently in their countries'. A sign language is a language in itself, recognized as a country's official language in most European countries.

Most configurations, when done in isolation, represent a letter or a number in a specific sign language (as shown in Figure 1), but there are also configurations that are specific to sign. With their own dataset of 200 words in Indian Sign Language, they can achieve 90% accuracy and improve on previous results using similar techniques, but it is still not a real-time system. They study two different streams of each sign language video, one containing the sign language and the full movement, and another focusing solely on the hand position on each frame.

13] developed a continuous sign language recognition system using the front camera of a smart phone to analyze hand gestures of Indian Sign Language. But the solution of Dong, Leu and Yin [14] aims to recognize the American Sign Language alphabet using the same image sensor as VirtualSign, the Kinect sensor. Their solution uses Kinect not to pick up body movement, but only the hand configuration and determine it with a Random Forest classifier, and can only translate letter by letter the 24 signs present in the American Sign Language alphabet.

Each user has a different login that defines him as either, based on his expertise in sign language. The editor can be any regular user, with or without sign language expertise, as he can recreate movements from sign language videos and dictionaries in the tool by manipulating the avatar and saving it to the database. That list is populated in real time with content from an online dictionary, taking into account the selected sign language and the word the user wants to enter.

The user places the glove on their dominant hand, selects a sign language from those available, and begins a calibration process. The user is prompted to select a sign language and proceeds with the calibration process (same as the manual capture application). The advantage for students is to be able to load any PowerPoint at home, either from their classroom or an online resource for studying, and get the translation into the sign language of their choice.

To solve this problem, one of the solutions we are looking at is the development of a sign language grammar rule configurator that allows not only manual additions, but also automatic assumptions of new grammar and syntax rules for each language. Kumar, "Training CNNs for 3-D Sign Language Recognition with Color Texture Coded Joint Angular Displacement Maps."

Target Text

Bazı dillerde yüz ifadesi bileşeni, işaret sahibinin sanki sözcüğü telaffuz ediyormuş gibi ağzını hareket ettirmesine de neden olabilir. Bu çalışmanın amacı gerçek zamanlı çeviri olduğundan işaret dilinden metne çeviride tüm unsurlar, işaret diline çevrilecek metnin dilbilgisi kuralları ve üç işaret dili bileşeni dikkate alınmıştır. Bu sanal iletişim biçimi, bir metin kanalı aracılığıyla veya belirli bir ülkenin işaret dilini temsil eden 3 boyutlu bir avatar aracılığıyla veya kamera önünde işaret diliyle iletişim kuran bir kişiden veri alınarak yazılı metin çevirisi sağlayabilir.

Her işaret dili videosundan iki farklı akışı inceliyorlar; biri jest özelliğini kullanan işaret dili kullanıcısına, diğeri ise her karede yalnızca elin konumuna odaklanıyor. 13], tek elle Hint işaret dili hareketlerini analiz etmek için bir akıllı telefonun ön kamerasını kullanarak sürekli bir işaret dili tanıma sistemi geliştirdi. Ancak proje kapsamındaki tüm çevirilerin temelini oluşturan üçüncü araç, çevrimiçi bir işaret dili sözlüğü yapılandırıcısı olan Virtual Sign Studio Online (VSSO) uygulamasıdır.

VSSO yapılandırıcısı, tüm proje boyunca çevirilerde kullanılabilen, sağır ve işaret dili çevirmenlerinden gelen verilerin girilmesiyle oluşturulan bir işaret sözlüğüdür; kelimeleri ekleyin ve geçerliliğini doğrulayın. Düzenleyici, işaret dili uzmanlığı olan veya olmayan herhangi bir kullanıcı olabilir ve avatarı işleyerek ve veritabanında saklayarak işaret dili videoları ve sözlüklerindeki hareketleri mümkün olduğunca araca kopyalar. Doğrulayıcı olan kullanıcıların ya ana işaret dili kullanıcısı olması ya da işaret dili yorumlama konusunda yetkin uzmanlar olması ve ekip tarafından belirlenmesi gerekmektedir.

Bu liste, seçilen işaret dili ve kullanıcının girmek istediği kelime dikkate alınarak çevrimiçi sözlükteki içerikle gerçek zamanlı olarak doldurulur. Kullanıcıdan bir işaret dili seçmesi istenir ve ardından kalibrasyon işlemine devam edilir (tıpkı manuel yakalama uygulamasında olduğu gibi). Bu PowerPoint'i oluşturan kullanıcının bir slayttan metin seçebildiği, işaret dili seçimi yapabileceği ve bu metni çeviren 3D avatarın videosunu anında alabileceği basit bir araçtır.

Altı farklı işaret dilimizin sözlüğüne giderek daha fazla kelime eklemeye devam etmenin yanı sıra, öncelikle en gelişmiş metin-işaret dili arayüzünden ve daha sonra da işaret dilinden bağlam tanıma ve çeviriyi geliştirmeyi hedefliyoruz. metin. Bunun için ihtiyacımız olan şey, çevirilerin doğruluğunu artırmak için uygulanabilecek dil bilgisi ve sözdizimi kurallarını belirlemek üzere işaret dili konuşanlar ve tercümanlarla çalışmaya devam etmektir. Bu sorunu çözmek için üzerinde çalıştığımız çözümlerden biri işaret dili için bir dilbilgisi kuralı yapılandırıcısının geliştirilmesidir.

Virtual Sign Language Online Studio'da (VSSO) artık ana hedeflerimizden biri, 3D avatar hareketlerinin doğruluğu ve bunların işaret dili konuşanlar tarafından "okunması"dır. ACE projesinin ve sanal işaret dilinin temel amacı, işitme engelli kişilerin yalnızca sınıfta değil, işaret dili tercümanının onlara eşlik edemediği her ortamda erişilebilirliğini ve deneyimlerini geliştirmektir.

Term List

Çevrimiçi Sanal İşaret Dili Stüdyosu (VSSO) uygulaması. Web Grafik Kütüphanesi), web tarayıcılarında üç boyutlu resimler çizmek için kullanılan bir programlama arayüzüdür (API).

List of Abbreviations