مقدمة
نموذجنا مُحسَّن لفهم اللهجة التونسية والتحدث بها، ولكنه في الأساس مساعدك الصوتي. يتكيف مع طريقة تحدثك، ولهجتك الإقليمية، وتعبيراتك. ليس من شأننا أن نخبرك كيف تتحدث إلى مساعدك.
يقدم هذا التقرير نهج IyedeX لبناء أول نموذج صوتي TTS/STT متخصص في اللهجة التونسية، انطلاقًا من مجموعة بيانات أصيلة:
- أرشيفات الراديو والتلفزيون التونسي بترخيص حر؛
- تسجيلات عامة متاحة قانونيًا؛
- أصواتنا الداخلية الخاصة؛
- أصوات متعاونين من الشمال والوسط والجنوب التونسي.
إلى جانب ذلك، هناك خط أنابيب كامل لتنظيف الصوت وتوصيفه وإعداده، ثم الضبط الدقيق لنموذج xTTS v2 للحصول على نطق تونسي حقيقي. الهدف: توليف طبيعي وتع تعرف قوي، مدمجين في 3amAli، مساعد IyedeX.
رؤيتنا هي إنشاء نموذج صوتي يلتقط أصالة وثراء اللهجة التونسية بكل تنوعها الإقليمي.
مجموعة البيانات
تم تصميم مجموعة البيانات لتعكس التنوع الحقيقي للهجة التونسية. إليك النسخة العامة لإحصائياتها.
| المصدر | النوع | المنطقة | المتحدثون | الساعات | الترخيص | التنظيف | نسبة الإشارة إلى الضوضاء (ديسيبل) | ملاحظات |
|---|---|---|---|---|---|---|---|---|
| بث أ | راديو | شمال | 12 | 40.0 | CC-BY | 85% | 18.5 | صباحيات، نقاشات |
| بث ب | صوت تلفزيوني | وسط | 8 | 15.0 | CC-BY-SA | 80% | 17.2 | تقارير |
| تسجيلات IyedeX | شخصي | شمال | 1 | 5.0 | موافقة | 95% | 28.0 | استوديو هاوٍ |
| أصوات أصدقاء | شخصي | مختلط | 14 | 20.0 | موافقة | 90% | 20.1 | تنوع شمال / جنوب |
| تسجيلات ميدانية | ميداني | جنوب | 6 | 12.5 | موافقة | 70% | 12.2 | بيئات صاخبة |
| المجموع | 41 | 87.5 |
أكثر من نصف الساعات تأتي من الراديو والتلفزيون، وما يقرب من الثلث من أصوات مسجلة بموافقتهم، والباقي من الميدان، حيث الضوضاء حقيقية.
حسب المنطقة، يمثل الشمال 45 ساعة، والوسط 15 ساعة، والجنوب 12.5 ساعة. الساعات الـ 20 المتبقية تمزج متحدثين من عدة مناطق.
إعداد البيانات
كل ساعة صوت تمر بنفس الخطوات الخمس قبل استخدامها في التدريب.
- التطبيع. التحويل إلى أحادي 16 كيلو هرتز أو 24 كيلو هرتز، PCM 16 بت، وتوحيد الملفات المصدر.
- التنظيف والتقطيع. إزالة الصمت الذي يزيد عن 500 مللي ثانية، والتقطيع إلى مقاطع من 1 إلى 12 ثانية، والترشيح التلقائي للضوضاء.
- التوصيف. النسخ اليدوي وشبه الآلي، توحيد تهجئة اللهجة، علامات إقليمية (شمال، وسط، جنوب).
- الزيادة. تغيير حدة الصوت بمقدار ±5%، تمديد زمني، إضافة ضوضاء متحكم بها (أسواق، سيارات، موسيقى).
- التقطيع النهائي. 80% تدريب، 10% تحقق، 10% اختبار، مع فصل صارم للمتحدثين بين الثلاثة.
البنية
يعتمد النموذج على وحدتين متكاملتين: xTTS v2، تم ضبطه لتوليف الصوت، و Wav2Vec2، تم ضبطه للتعرف.
| قبل الضبط الدقيق | بعد الضبط الدقيق | |
|---|---|---|
| النموذج | عام، متعدد اللغات | متخصص تونسي |
| النطق | تقريبي | أصيل |
| اللهجة | غير تونسية | تونسية طبيعية |
| التعبيرات المحلية | غير مفهومة جيدًا | مفهومة |
توليف الصوت (TTS): xTTS v2 المضبوط
- نموذج متعدد اللغات مُكيف للتونسي؛
- تعلم النبرة التونسية؛
- عدة متحدثين؛
- التحكم في الأسلوب والعاطفة.
التعرف على الصوت (STT): Wav2Vec2 المضبوط
- Wav2Vec2 كأساس؛
- ضبط دقيق كامل على مجموعة بياناتنا؛
- معدل خطأ مُحسَّن للظروف الحقيقية.
فعل الكثير بالقليل
عمل فريقنا على أجهزة متواضعة، بدون وحدات معالجة رسومات متطورة. لذلك، راهنا على الهندسة بدلاً من قوة الحوسبة.
الابتكار لا يعتمد على قوة الأجهزة. تُظهر نتائجنا أن جودة مجموعة البيانات والهندسة أهم من القوة الخام: لقد قمنا ببناء نموذج صوتي تونسي فعال بموارد محدودة.
النتائج
نقوم بتقييم النموذج باستخدام المقاييس الدولية القياسية: معدل خطأ الكلمات (WER) و معدل خطأ الأحرف (CER) للتعرف، متوسط درجة الاستماع (MOS) للتوليف، وبشكل اختياري، STOI و PESQ، ويكملها خرائط الأخطاء الصوتية.
التعرف على الصوت
| النموذج | معدل خطأ الكلمات، بيئة هادئة | معدل خطأ الكلمات، بيئة صاخبة |
|---|---|---|
| Wav2Vec2 الأساسي | 35.2% | 58.7% |
| IyedeX، المضبوط | 12.9% | 28.4% |
في الهدوء، ينخفض معدل الخطأ من 35.2% إلى 12.9%، أي أقل بحوالي الثلث من الأخطاء. في الضوضاء، ينخفض إلى النصف.
توليف الصوت
| الإصدار | متوسط MOS | فاصل الثقة 95% |
|---|---|---|
| xTTS الأساسي | 2.8 / 5 | ±0.15 |
| IyedeX xTTS، المضبوط | 4.1 / 5 | ±0.12 |
يمنح المستمعون الصوت المضبوط درجة 4.1 من 5، مقارنة بـ 2.8 للنموذج الأساسي.
الأمان والأخلاق
تطبق IyedeX قواعد صارمة على كل صوت في مجموعة البيانات وكل صوت تم إنتاجه:
- الموافقة الصريحة لكل متحدث؛
- تخزين التسجيلات مشفرًا؛
- سياسة ضد استنساخ الأصوات؛
- علامة مائية على الأصوات المُصنَّعة؛
- الامتثال للوائح التونسية والدولية.
حماية البيانات واحترام الأخلاق في صميم نهجنا. تم جمع كل صوت في مجموعتنا بموافقة صريحة من صاحبه.
الخلاصة
نقدم هنا أول خط أنابيب احترافي كامل لنموذج صوتي تونسي. على الرغم من محدودية الموارد المادية، فإن عملنا على جمع اللهجات، والتنوع الجغرافي، والتدريب على TTS و STT، والتقييم، والتصميم الأخلاقي يضع الأسس لنظام بيئي صوتي تونسي موثوق وطبيعي ومخلص لثقافته.
هذا النموذج هو حجر الزاوية لـ 3amAli، و IyedeX Voice API، والتكاملات المستقبلية للشركات.
التعليقات 3
cest magnifique
nice
good + add transleter