المحتوى
تعد Live Caption واحدة من أروع ميزات Android حتى الآن ، حيث تستخدم التعلم على الجهاز في الجهاز لإنشاء تسميات توضيحية لمقاطع الفيديو المحلية ومقاطع الويب.
نشرت Google منشورًا مدونًا يوضح بالتفصيل كيفية عمل هذه الميزة الرائعة ، ويتكون في الواقع من ثلاثة نماذج للتعلم الآلي على الجهاز ، للمبتدئين.
هناك نموذج متكرر لتسلسل الشبكة العصبية (RNN-T) للتعرف على الكلام نفسه ، لكن Google تستخدم أيضًا شبكة عصبية متكررة للتنبؤ بعلامات الترقيم.
نموذج تعلم الآلة الثالث على الجهاز هو شبكة عصبية تلافيفية (CNN) للأحداث الصوتية ، مثل الطيور النقيق ، وتصفيق الأشخاص ، والموسيقى. تقول Google إن نموذج تعلم الآلة الثالث هذا مستمد من عملها على تطبيق إمكانية الوصول المباشر إلى Live Transcribe ، والذي يمكنه تسجيل أحداث الكلام والصوت.
تقليل تأثير Live Caption
تقول الشركة إنها اتخذت عددًا من التدابير لتقليل استهلاك البطارية وطلبات الأداء الخاصة بـ Live Caption.لأحدهما ، لا يعمل محرك التعرف التلقائي الكامل على الكلام (ASR) إلا عند اكتشاف الكلام بالفعل ، بدلاً من تشغيله باستمرار في الخلفية.
على سبيل المثال ، عندما يتم اكتشاف الموسيقى وعدم وجود خطاب في دفق الصوت ، ستظهر التسمية على الشاشة ، وسيتم إلغاء تحميل نموذج ASR. لا يتم تحميل نموذج ASR مرة أخرى إلا في الذاكرة عند وجود خطاب في الدفق الصوتي مرة أخرى ، "تشرح Google في منشور المدونة الخاص بها.
استخدمت Google أيضًا تقنيات مثل تقليم الاتصال العصبي (تقليل حجم طراز الكلام) ، مما يقلل من استهلاك الطاقة بنسبة 50٪ ويسمح لـ Live Caption بالعمل بشكل مستمر.
توضح Google أن نتائج التعرف على الكلام يتم تحديثها عدة مرات في كل ثانية عند تكوين التسمية التوضيحية ، ولكن تنبؤ علامات الترقيم مختلف. يقول عملاق البحث إنه يقدم تنبؤ علامات الترقيم "على ذيل النص من الجملة التي تم التعرف عليها مؤخرًا" من أجل تقليل الطلب على الموارد.
يتوفر Live Caption الآن في سلسلة Google Pixel 4 ، وتقول Google إنها ستكون متاحة "قريبًا" على سلسلة Pixel 3 والأجهزة الأخرى. تقول الشركة إنها تعمل أيضًا على دعم اللغات الأخرى ودعم أفضل لمحتوى السماعات المتعددة.
