تعمل قوقل على تطوير ميزة جديدة داخل لوحة المفاتيح Gboard، قد تسمح للمستخدمين بتحويل إشارات اليد مباشرة إلى نص مكتوب باستخدام كاميرا الهاتف وتقنيات الذكاء الاصطناعي. وظهرت الميزة، التي تحمل اسم Sign-to-Text، داخل إصدار تجريبي حديث من تطبيق Gboard، ما يشير إلى أن الشركة بدأت تجهيز واجهة الاستخدام والعناصر الأساسية قبل اختبارها بصورة أوسع.
لكن الأداة لا تزال قيد التطوير، ولم تعلن قوقل رسميًا موعد إطلاقها أو قائمة الهواتف واللغات التي ستدعمها عند طرحها.
تحويل لغة الإشارة إلى كلمات مكتوبة
تهدف ميزة Sign-to-Text إلى توفير طريقة جديدة للكتابة داخل Gboard، إلى جانب الكتابة التقليدية والسحب فوق الحروف والإملاء الصوتي.
وعند تفعيلها، سيتمكن المستخدم من توجيه كاميرا الهاتف نحوه واستخدام لغة الإشارة، لتتعرف تقنيات الرؤية الحاسوبية والذكاء الاصطناعي على الحركات وتحولها إلى كلمات تظهر مباشرة داخل حقل الكتابة.
وقد تسهم الميزة في تسهيل التواصل بالنسبة إلى الصم وضعاف السمع، خصوصًا عند استخدام تطبيقات المراسلة أو كتابة النصوص في المواقف التي لا يتوفر فيها مترجم للغة الإشارة.
تقنية مستوحاة من SignGemma
يأتي تطوير الميزة بعد عمل باحثي Google DeepMind على نموذج SignGemma، المصمم لفهم لغة الإشارة وتحويلها إلى نصوص قابلة للقراءة.
ويعتمد هذا النوع من التقنيات على تحليل حركة اليدين وتعبيرات الوجه ووضعية الجسم، وهي عناصر أساسية لفهم المعنى الكامل في العديد من لغات الإشارة.
ومن المحتمل أن تكون ميزة Gboard واحدة من أولى التطبيقات العملية الواسعة لهذه الأبحاث، لكن لم تؤكد قوقل حتى الآن النموذج الذي ستستخدمه داخل النسخة النهائية.
معالجة الفيديو داخل الهاتف لحماية الخصوصية
تكشف المعلومات الموجودة داخل الإصدار التجريبي أن قوقل تخطط لاستخدام نظام معالجة هجين يجمع بين الهاتف والخوادم السحابية.
وسيعمل الهاتف أولًا على معالجة الفيديو محليًا واستخراج بيانات الحركات والإيماءات، بدلًا من إرسال تسجيل الكاميرا نفسه إلى خوادم قوقل.
بعد ذلك، ستُرسل البيانات المجردة الناتجة عن الحركة إلى أنظمة الذكاء الاصطناعي السحابية لتحليلها وتحويلها إلى كلمات مكتوبة.
ومن شأن هذه الطريقة توفير مستوى أفضل من الخصوصية، لأنها تقلل الحاجة إلى مشاركة الفيديو الفعلي الذي يظهر المستخدم وبيئته المحيطة.
الإضاءة الجيدة ستكون ضرورية
تتضمن الملفات البرمجية المكتشفة داخل Gboard رسائل إرشادية تساعد المستخدم على تحسين تعرف الكاميرا على إشاراته.
ومن بينها تنبيه يظهر عند ضعف الإضاءة، ويطلب من المستخدم الانتقال إلى مكان أكثر سطوعًا.
ويعني ذلك أن أداء الأداة قد يتأثر بجودة الكاميرا والإضاءة والمسافة بين المستخدم والهاتف، بالإضافة إلى وضوح حركة اليدين وظهورهما بالكامل داخل الإطار.
وقد تفرض هذه المتطلبات قيودًا على استخدام الميزة في الأماكن المظلمة أو أثناء الحركة.
هل ستعمل على جميع الهواتف؟
لم تتضح حتى الآن متطلبات تشغيل Sign-to-Text، ولا ما إذا كانت ستتوفر على جميع هواتف أندرويد التي تدعم Gboard.
وقد تحتاج الميزة إلى معالج حديث قادر على تنفيذ عمليات الرؤية الحاسوبية محليًا، إلى جانب كاميرا بمستوى مناسب واتصال بالإنترنت لإتمام مرحلة التحليل السحابي.
كما يمكن أن تقصر قوقل الإطلاق الأولي على مجموعة محددة من هواتف Pixel أو الأجهزة القادرة على تشغيل تقنيات الذكاء الاصطناعي المتقدمة، قبل توسيع الدعم لاحقًا.
تحدي دعم لغات الإشارة المختلفة
لا توجد لغة إشارة عالمية موحدة، إذ تستخدم كل منطقة لغات وقواعد مختلفة، مثل لغة الإشارة الأمريكية والبريطانية والعربية وغيرها.
وقد تدعم قوقل لغة الإشارة الأمريكية في البداية، بالنظر إلى انتشارها وتوافر البيانات التدريبية الخاصة بها، لكن لم يظهر حتى الآن أي دليل يؤكد اللغات التي ستشملها المرحلة الأولى.
وسيكون دعم لغات الإشارة الإقليمية من أكبر التحديات أمام الأداة، لأن الاختلافات لا تقتصر على شكل الإيماءات فقط، بل تشمل القواعد والتراكيب والتعبيرات الخاصة بكل لغة.
ميزة واعدة ما تزال قيد الاختبار
تم اكتشاف Sign-to-Text داخل الإصدار التجريبي رقم 17.8.3.939743344 من Gboard، لكن الأداة لم تكن قابلة للتشغيل فعليًا أثناء الفحص.
ويشير ظهور النوافذ التعريفية والنصوص الإرشادية إلى أن عملية التطوير وصلت إلى مرحلة متقدمة نسبيًا، إلا أن وجودها داخل ملفات التطبيق لا يضمن طرحها رسميًا.
فقد تقرر قوقل تعديل طريقة عملها أو تأجيلها أو إلغاؤها بالكامل إذا لم تحقق الدقة المطلوبة خلال الاختبارات.
وإذا وصلت الميزة إلى المستخدمين، فقد تصبح واحدة من أهم إضافات إمكانية الوصول في تاريخ Gboard، عبر منح الأشخاص الذين يعتمدون على لغة الإشارة وسيلة مباشرة لتحويل حركاتهم إلى نصوص داخل أي تطبيق يدعم لوحة مفاتيح قوقل.
اقرأ أيضًا: 10 علامات تحذيرية تشير إلى اختراق هاتفك بــ برامج التجسس وشرح طريقة إزالتها
