UI-TARS Desktop: أداة الذكاء الاصطناعي للتحكم في الكمبيوتر

تخيل أن تطلب من جهاز الكمبيوتر فتح أحد البرامج، والانتقال إلى إعداداته، وتعديل خيارات معينة، ثم تنفيذ سلسلة من المهام دون الحاجة إلى التعامل مع كل نافذة أو زر بنفسك. هذا هو الاتجاه الذي تحاول تقنيات وكلاء الذكاء الاصطناعي الوصول إليه، حيث لم يعد دور الذكاء الاصطناعي مقتصرًا على الإجابة عن الأسئلة وكتابة النصوص، بل أصبح قادرًا على التفاعل مع واجهات البرامج وتنفيذ الأوامر داخلها.

يأتي مشروع UI-TARS Desktop من ByteDance ضمن هذه الفئة من الأدوات، إذ يقدم تطبيقًا لسطح المكتب يعتمد على نماذج الذكاء الاصطناعي متعددة الوسائط لفهم ما يظهر على الشاشة، ثم استخدام الماوس ولوحة المفاتيح للتفاعل مع التطبيقات والمتصفحات. وبذلك يمكن للمستخدم وصف المهمة باللغة الطبيعية وترك الوكيل يتولى تنفيذ الخطوات المطلوبة.

وتكمن أهمية المشروع في اعتماده على مفهوم Computer Use، أي استخدام الذكاء الاصطناعي للكمبيوتر بطريقة تشبه تفاعل الإنسان مع الشاشة، بدل الاعتماد دائمًا على واجهات برمجية مستقلة لكل تطبيق. لكن هناك تفاصيل تتعلق بالتشغيل المحلي والاتصال بالنماذج الخارجية وحالة المشروع الحالية ينبغي معرفتها قبل استخدامه.

ما هو UI-TARS Desktop؟

UI-TARS Desktop هو مشروع مفتوح المصدر لوكلاء الذكاء الاصطناعي الذين يتعاملون مباشرة مع واجهات المستخدم الرسومية (GUI). طورته ByteDance ليكون وسيلة عملية للاستفادة من نماذج الرؤية واللغة في التحكم بالكمبيوتر والمتصفح.

يعتمد التطبيق على نماذج UI-TARS، وهي نماذج مصممة لفهم واجهات البرامج وتحديد العناصر الموجودة على الشاشة، مثل الأزرار والقوائم وحقول الإدخال والنوافذ. وبعد تحليل الشاشة، يستطيع الوكيل تحديد الإجراء المناسب وتنفيذه باستخدام الماوس أو لوحة المفاتيح.

والفرق هنا أن المستخدم لا يطلب من روبوت المحادثة شرح كيفية تنفيذ المهمة، بل يطلب منه تنفيذها فعليًا. فإذا أردت تغيير إعداد داخل برنامج معين، يمكنك وصف المطلوب، ليحاول الوكيل الوصول إلى الإعداد وتعديله بنفسه.

ويضم المشروع نمطين أساسيين للتفاعل: Computer Operator للتحكم في الكمبيوتر، وBrowser Operator لتنفيذ المهام داخل المتصفح. كما قدمت الإصدارات السابقة خيارات للتعامل مع أجهزة وبيئات بعيدة.

واجهة UI-TARS Desktop وكيف يبدو التطبيق؟

صمم التطبيق ليجمع بين واجهة المحادثة وبيئة العمل التي ينفذ فيها الوكيل أوامره. يستطيع المستخدم كتابة تعليماته، ومتابعة استجابة الذكاء الاصطناعي، ومراقبة الإجراءات التي يحاول تنفيذها على الكمبيوتر.

وتساعد هذه الطريقة على جعل عملية الأتمتة أكثر وضوحًا، إذ لا يحتاج المستخدم إلى كتابة سكربتات معقدة أو إعداد سلسلة من الأوامر البرمجية حتى يبدأ بتجربة التحكم الذكي في واجهات البرامج.

ومن خلال هذه الواجهة يمكن الانتقال إلى تجربة تشغيل المهام على الكمبيوتر المحلي أو إعداد بيئة تشغيل أخرى بحسب الخيارات المتاحة وإعدادات النموذج. وتظل دقة النتائج مرتبطة بالنموذج المستخدم وطريقة تشغيله وطبيعة المهمة المطلوبة.

أهم مميزات UI-TARS Desktop

لا تقتصر أهمية UI-TARS Desktop على قدرته على تنفيذ النقرات وكتابة النصوص، بل تكمن في الجمع بين فهم الشاشة والتخطيط للإجراءات والتحقق من نتائجها. وفيما يلي أبرز الإمكانات التي يقدمها المشروع:

1. التحكم في الكمبيوتر باللغة الطبيعية

يمكن للمستخدم وصف ما يريد تنفيذه باستخدام عبارات عادية، دون الحاجة إلى معرفة أوامر النظام أو كتابة تعليمات برمجية. على سبيل المثال، يمكن طلب فتح برنامج معين، أو الانتقال إلى إعداداته، أو تغيير أحد الخيارات الموجودة داخله.

وتظهر فائدة هذه الإمكانية عند التعامل مع المهام المتكررة التي تتطلب التنقل بين عدة نوافذ وقوائم، خصوصًا عندما لا يوفر البرنامج واجهة API مناسبة لتنفيذ العمليات المطلوبة.

2. فهم الشاشة وتحليل العناصر المرئية

يستخدم الوكيل نماذج الرؤية واللغة (Vision-Language Models) لتحليل لقطات الشاشة والتعرف على العناصر التي تظهر أمامه. وهذا يسمح له بفهم السياق البصري للواجهة بدل الاعتماد على نصوص الأوامر وحدها.

فعندما يفتح نافذة جديدة، يمكنه تحليل محتواها وتحديد مكان الزر المطلوب أو الحقل الذي ينبغي إدخال البيانات فيه، ثم اختيار الإجراء التالي بناءً على الحالة التي يراها.

3. استخدام الماوس ولوحة المفاتيح

يدعم المشروع مجموعة من إجراءات التحكم الأساسية، مثل النقر والضغط المزدوج والتمرير والسحب وإدخال النصوص واستخدام اختصارات لوحة المفاتيح.

وتسمح هذه الإمكانات للوكيل بالتعامل مع عدد كبير من التطبيقات التي تعتمد على واجهات رسومية، حتى عندما لا تتوفر وسيلة مباشرة لربطها بالذكاء الاصطناعي.

4. تشغيل المهام داخل المتصفح

يوفر Browser Operator إمكانية أتمتة بعض الأعمال التي تتم عبر المتصفح، مثل الانتقال بين صفحات الويب وقراءة المعلومات والتفاعل مع النماذج وحقول الإدخال.

وهذا يفتح المجال أمام استخدامه في الأعمال المكتبية والبحث وتجميع المعلومات وتنفيذ الإجراءات المتكررة على المواقع، مع ضرورة مراجعة النتائج قبل اعتماد أي إجراء حساس.

5. متابعة تنفيذ الأوامر

يوفر التطبيق عرضًا لحالة التنفيذ والتفاعل مع الوكيل، ما يساعد المستخدم على متابعة تقدم المهمة ومعرفة ما إذا كان الذكاء الاصطناعي قد انتقل إلى الخطوة التالية أو واجه مشكلة أثناء العمل.

أفضل 15 موقع تحويل النص إلى صوت احترافي مجانا

كيف يعمل وكيل UI-TARS Desktop؟

تعتمد آلية العمل على دورة متكررة تجمع بين الرؤية واتخاذ القرار وتنفيذ الإجراء. فبدل تنفيذ سلسلة ثابتة من النقرات دون النظر إلى النتائج، يحاول الوكيل قراءة الحالة الحالية للواجهة بعد كل خطوة وتحديد ما ينبغي فعله بعد ذلك.

ويمكن تبسيط هذه العملية في المراحل التالية:

• استقبال التعليمات: يحدد المستخدم المهمة التي يريد تنفيذها باللغة الطبيعية.
• تحليل الشاشة: يحصل الوكيل على صورة من واجهة الكمبيوتر أو المتصفح ويفسر محتوياتها.
• تحديد الإجراء: يستخدم النموذج المعلومات المرئية لاختيار النقرة أو الكتابة أو الحركة المناسبة.
• تنفيذ الأمر: يرسل الوكيل الإجراء إلى أدوات التحكم في الماوس ولوحة المفاتيح.
• التحقق من النتيجة: يقرأ الشاشة مرة أخرى ليتعرف على التغييرات ويقرر الخطوة التالية.

وتتكرر هذه الدورة حتى يصل الوكيل إلى النتيجة المطلوبة أو يواجه مشكلة تمنعه من الاستمرار. ولهذا يمكنه التعامل مع المهام متعددة الخطوات بصورة أكثر مرونة من برامج الأتمتة التقليدية التي تعتمد على تسلسل ثابت من الإجراءات.

أمثلة عملية على استخدام UI-TARS Desktop

تظهر قيمة هذا النوع من الوكلاء عندما يحتاج المستخدم إلى تنفيذ أعمال تتطلب التنقل بين البرامج أو التعامل مع واجهات لا توفر تكاملًا مباشرًا مع أدوات الأتمتة. ومن أبرز الاستخدامات المحتملة:

أتمتة إعدادات البرامج

يمكن توجيه الوكيل إلى برنامج مثل Visual Studio Code وطلب تفعيل خاصية الحفظ التلقائي وتعديل الفترة الزمنية الخاصة بها. ويعرض المشروع نفسه مثالًا توضيحيًا لهذه المهمة ضمن صفحة GitHub الرسمية.

البحث عن المعلومات عبر المتصفح

يمكن الاستفادة من Browser Operator في التنقل بين صفحات الويب والبحث عن معلومات محددة وتجميع البيانات من المواقع، بدل تنفيذ كل خطوة يدويًا.

تنفيذ الأعمال المكتبية المتكررة

قد يساعد الوكيل في التعامل مع بعض المهام الروتينية داخل برامج المكتب، مثل فتح الملفات والتنقل بين القوائم وإدخال البيانات في الحقول المناسبة، بشرط أن تكون الواجهات مدعومة وأن تكون المهمة واضحة للنموذج.

التفاعل مع التطبيقات التي لا تدعم API

من الاستخدامات المهمة لوكلاء GUI إمكانية التعامل مع البرامج التي لا توفر واجهات برمجية سهلة للربط الخارجي. فبدل انتظار المطور لإضافة تكامل جديد، يستطيع الوكيل محاولة استخدام الواجهة الرسومية المتاحة بالفعل.

شرح DeepSeek Harness وربطه بنموذج DeepSeek V4.1 Flash مجانًا

هل يعمل UI-TARS Desktop محليًا دون إنترنت؟

هذه من أهم النقاط التي ينبغي توضيحها قبل استخدام المشروع، خصوصًا أن وصفه يتضمن إمكانية تشغيل Local Operator والتحكم في الكمبيوتر المحلي.

يدعم UI-TARS Desktop نمط التحكم في الجهاز المحلي، كما يقدم تكاملًا مع نماذج UI-TARS. لكن وجود خيار التشغيل المحلي لا يعني بالضرورة أن جميع عمليات معالجة الذكاء الاصطناعي تتم دون اتصال بالإنترنت.

يوضح دليل البدء الرسمي طريقة استخدام نموذج UI-TARS-1.5-7B من خلال Hugging Face، مع إعداد عنوان الخدمة (Base URL) ومفتاح API واسم النموذج داخل التطبيق. وهذا يعني أن هذا المسار يعتمد على نقطة تشغيل للنموذج وخدمة اتصال، وليس تشغيلًا مستقلًا بالكامل دون إنترنت.

وبالتالي، ينبغي التمييز بين أمرين:

• التحكم المحلي: تنفيذ إجراءات الماوس ولوحة المفاتيح على الكمبيوتر الذي يعمل عليه التطبيق.
• المعالجة المحلية: تشغيل نموذج الذكاء الاصطناعي نفسه على الجهاز دون إرسال بياناته إلى خدمة خارجية.

إذا كانت الخصوصية أو العمل دون إنترنت من أولوياتك، فتحقق من طريقة استضافة النموذج ومكان تنفيذ الاستدلال قبل إدخال أي معلومات حساسة. ولا تفترض أن مجرد اختيار Local Operator يضمن بقاء جميع البيانات داخل جهازك.

LPlayer: مشغل فيديو يترجم الفيديوهات بالذكاء الاصطناعي لحظياً

متطلبات التشغيل والأنظمة المدعومة

صمم المشروع للعمل ضمن بيئات سطح المكتب والمتصفح، ويذكر المستودع الرسمي دعم Windows وmacOS، إلى جانب إمكانات تشغيل الوكيل داخل المتصفح. لكن يجب مراجعة ملفات الإصدارات المتاحة قبل التثبيت للتأكد من توافق نسخة التطبيق مع نظام التشغيل المستخدم.

وتشمل المتطلبات والاعتبارات التي ينبغي الانتباه إليها:

• نظام التشغيل: Windows أو macOS وفقًا للإصدارات المتاحة في المستودع.
• المتصفح: يوصي دليل المشروع باستخدام Chrome أو Edge أو Firefox لتشغيل Browser Operator.
• الشاشة: يشير دليل التشغيل إلى أن التطبيق صمم للعمل على شاشة واحدة، وقد تتسبب إعدادات الشاشات المتعددة في فشل بعض المهام.
• النموذج: تحتاج إلى إعداد نموذج متوافق مع التطبيق، مثل UI-TARS-1.5-7B عبر طريقة النشر الموضحة في الدليل.
• موارد الجهاز: تختلف احتياجات المعالجة والذاكرة بحسب النموذج وطريقة استضافته. ولا يقدم المشروع رقمًا موحدًا يمكن اعتباره متطلبًا مناسبًا لجميع حالات التشغيل.

وفي أجهزة macOS، يتطلب التحكم الكامل منح التطبيق أذونات إمكانية الوصول (Accessibility) وتسجيل الشاشة (Screen Recording). وهذه الأذونات ضرورية حتى يتمكن من قراءة الواجهة والتفاعل معها.

كيفية تثبيت UI-TARS Desktop والبدء في استخدامه

يمكن الرجوع إلى دليل البدء السريع الرسمي للتعرف على خطوات التثبيت وإعداد النموذج. وبشكل عام، تمر عملية الإعداد بالمراحل التالية:

الخطوة الأولى: تنزيل التطبيق

انتقل إلى صفحة الإصدارات (Releases) في المستودع الرسمي، وابحث عن حزمة التثبيت المناسبة لنظام التشغيل لديك. بعد تنزيلها، اتبع خطوات التثبيت الخاصة بالنظام.

الخطوة الثانية: إعداد الصلاحيات

على نظام macOS، افتح إعدادات الخصوصية والأمان وامنح التطبيق صلاحيات Accessibility وScreen Recording إذا أردت استخدام إمكانات التحكم والتقاط الشاشة. أما في Windows، فاتبع متطلبات التشغيل والصلاحيات التي تعرضها النسخة المثبتة.

الخطوة الثالثة: إعداد نموذج الذكاء الاصطناعي

يمكن اتباع دليل نشر UI-TARS-1.5-7B لاختيار طريقة تشغيل النموذج والحصول على المعلومات المطلوبة، مثل عنوان الخدمة ومفتاح API واسم النموذج، إذا كنت تستخدم نقطة تشغيل مستضافة.

الخطوة الرابعة: ضبط إعدادات التطبيق

افتح إعدادات UI-TARS Desktop، واختر مزود النموذج المناسب، ثم أدخل بيانات الاتصال المطلوبة. ويؤكد الدليل أهمية اختيار مزود VLM المتوافق مع النموذج حتى يتمكن التطبيق من تفسير إجراءات التحكم بالشكل الصحيح.

الخطوة الخامسة: تجربة مهمة بسيطة

ابدأ بمهمة محدودة لا تتضمن بيانات مهمة أو تغييرات يصعب التراجع عنها. يمكنك مثلًا طلب فتح برنامج معين أو الانتقال إلى صفحة إعدادات محددة، ثم راقب طريقة تعامل الوكيل مع الشاشة ومدى دقة النتائج.

الخصوصية والأمان: هل من الآمن منح الذكاء الاصطناعي التحكم في الكمبيوتر؟

يختلف UI-TARS Desktop عن أدوات المحادثة التقليدية في أنه قد يحتاج إلى الوصول إلى محتويات الشاشة واستخدام وسائل الإدخال لتنفيذ الأوامر. وهذا يمنحه قدرات أكبر، لكنه يرفع في الوقت نفسه مستوى المخاطر المحتملة.

فعندما يستطيع الوكيل رؤية الشاشة والتعامل مع البرامج، قد تظهر أمامه معلومات شخصية أو رسائل أو ملفات أو بيانات تسجيل الدخول. كما يمكن أن يؤدي سوء فهم التعليمات إلى تنفيذ إجراء غير مقصود.

ومن الأفضل اتباع مجموعة من الاحتياطات عند استخدامه:

• لا تترك الوكيل يعمل دون مراقبة عند تنفيذ المهام الحساسة.
• تجنب استخدامه مع الحسابات المصرفية أو بيانات الدفع.
• لا تمنحه صلاحيات أوسع من احتياجات المهمة.
• استخدم ملفات تجريبية قبل السماح له بتعديل ملفات العمل الأساسية.
• لا تضع كلمات المرور أو مفاتيح API داخل محادثات غير موثوقة.
• تحقق مما إذا كانت لقطات الشاشة أو بيانات المهمة ترسل إلى مزود نموذج خارجي.
• راجع أي إجراء يتضمن الحذف أو النشر أو الإرسال أو الدفع قبل اعتماده.

ومن المهم أيضًا الانتباه إلى ما يعرف بهجمات حقن التعليمات (Prompt Injection). فقد تحتوي صفحة ويب أو مستند يقرأه الوكيل على تعليمات مضللة تحاول دفعه إلى تنفيذ أوامر لم يطلبها المستخدم. لذلك لا ينبغي التعامل مع مخرجات النموذج على أنها موثوقة تلقائيًا.

ما الفرق بين UI-TARS Desktop وأدوات أتمتة الكمبيوتر التقليدية؟

توجد عدة طرق لأتمتة العمل على الكمبيوتر، بداية من تسجيل حركات الماوس ولوحة المفاتيح، مرورًا بأدوات RPA، وصولًا إلى وكلاء الذكاء الاصطناعي القادرين على فهم الشاشة. ويقع UI-TARS Desktop ضمن الفئة الأخيرة.

وتظهر أبرز الاختلافات عند مقارنة أسلوب العمل:

• برامج الماكرو: تنفذ خطوات مسجلة مسبقًا، وغالبًا ما تتأثر عند تغير مكان الأزرار أو تصميم الواجهة.
• أدوات RPA: تعتمد على قواعد وسيناريوهات محددة، وقد توفر تكاملًا أعمق مع بعض البرامج والأنظمة.
• وكلاء GUI: يستخدمون الرؤية والنماذج اللغوية لفهم الواجهة واختيار الإجراءات بناءً على السياق الحالي.

وتتمثل ميزة UI-TARS Desktop في إمكانية التعامل مع الواجهات الرسومية بصورة أكثر مرونة، لكن ذلك لا يجعله بديلًا شاملًا لجميع أدوات الأتمتة. فالمهام التي تتطلب دقة عالية أو تنفيذًا متكررًا يمكن التحقق منه قد تكون أفضل باستخدام API أو سكربتات وأدوات RPA المتخصصة.

ما وضع مشروع UI-TARS Desktop حاليًا؟

هناك تحديث مهم يجب أخذه في الاعتبار قبل تنزيل المشروع. فقد أظهرت صفحة المستودع الرسمي على GitHub أن ByteDance قامت بأرشفة مستودع UI-TARS Desktop بتاريخ 9 نوفمبر 2026، وأصبح المستودع في وضع القراءة فقط (Read-only).

وهذا يعني أن المستودع الأصلي لم يعد يستقبل التحديثات والتعديلات بالطريقة المعتادة، كما أن المستخدمين لن يتمكنوا من فتح طلبات دمج جديدة أو التعامل معه باعتباره مشروعًا نشطًا للتطوير من خلال المستودع نفسه.

ومن المهم أيضًا معرفة أن خدمة Remote Operator التي كانت توفر بيئة للتحكم عن بُعد أُعلن عن إيقافها في 20 أغسطس 2025، وفقًا لدليل التشغيل الرسمي. لذلك لا ينبغي الاعتماد على الشروحات القديمة التي تعرض هذه الخدمة باعتبارها خيارًا متاحًا حاليًا.

هل يستحق UI-TARS Desktop التجربة؟

يمثل UI-TARS Desktop تجربة مهمة في مجال وكلاء الذكاء الاصطناعي القادرين على استخدام الكمبيوتر، لأنه يقدم نموذجًا عمليًا يجمع بين فهم الشاشة والتحكم في الماوس ولوحة المفاتيح، مع إمكانية تنفيذ المهام عبر واجهات البرامج والمتصفحات.

ويستفيد منه بصورة أكبر المطورون والباحثون والمهتمون بتقنيات Computer Use وأتمتة واجهات المستخدم، خصوصًا من يريدون دراسة كيفية تحويل النماذج متعددة الوسائط إلى وكلاء قادرين على تنفيذ إجراءات فعلية.

لكن أرشفة المستودع الرسمي في نوفمبر 2026، إلى جانب توقف خدمة التحكم عن بُعد القديمة، يجعلان المشروع خيارًا يحتاج إلى تقييم قبل اعتماده في الاستخدام اليومي. فإذا كنت تبحث عن أداة مستقرة تحصل على تحديثات مستمرة ودعم نشط، فمن الأفضل مقارنة البدائل النشطة قبل اتخاذ القرار.

هل سبق لك تجربة وكيل ذكاء اصطناعي يستطيع التحكم في الكمبيوتر وتنفيذ المهام بدلًا منك؟ شاركنا تجربتك ورأيك في هذه التقنية، وتابع تكفليكس لاكتشاف المزيد من أدوات الذكاء الاصطناعي والمشروعات مفتوحة المصدر التي تساعدك على تطوير طريقة عملك.

REA: خادم MCP مفتوح المصدر يساعد وكلاء الذكاء الاصطناعي على فهم أي برنامج

Mahmoud N. Elewa

رائد أعمال أمتلك عدة مشاريع رقمية متنوعة تعتمد على الابتكار والجودة. وخبرة تمتد منذ عام 2011 في مجال التسويق الإلكتروني، أسعى دائمًا لتقديم حلول تقنية مبتكرة وفعالة. أنشر بانتظام مقالات وتقارير تتناول أحدث التطورات التقنية وأفضل الممارسات في مجال التسويق الرقمي وتطوير المواقعو ومراجعات لأفضل الخدمات التقنية. أهدف إلى تقديم محتوى ذو قيمة عالية يساهم في تعزيز معرفة القارئ العربي وتطوير مهاراته.

See Full Bio