ما هو الذكاء الاصطناعي متعدد الوسائط؟ شرح الصور والصوت والفيديو

أبرز النقاط

• يعمل الذكاء الاصطناعي متعدد الوسائط مع أنواع مختلفة من المعلومات، مثل النصوص والصور والصوت والفيديو.
• يمكنه الربط بين الصيغ: شرح صورة، أو تحويل الكلام إلى نص، أو تحويل مطالبة مكتوبة إلى فيديو.
• ابدأ بمهمة عملية واحدة، وتحقق من المخرجات، وتجنب رفع مواد حساسة دون مراجعة إعدادات الخصوصية.

الذكاء الاصطناعي متعدد الوسائط هو ذكاء اصطناعي يمكنه معالجة أكثر من نوع واحد من المعلومات أو توليده، مثل النصوص والصور والصوت والفيديو. وهو يربط بين هذه الصيغ، مما يتيح لك طرح أسئلة عن صورة، أو تحويل الكلام إلى ملاحظات مكتوبة، أو إنشاء فيديو انطلاقًا من وصف.

كيف يعمل

*الوسيط* هو نوع من المعلومات. فاللغة المكتوبة وسيط، والمعلومات المرئية والصوت وسيطان آخران.

يتلقى نظام الذكاء الاصطناعي النصي فقط كلمات وينتج كلمات. أما النظام متعدد الوسائط فيتجاوز هذه الحدود؛ إذ يمكنه، مثلًا، تلقي صورة مع سؤال وإرجاع شرح مكتوب.

تسير العملية الأساسية على النحو التالي:

1. تقدم مُدخلًا. قد يكون مطالبة، أو لقطة شاشة، أو تسجيلًا، أو مزيجًا من الصيغ.
2. يحوّله النظام إلى تمثيلات عددية. تلتقط هذه التمثيلات أنماطًا يستطيع النموذج التعامل معها، مثل الأشكال والأصوات والعلاقات بين الكلمات.
3. يربط المعلومات ذات الصلة. تتعلم النماذج أثناء التدريب الارتباطات بين الصيغ، مثل الارتباط بين الصور والنصوص التوضيحية المصاحبة لها.
4. ينتج استجابة. بحسب قدراته، قد تكون هذه الاستجابة نصًا، أو صورة، أو صوتًا، أو فيديو، أو نوعًا آخر من المخرجات.

تخيل أنك ترفع صورة لدراجة متضررة وتسأل: «ما الذي ينبغي أن أتحقق منه قبل ركوبها؟» يجب أن يربط النظام سؤالك بالتفاصيل الظاهرة في الصورة. وينبغي أن تراعي استجابته كليهما، بدلًا من التعامل مع الصورة والكلمات كلٍّ على حدة.

لا تدعم كل أداة متعددة الوسائط جميع الصيغ. فبعض الأدوات تقبل الصور لكنها تُرجع نصوصًا فقط. وأدوات أخرى تحول النصوص إلى صور، أو تجمع بين النصوص والصور لتوليد فيديو. كما تربط بعض المنتجات عدة نماذج متخصصة في الخلفية.

السؤال المهم ليس مجرد ما إذا كانت الأداة «متعددة الوسائط»، بل ما المدخلات والمخرجات التي تدعمها لإنجاز مهمتك.

أمثلة من الواقع

شرح صورة أو لقطة شاشة

يمكنك رفع رسم بياني وطلب ملخص له بلغة إنجليزية مبسطة، أو مشاركة لقطة شاشة لبرنامج والسؤال عن معنى رسالة خطأ ظاهرة فيها.

يدعم ChatGPT إدخال الصور، مما يجعله مفيدًا لطرح أسئلة عن المواد المرئية. أضف سياقًا: «هذا هو الرسم البياني لمبيعاتنا الشهرية. صِف الاتجاه الرئيسي، وأشر إلى أي تسميات لا تستطيع قراءتها».

تحقق بنفسك من الأرقام والنصوص الصغيرة. فالشرح الذي يبدو معقولًا ليس دليلًا على قراءة كل التفاصيل قراءة صحيحة.

الربط بين الصوت والنص وتحرير الفيديو

تحتوي المقابلة المسجلة على لغة منطوقة وتوقيت، وربما معلومات مرئية. ويمكن لسير العمل المدعوم بالذكاء الاصطناعي ربط النص المفرّغ بالتسجيل الأصلي، مما يساعدك على العثور على مقاطع محددة وتحريرها.

يوفر Descript تحريرًا للصوت والفيديو قائمًا على النص. ويتيح لك ذلك العمل على المحتوى المسجل من خلال نصه المفرّغ، بدلًا من الاعتماد فقط على خط زمني تقليدي للتحرير.

هذا مثال عملي على الربط بين الصيغ، وإن كان سير العمل في المنتج قد يستخدم عدة مكونات ذكاء اصطناعي تعمل في الخلفية.

توليد محتوى مرئي من الكلمات

يمكن أن يتحول موجز مكتوب إلى تصور مرئي. يولّد Midjourney صورًا من النصوص، مما قد يساعد في إعداد لوحات الإلهام والرسوم التوضيحية واستكشاف الأفكار الإبداعية الأولية.

أما للمحتوى المتحرك، فيدعم Runway (Gen-3 Alpha) توليد الفيديو من النصوص ومن الصور. ويمكن أن يصبح وصف أو صورة مرجعية نقطة انطلاق لمقطع مولّد.

توضح هذه الأدوات مفهوم التوليد عبر الوسائط: إذ تستخدم المدخلات والمخرجات أشكالًا مختلفة من المعلومات. ومع ذلك، تظل النتائج بحاجة إلى مراجعة للتحقق من اتساقها البصري وملاءمتها.

تحويل المراجع إلى تصورات ثلاثية الأبعاد

يمكن أيضًا أن يتجاوز سير العمل متعدد الوسائط الصور المسطحة. يولّد Tripo3D نماذج ثلاثية الأبعاد من مدخلات نصية وصورية.

قد يساعد ذلك على تحويل فكرة أو مرجع بصري إلى عنصر أولي قابل للاستخدام. تعامل مع المخرجات بوصفها نقطة انطلاق: فقد يتطلب استخدامها في الإنتاج التحقق من البنية الهندسية والأبعاد والتوافق مع برنامج التصميم الذي تستخدمه.

الفوائد والقيود

الذكاء الاصطناعي متعدد الوسائط مفيد لأن العمل اليومي نادرًا ما يأتي بصيغة واحدة فقط. فقد يشمل المشروع رسائل بريد إلكتروني ولقطات شاشة وتسجيلات اجتماعات ومقاطع فيديو.

تشمل الفوائد الرئيسية:

• تقليل الحاجة إلى الشرح اليدوي. يمكنك مشاركة صورة ذات صلة بدلًا من وصف كل تفصيل ظاهر فيها.
• تسهيل التحويل بين الصيغ. يمكن تحويل الكلام إلى نص، والأفكار المكتوبة إلى مسودات مرئية.
• إتاحة المعلومات بطرق أكثر تنوعًا. يمكن للنصوص المفرّغة وأوصاف الصور أن تساعد الأشخاص على الوصول إلى المحتوى بطرق مختلفة، شريطة أن تكون دقيقة.
• إعداد المسودات الأولية بسرعة أكبر. تستطيع الفرق استكشاف خيارات إبداعية قبل الالتزام بأعمال إنتاج تفصيلية.

لكن زيادة أنواع المدخلات لا تضمن استدلالًا أفضل.

قد يسيء نظام الذكاء الاصطناعي قراءة صورة، أو يفوّت كلمة منطوقة، أو يغفل لحظة مهمة في فيديو. وقد تزيد الصور الضبابية وضوضاء الخلفية والتخطيطات المزدحمة من هذه المشكلات. وقد تحتوي الوسائط المولّدة على عناصر غير متسقة، أو حركة غير طبيعية، أو تفاصيل مضللة.

هناك أيضًا قيود عملية:

• الخصوصية: قد تحتوي الملفات المرفوعة على وجوه، أو أصوات، أو معلومات عملاء، أو مستندات سرية.
• الأذونات: تحتاج إلى الحقوق والموافقات المناسبة عند استخدام تسجيلات أو مواد مرجعية أو صورة شخص.
• السياق: لا تُظهر الصورة الفوتوغرافية إلا ما هو مرئي، وليس الخلفية الكاملة للموقف.
• التبعات: تحتاج المخرجات المتعلقة بالطب والقانون والمال والسلامة إلى مراجعة من مختصين مؤهلين.

تعامل مع مخرجات الذكاء الاصطناعي بوصفها مساعدة، لا تحققًا تلقائيًا من الصحة.

كيف تبدأ

1. اختر نتيجة محددة واحدة.

ابدأ بطلب مثل «اشرح لقطة الشاشة هذه» أو «أنشئ مسودة مرئية من هذا الموجز»، بدلًا من طلب عام لتحسين سير عملك بالكامل.

2. اختر الأداة المناسبة للصيغ.

استخدم ChatGPT للأسئلة المتعلقة بالصور، وDescript للتحرير القائم على النصوص المفرّغة، وMidjourney لتوليد الصور، أو Runway (Gen-3 Alpha) لتوليد الفيديو. تحقق من التوافر الحالي ومتطلبات الحساب والمدخلات المدعومة قبل البدء.

3. جهّز عينة واضحة وغير حساسة.

استخدم صورة قابلة للقراءة، أو تسجيلًا قصيرًا، أو وصفًا محددًا. أزل التفاصيل الشخصية وأي شيء لا تملك إذنًا برفعه.

4. حدد المهمة والقيود.

مثلًا: «اشرح هذا الرسم البياني في خمس نقاط. استخدم المعلومات الظاهرة فقط. إذا كانت إحدى التسميات غير واضحة، فاذكر ذلك بدلًا من التخمين».

5. تحقق وحسّن.

قارن الاستجابة بالمصدر. صحح الأخطاء، وعدّل المطالبة، وقرر ما إذا كانت النتيجة توفر الوقت بعد المراجعة، لا قبلها فقط.

الأسئلة الشائعة

هل الذكاء الاصطناعي متعدد الوسائط هو نفسه الذكاء الاصطناعي التوليدي؟

لا. يصف مصطلح «متعدد الوسائط» أنواع المعلومات التي يتعامل معها النظام. أما «التوليدي» فيصف قدرته على إنشاء المحتوى. ويمكن أن يجمع النظام بين الصفتين، مثل نظام يولّد صورة من نص، لكن الذكاء الاصطناعي متعدد الوسائط يمكنه أيضًا تصنيف المعلومات أو تحليلها.

هل تستطيع كل أداة ذكاء اصطناعي متعددة الوسائط التعامل مع الصور والصوت والفيديو؟

لا. تختلف مجموعات الصيغ المدعومة. فقد تقبل أداة النصوص والصور دون الصوت، أو تولّد فيديو دون تحليل اللقطات المرفوعة. تحقق من قدرات الإدخال والإخراج المحددة بدلًا من الاعتماد على وصف «متعدد الوسائط».

هل أحتاج إلى مهارات برمجية لاستخدام الذكاء الاصطناعي متعدد الوسائط؟

لا تحتاج إليها عادةً في المهام اليومية. تتيح لك أدوات كثيرة رفع الملفات وكتابة التعليمات ومراجعة النتائج من خلال واجهة اعتيادية. وتصبح البرمجة أكثر أهمية عندما تريد ربط الأنظمة، أو أتمتة المهام المتكررة، أو إنشاء تطبيق مخصص.