التضمينات وقواعد البيانات المتجهية: دليل عملي

أهم النقاط

• تحوّل التضمينات المحتوى إلى أرقام تساعد البرمجيات على مقارنة المعنى والتشابه.
• تخزّن قواعد البيانات المتجهية هذه التمثيلات وتبحث فيها، مما يساعد على استرجاع البيانات ذات الصلة حتى عند اختلاف الصياغة.
• تعتمد جودة النتائج على موادك المصدرية، ونموذج التضمين، والمرشّحات، والاختبارات، وليس على قاعدة البيانات وحدها.

التضمينات هي تمثيلات رقمية للنصوص أو الصور أو غيرها من البيانات، تلتقط أنماطًا وعلاقات مفيدة. وتخزّن قواعد البيانات المتجهية هذه التمثيلات وتسترجع العناصر المشابهة، مما يجعلها مفيدة للبحث القائم على المعنى، والتوصيات، ومساعدي الذكاء الاصطناعي.

كيف تعمل

يبحث البحث التقليدي بالكلمات المفتاحية عن الكلمات المتطابقة، وغالبًا ما يتضمن تحسينات مثل التصحيح الإملائي والمرادفات. ويضيف البحث القائم على التضمينات نهجًا آخر: العثور على محتوى مشابه في المعنى، حتى عندما يستخدم كلمات مختلفة.

على سبيل المثال، قد يؤدي البحث عن «كيف أستعيد حسابي؟» إلى استرجاع مقالة مساعدة بعنوان «إعادة تعيين بيانات اعتماد تسجيل الدخول».

التضمينات: تمثيل المحتوى بالأرقام

يحوّل نموذج التضمين مُدخلًا إلى قائمة من الأرقام تُسمّى متجهًا. وقد يكون هذا المُدخل جملة، أو قسمًا من مستند، أو وصفًا لمنتج، أو صورة.

يمكنك تصوّر كل متجه كنقطة على خريطة ذات أبعاد عديدة. وتميل العناصر ذات المعاني المتشابهة إلى التقارب، بحسب النموذج ومقياس التشابه المستخدم.

هذه الأرقام ليست ملخصًا قابلًا للقراءة. ولا تقابل الأبعاد الفردية عادةً تسميات بسيطة مثل «السعر» أو «السعادة». ما يهم هو العلاقات عبر المتجه بأكمله.

قواعد البيانات المتجهية: العثور على أقرب المطابقات

تخزّن قاعدة البيانات المتجهية المتجهات، عادةً إلى جانب معرّفات وبيانات وصفية مثل عناوين المستندات، أو التواريخ، أو الفئات، أو أذونات الوصول. وتستخدم الفهارس لاسترجاع المتجهات المشابهة بكفاءة.

تستخدم بعض الأنظمة البحث التقريبي عن أقرب الجيران: إذ تعطي الأولوية للعثور على مطابقات قوية بسرعة بدلًا من فحص كل نتيجة ممكنة فحصًا شاملًا. وينشأ عن ذلك موازنة بين سرعة الاسترجاع ومدى موثوقية البحث في العثور على أقرب المطابقات.

يبدو سير العمل المعتاد كما يلي:

1. إعداد البيانات. اجمع المستندات وأزل المواد المكررة أو القديمة أو غير ذات الصلة.
2. تقسيم المحتوى الطويل. قسّم المستندات إلى أقسام ذات معنى، غالبًا ما تُسمّى مقاطع.
3. إنشاء التضمينات. أرسل كل مقطع إلى نموذج تضمين.
4. تخزين النتائج. احفظ المتجهات مع النص المصدري أو مرجع إليه، بالإضافة إلى بيانات وصفية مفيدة.
5. إنشاء تضمين للاستعلام. حوّل سؤال المستخدم باستخدام نموذج تضمين متوافق.
6. استرجاع المطابقات. ابحث عن المتجهات القريبة وطبّق المرشّحات أو ترتيبًا إضافيًا للنتائج.

إذا استخدم مساعد ذكاء اصطناعي المقاطع المسترجعة بعد ذلك لكتابة إجابة، فيُسمّى سير العمل هذا عادةً التوليد المعزّز بالاسترجاع، أو RAG. يعثر الاسترجاع على الأدلة، وينتج التوليد الإجابة.

أمثلة من الواقع

البحث في معارف الشركة

يسأل موظف: «هل يمكنني العمل من بلد آخر لمدة شهر؟» قد توجد الإرشادات ذات الصلة في مستند بعنوان «سياسة العمل عن بُعد من خارج البلاد».

يمكن للتضمينات ربط السؤال بتلك السياسة دون الحاجة إلى تطابق الصياغة. ويمكن لمرشّحات البيانات الوصفية حصر النتائج في منطقة الموظف، بينما تمنع عمليات التحقق من الأذونات الوصول إلى المستندات المقيّدة.

العثور على المنتجات والمحتوى ذي الصلة

يبحث متسوّق عن «حقيبة خفيفة لرحلات نهاية الأسبوع». ويمكن للبحث القائم على التضمينات إظهار أوصاف تذكر حقائب سفر صغيرة الحجم، حتى لو لم تتضمن العبارة نفسها.

يمكن لتقنيات مشابهة التوصية بمقالات أو منتجات ذات صلة. لكن التشابه وحده لا يأخذ في الحسبان التوافر أو الميزانية أو قواعد العمل. وتحتاج هذه القيود إلى مرشّحات منفصلة أو منطق لترتيب النتائج.

مساعدة المطوّر على التنقّل في الوثائق

قد يبحث مطوّر في الوثائق الداخلية عن «إعادة محاولة الطلبات الفاشلة بأمان». وقد تناقش الصفحات ذات الصلة التراجع الأُسّي، وثبات أثر العملية عند تكرارها، والتعامل مع انتهاء المهلة.

يمكن للاسترجاع الدلالي المساعدة على الربط بين هذه المفاهيم. وتظل المطابقة الدقيقة للكلمات المفتاحية مهمة لأسماء الدوال، ورموز الأخطاء، وأرقام الإصدارات، لذا يكون الجمع بين النهجين مفيدًا في كثير من الأحيان.

استكشاف مجموعات الأبحاث

يمكن للباحثين استخدام التضمينات لاكتشاف أوراق بحثية تناقش مفاهيم مترابطة باستخدام مصطلحات مختلفة.

يدعم ذلك الاكتشاف، لا التحقق العلمي. فقد تدرس ورقة مشابهة فئة سكانية مختلفة، أو تستخدم منهجًا أضعف، أو تتوصل إلى استنتاج متعارض. ولا يزال على الباحثين فحص المصادر.

الفوائد والحدود

الفائدة الرئيسية هي البحث الأكثر مرونة. يمكن للمستخدمين طرح الأسئلة بصورة طبيعية بدلًا من تخمين الصياغة الدقيقة في المستند. ويمكن للتضمينات أيضًا دعم التجميع، والتوصيات، والعثور على المحتوى شبه المكرر.

يمكن للبحث الهجين تحسين التغطية. يساعد الجمع بين البحث بالكلمات المفتاحية والبحث المتجهي على الموازنة بين الصلة المفاهيمية والمطابقات الدقيقة، خصوصًا للأسماء والمعرّفات والمصطلحات التقنية.

لكن هناك حدودًا مهمة:

• التشابه لا يعني الصحة. قد يكون المقطع المتقدم في الترتيب غير دقيق، أو قديمًا، أو ذا صلة ضعيفة فقط.
• تختلف نقاط قوة النماذج. قد يواجه نموذج تضمين عام صعوبة مع المصطلحات المتخصصة أو لغات بعينها.
• يؤثر التقسيم إلى مقاطع في النتائج. قد تفقد المقاطع الصغيرة جدًا السياق، بينما قد تقلّل المقاطع الكبيرة جدًا من بروز المعلومات المفيدة.
• تتطلب تغييرات المحتوى صيانة. تحتاج المستندات المحدّثة عادةً إلى تضمينات جديدة، بينما يجب استبعاد المحتوى المحذوف من الاسترجاع.
• تحتاج الخصوصية إلى ضوابط صريحة. تعامل مع التضمينات والنصوص المرتبطة بها بوصفها بيانات قد تكون حساسة. ويجب أن يفرض الاسترجاع قواعد الوصول.
• تتجاوز التكاليف التخزين. يستهلك إنشاء التضمينات، والفهرسة، والاستعلامات، وإعادة الترتيب الاختيارية موارد.

كذلك لا تحل قاعدة البيانات المتجهية محل جميع قواعد البيانات الأخرى. فالإجماليات المالية، ومعالجة المعاملات، وإعداد التقارير الدقيقة لا تزال تتطلب استعلامات منظّمة وأنظمة بيانات مناسبة.

كيف تبدأ

ابدأ بمهمة واحدة محددة النطاق، مثل البحث في قاعدة معارف الدعم. وتجنّب محاولة بناء مساعد لجميع مستندات الشركة دفعة واحدة.

1. اجمع محتوى وأسئلة تمثّل الاستخدام الفعلي. ضمّن أسئلة واضحة، ومعرّفات دقيقة، وطلبات ملتبسة، وأسئلة لا تستطيع مستنداتك الإجابة عنها.
2. أنشئ خط أساس للبحث بالكلمات المفتاحية. يوضّح ذلك ما إذا كانت التضمينات تحسّن حالة استخدامك بالفعل.
3. اختر نموذج تضمين. تحقّق من دعم اللغات، وحدود المُدخلات، ومتطلبات الخصوصية، ومدى ملاءمته لمحتواك.
4. اختر وسيلة التخزين. Pinecone قاعدة بيانات متجهية مصمّمة للبحث بالتشابه. ويمكنك أيضًا النظر في إمكانات البحث المتجهي ضمن قاعدة بيانات موجودة بدلًا من إضافة نظام آخر فورًا.
5. أرفق بيانات وصفية مفيدة. ضمّن مراجع المصادر، وتواريخ التحديث، والفئات، ومعلومات الوصول. واضبط الاسترجاع لفرض الأذونات.
6. قيّم وحسّن. تحقّق مما إذا كان المقطع الصحيح يظهر قرب أعلى النتائج. وعدّل تقسيم المقاطع، أو المرشّحات، أو البحث الهجين، أو الترتيب بناءً على حالات الإخفاق الفعلية.

يمكن أن يساعد ChatGPT في صياغة شيفرة نموذج أولي أو توليد أفكار لأسئلة التقييم. ويمكن للمطوّر أيضًا استخدام Phind، وهو محرك بحث وإجابات موجّه للمطوّرين، للبحث في مسائل التنفيذ. تحقّق من الإرشادات المُولّدة بالرجوع إلى الوثائق الحالية، وتجنّب مشاركة البيانات السرية دون ضمانات حماية معتمدة.

الأسئلة الشائعة

هل التضمينات هي نفسها نموذج الذكاء الاصطناعي؟

لا. ينتج نموذج التضمين التضمينات؛ وهي مخرجاته الرقمية. وتخزّن قاعدة البيانات المتجهية تلك المخرجات وتبحث فيها، بدلًا من أن تؤدي دور النموذج نفسه.

هل أحتاج إلى قاعدة بيانات متجهية مخصّصة؟

ليس دائمًا. قد يعمل نموذج أولي صغير باستخدام حسابات تشابه محلية، كما تدعم بعض قواعد البيانات الموجودة البحث المتجهي. اختر بناءً على حجم البيانات، وسرعة الاستعلام، والتصفية، والأذونات، والاحتياجات التشغيلية.

هل يمكنني مزج تضمينات من نماذج مختلفة؟

عادةً لا يمكن ذلك مباشرةً. تنتج النماذج المختلفة عمومًا فضاءات متجهية غير متوافقة، حتى لو كانت متجهاتها بالطول نفسه. استخدم نموذجًا متوافقًا للمحتوى المخزّن والاستعلامات؛ فتبديل النماذج يعني عمومًا إعادة إنشاء تضمينات محتواك.