ما هي الرموز في الذكاء الاصطناعي؟ شرح تسعير النماذج اللغوية الكبيرة

أبرز النقاط

• الرموز هي أجزاء صغيرة من النص يعالجها نموذج الذكاء الاصطناعي، وليست بالضرورة كلمات كاملة.
• تفرض كثير من واجهات برمجة تطبيقات الذكاء الاصطناعي رسومًا منفصلة على رموز الإدخال والإخراج، لذا قد تزيد التعليمات والإجابات الأطول من التكاليف.
• يمكنك ضبط الإنفاق باختيار نماذج مناسبة، وتقليص السياق غير الضروري، والتحقق من الاستخدام الفعلي.

الرموز هي الوحدات التي يستخدمها النموذج اللغوي الكبير (LLM) لمعالجة النص: وقد تكون كلمات، أو أجزاء من كلمات، أو علامات ترقيم، أو مسافات. وتؤثر في التكلفة لأن كثيرًا من خدمات الذكاء الاصطناعي تحاسب على عدد الرموز التي يتلقاها النموذج ويولّدها، بينما قد تعتمد خطط روبوتات الدردشة الموجهة للمستهلكين على الاشتراكات أو حصص الاستخدام بدلًا من ذلك.

آلية العمل

من النص إلى الرموز

قبل أن يعالج النموذج اللغوي الكبير رسالتك، يقسّمها مكوّن يُسمّى مُجزِّئ النص إلى رموز إلى وحدات أصغر. ويتحول كل رمز إلى معرّف رقمي يستطيع النموذج معالجته.

قد تُمثَّل كلمة شائعة برمز واحد. أما الكلمة الأطول أو الأقل شيوعًا، فقد تُقسَّم إلى عدة رموز. وتؤثر علامات الترقيم والأرقام والشيفرات والمسافات أيضًا في النتيجة.

بالنسبة إلى النص الإنجليزي، هناك قاعدة تقديرية مفادها أن الرمز الواحد يمثل نحو أربعة أحرف، أو قرابة ثلاثة أرباع كلمة. وبذلك يعادل 1,000 رمز نحو 750 كلمة، لكن هذا مجرد تقدير.

يعتمد العدد الدقيق على مُجزِّئ النص والمحتوى. وقد تنتج اللغات المختلفة أعدادًا متباينة جدًا من الرموز للتعبير عن المعنى نفسه، لذا فإن عدد الكلمات وحده ليس مقياسًا موثوقًا للفوترة.

رموز الإدخال مقابل رموز الإخراج

يميّز معظم التسعير القائم على الرموز بين فئتين:

• رموز الإدخال: كل ما يُرسَل إلى النموذج، بما في ذلك رسالتك، وتعليمات التطبيق، وسجل المحادثة ذي الصلة، وأي نص مرجعي مُقدَّم.
• رموز الإخراج: المحتوى الذي يولّده النموذج استجابةً للطلب.

غالبًا ما يكون سعر رموز الإخراج أعلى من سعر رموز الإدخال، لكن الأسعار تختلف بحسب النموذج ومزوّد الخدمة.

عندما تُحدَّد الأسعار لكل مليون رمز، تكون المعادلة الأساسية كما يلي:

التكلفة = (رموز الإدخال ÷ 1,000,000 × سعر الإدخال) + (رموز الإخراج ÷ 1,000,000 × سعر الإخراج)

هذه نقطة البداية، وليست دائمًا الفاتورة الكاملة. فبحسب الخدمة، قد يُطبَّق تسعير مختلف على الإدخال المخزّن مؤقتًا، وقد تُحتسَب رموز الاستدلال ضمن الاستخدام المفوتر، وقد تضيف أدوات مثل البحث رسومًا منفصلة.

لماذا يهم طول المحادثة؟

لا يتذكر روبوت الدردشة الرسائل السابقة بالضرورة دون تكلفة. وللحفاظ على استمرارية المحادثة، قد يعيد التطبيق إرسال الرسائل السابقة إلى النموذج مع كل طلب جديد.

كلما طالت المحادثة، قد يزداد حجم إدخالها أيضًا، حتى لو كانت رسالتك الأخيرة مجرد «هل يمكنك توضيح ذلك؟».

للنماذج أيضًا نافذة سياق: وهي حدّ لعدد الرموز التي يمكنها التعامل معها في طلب واحد، ويشمل عمومًا الإدخال والإخراج المولَّد. تتيح لك نافذة السياق الكبيرة تقديم مزيد من المعلومات، لكنها لا تجعل معالجة تلك المعلومات مجانية.

أمثلة من الواقع

رسالة بريد إلكتروني قصيرة مقابل مراجعة مستند

تخيّل أنك تطلب من الذكاء الاصطناعي إعادة صياغة رسالة بريد إلكتروني قصيرة. قد يبلغ مجموع تعليماتك ورسالتك 200 رمز إدخال، مع إجابة من 150 رمزًا.

والآن تخيّل أنك تطلب منه مراجعة تقرير طويل. قد يحتوي هذا الطلب على 20,000 رمز إدخال وينتج ملخصًا من 1,000 رمز.

هذه أعداد توضيحية، وليست قياسات لمنتج بعينه. وعند استخدام النموذج نفسه وقواعد الفوترة نفسها، تكون مراجعة التقرير أعلى تكلفة لأنها تعالج وتولّد رموزًا أكثر. ولا تعني الإجابة النهائية القصيرة بالضرورة أن الطلب منخفض التكلفة إذا كان الإدخال كبيرًا.

روبوت دردشة لدعم العملاء

ينبغي للشركة التي تستخدم Chatbase لبناء روبوت دردشة يعتمد على محتوى موقعها الإلكتروني ومستنداتها أن تتحقق من كيفية قياس الاستخدام في خطتها. فقد يُعبَّر عن حصة الاستخدام المتاحة للعميل بعدد الرسائل أو وحدات الرصيد بدلًا من عدد الرموز الفعلي.

خلف الكواليس، قد تتضمن عملية توليد الإجابة أسئلة العملاء، والتعليمات، وسجل المحادثة، والنصوص المرجعية المسترجعة. ويمكن أن يقلل إرسال المقاطع ذات الصلة فقط من استخدام الرموز مقارنةً بتقديم قاعدة معرفة كاملة.

وقد تؤدي رسالة واحدة من العميل أيضًا إلى استدعاء النموذج عدة مرات في التطبيقات الأكثر تعقيدًا. وهذا يعني أن «التكلفة لكل رسالة» و«التكلفة لكل طلب إلى النموذج» ليستا دائمًا متساويتين.

مساعد قائم على الاشتراك

إذا كنت تستخدم ChatGPT عبر واجهته الموجهة للمستهلكين، فستتعامل عمومًا مع إتاحة وحدود استخدام بحسب الخطة، بدلًا من فاتورة رموز منفصلة لكل إجابة.

وهذا يختلف عن استخدام واجهة برمجة التطبيقات المحسوب بحسب الاستهلاك. لا تفترض أن الاشتراك في روبوت دردشة يتضمن رصيدًا لواجهة برمجة التطبيقات، أو أن سعره الشهري يكشف تكلفة بناء تطبيقك الخاص.

الفوائد والقيود

يوفر التسعير القائم على الرموز للمطورين وحدة قابلة للقياس لتقدير الاستخدام. ويسهّل تتبع الرموز مقارنة النماذج، وتوقّع الإنفاق، وتحديد مسارات العمل مرتفعة التكلفة.

كما يتيح فرصًا مفيدة لتوفير المال. فإزالة التعليمات المكررة أو طلب إجابة موجزة يمكن أن يقلل الاستخدام دون تغيير المهمة.

ومع ذلك، فالرموز ليست مقياسًا للجودة. قد تُغفل الإجابة الأقصر تفاصيل أساسية، وقد يحتاج النموذج الأرخص إلى محاولات متكررة تُبدِّد التوفير الأولي.

ولأعداد الرموز أيضًا حدود بوصفها أداة للمقارنة:

• تختلف مُجزِّئات النص إلى رموز: قد ينتج المستند نفسه أعدادًا مختلفة من الرموز عبر النماذج.
• المزيد من السياق ليس أفضل دائمًا: قد تزيد المواد غير ذات الصلة التكلفة وتشتت الانتباه عن المهمة.
• تختلف فوترة الوسائط المتعددة: قد تستخدم الصور والصوت والفيديو طرقًا خاصة لاحتساب الرموز أو وحدات فوترة أخرى.
• الاستضافة الذاتية تظل مكلفة: تجنّب فاتورة واجهة برمجة التطبيقات المحسوبة لكل رمز لا يلغي تكاليف الأجهزة أو الكهرباء أو الصيانة.

الهدف العملي هو الوصول إلى نتيجة مفيدة وموثوقة بأقل تكلفة، وليس مجرد استخدام أقل عدد من الرموز.

كيف تبدأ؟

1. حدّد نموذج الفوترة لديك. تحقّق مما إذا كانت خدمتك تفرض رسومًا بحسب الاشتراك، أو الرسالة، أو وحدة الرصيد، أو الرمز، أو استخدام البنية التحتية. وتأكّد مما يشمله السعر قبل مقارنة الأسعار.

1. قِس مهمة تمثّل استخدامك المعتاد. استخدم مُجزِّئ النص الذي يوفّره مزوّد الخدمة أو بيانات الاستخدام التي تُبلغ عنها واجهة برمجة التطبيقات. اختبر طلبًا نموذجيًا، وطلبًا طويلًا، ومحادثة متابعة، بدلًا من الاعتماد على عدد الكلمات وحده.

1. حدّد هدفًا واضحًا للإخراج. اطلب «خمس نقاط» أو «ملخصًا يقل عن 200 كلمة» عندما يكون ذلك مناسبًا. ويمكن للمطورين أيضًا ضبط حدود الإخراج، لكن الحدود الضيقة جدًا قد تؤدي إلى بتر الإجابات.

1. قدّم السياق ذي الصلة فقط. أزل النصوص المكررة والأقسام غير المرتبطة بالمهمة. ويمكن لأطر عمل مثل LlamaIndex مساعدة المطورين على ربط المستندات بتطبيقات النماذج اللغوية الكبيرة واسترجاع المواد ذات الصلة بدلًا من إرسال كل شيء.

1. قارن التكاليف الإجمالية للمهمة. ضع في الحسبان إعادة المحاولات، واستدعاءات الأدوات، وجودة الإجابات. وللتجربة محليًا، يشغّل Ollama نماذج مفتوحة على الحواسيب الشخصية، لكن مدى ملاءمته يعتمد على الأجهزة المتاحة والنموذج المختار.

1. راقب الاستخدام باستمرار. تتبّع الرموز والتكاليف لكل مهمة مكتملة. اضبط ميزانيات أو تنبيهات حيثما كانت مدعومة، وتحقّق مما إذا كانت تكتفي بإشعارك أم توقف الإنفاق فعليًا.

الأسئلة الشائعة

هل الرمز الواحد يساوي كلمة واحدة؟

لا. قد يكون الرمز كلمة كاملة، أو جزءًا من كلمة، أو علامة ترقيم، أو مسافة بيضاء. تفيد التقديرات المستندة إلى عدد الكلمات الإنجليزية في التخطيط التقريبي، لكن للحصول على أعداد دقيقة، استخدم مُجزِّئ النص الخاص بالنموذج أو تقارير الاستخدام.

لماذا يكون سؤال قصير لروبوت الدردشة أعلى تكلفة أحيانًا؟

قد يتلقى النموذج أيضًا تعليمات التطبيق، والرسائل السابقة، والمستندات المرجعية. فسؤالك الظاهر ليس سوى جزء من الإدخال. كما تستدعي بعض مسارات العمل النموذج عدة مرات قبل تقديم إجابة واحدة.

هل يمكنني خفض تكاليف الرموز دون تقليل جودة الإجابة؟

غالبًا، نعم. أزل السياق المكرر، واسترجع المقاطع ذات الصلة فقط، وحدّد طول الإجابة الذي تحتاجه. ثم اختبر النتائج: فحذف التعليمات الأساسية أو استخدام نموذج غير مناسب قد يؤدي إلى أخطاء وطلبات إضافية.