منهجية الاختبار المعياري ونتائجه

ما الذي يقيسه الاختبار المعياري

نقارن مهام الملاحة نفسها مع Mariner GPS Tools ومن دونها لقياس الأثر في الرموز التي يولّدها النموذج وزمن الاستجابة والدقة. وتستخدم كل مهمة النموذج والمطالبة والإعدادات نفسها، والفارق الوحيد هو توفّر أدوات MCP من عدمه.

النتائج الرئيسية

تاريخ القياس: سبتمبر 2026 · 9 نماذج · 22 حالات ملاحية · 3 تكرارات · 1188 مشاهدة · خادم MCP الإنتاجي لـ Mariner GPS Tools

النتائج حسب فئة النموذج

كل رقم هو وسيط النماذج الثلاثة في تلك الفئة. تتبع الفئات تصنيف كل مزوّد لنموذجه، وقد حُدّدت قبل الاطلاع على النتائج.

النتائج حسب الأداة

تغطي المجموعة الحاسبات الخمس جميعها عبر 22 حالة، من المقاطع الساحلية القصيرة إلى العبور المحيطي، بما في ذلك مسارات تعبر خط الطول 180° ومسارات في نصف الكرة الجنوبي وفي خطوط العرض العليا. ولا يُنشر رقم إلا حيث استفاد كل نموذج مؤهل.

يجمع هذا الجدول المشاهدات الصالحة للاستخدام لكل أداة في رقم واحد: الإجابات الصحيحة وحدها، كما في كل مقارنات الرموز وزمن الاستجابة. أما صفحات الأدوات فتذكر الوسيط عبر النماذج المؤهلة، وهو الرقم الذي ينشره الاختبار المعياري لكل أداة، ولذلك قد يختلف الرقمان اختلافاً طفيفاً.

لماذا تختلف النتائج باختلاف الأداة

يضيف استخدام أداة MCP بعض الكلفة الإضافية إلى كل طلب. وفي الحسابات الأعقد مثل الاتجاه والمسافة وخطأ الانحراف عن المسار، يقابل ذلك أن النموذج يؤدي عملاً أقل بكثير بنفسه. وفي اختباراتنا، حققت هذه الأدوات انخفاضاً كبيراً في الرموز المولَّدة وفي أزمنة الاستجابة، مع الحفاظ على دقة 100%.

بالنسبة إلى المهام الأبسط مثل تحويل الوحدات والإحداثيات، يمكن للنماذج غالبًا حساب الإجابة بسرعة بمفردها. في هذا الاختبار المعياري، استغرق استخدام أداة لهذه المهام وقتًا أطول مع كل نموذج تم اختباره واستخدم رموزًا أكثر إجمالًا.

عبر 9 نماذج خضعت للاختبار، تراوح خفض الرموز المولَّدة بين 7.3‎%‎ و95.4‎%‎، بينما تراوح الأداء من طرف إلى طرف بين 0.6× و5.8× من خط الأساس.

الرموز المولَّدة وإجمالي الرموز

الرموز المولَّدة هي رموز الإخراج الصادرة عن النموذج، بما فيها رموز الاستدلال. وهي المقياس الرئيسي لأنها تمثّل العمل الذي تحل الأداة محله.

المنهجية وفحوص الصحة

• يستخدم اختبار خط الأساس واختبار MCP المطالبة والمهمة والنموذج والإعدادات نفسها. والفرق الوحيد هو ما إذا كانت Mariner GPS Tools مرفقة بالطلب.
• لا يُطلب من النماذج استخدام الأدوات. وهي تقرّر بنفسها ما إذا كانت ستستدعيها.
• تأتي أرقام الرموز مباشرة من كل مزوّد للنماذج. وتشمل أرقام MCP تعريفات الأدوات وكل دورة نموذج تدخل في استخدام أداة.
• تُقارَن الإجابات بقيم متوقعة محسوبة بصورة مستقلة وبهوامش تفاوت ثابتة. ولا يُستخدَم أي LLM للحكم على الصحة.
• تستخدم مقارنات الرموز وزمن الاستجابة الإجابات الصحيحة. تظل الإجابات غير الصحيحة وإخفاقات النموذج وإخفاقات الأدوات محسوبة ضمن نتائج الدقة، بما في ذلك الحالات التي رفض فيها النموذج المهمة. أُعيدت المحاولات التي فشلت لأسباب تتعلق بالبنية التحتية، مثل انقطاع خدمة المزوّد، واستُبعدت المحاولات الأصلية الفاشلة.
• تستخدم كل استدعاءات الأدوات نقطة نهاية MCP الإنتاجية في Mariner GPS Tools، مع احتساب رحلات الذهاب والإياب عبر الشبكة وعبر MCP ضمن أزمنة الاستجابة.
• تُنفَّذ كل حالة 3 مرات لكل نموذج ولكل حالة اختبار. والأرقام المعروضة وسيطات، وليست أفضل تشغيلات منتقاة.

قابلية إعادة الإجراء

You are a capable assistant helping with navigation calculations. Answer the user's task. When you have the result, end your reply with exactly one line of the form
FINAL: {"<field>": <number>, ...}
containing every requested field as a plain JSON number (no units, no text inside the JSON). Nothing may follow that line.