GA
API & MCPDoiciméadúchán

Ardán Gníomhairí agus API Mariner GPS Tools

Modheolaíocht agus torthaí an tagarmhairc

Féach conas a théann Mariner GPS Tools i bhfeidhm ar úsáid comharthaí na samhla, ar an am freagartha agus ar an gcruinneas thar 9 samhail AI, agus conas a thomhais muid na torthaí.

Cad a thomhaiseann an tagarmharc

Déanaimid na tascanna loingseoireachta céanna a chur i gcomparáid le Mariner GPS Tools agus gan é, chun an tionchar ar chomharthaí ginte na samhla, ar an am freagartha agus ar an gcruinneas a thomhas. Úsáideann gach tasc an tsamhail, an leid agus na socruithe céanna, agus is é fáil a bheith ar uirlisí MCP an t-aon difríocht.

Príomhthorthaí

84%níos lú comharthaí ginte ag an tsamhailAirmheán thar na 9 samhail a tástáladh.
100%ceart le MCP594/594 breathnú ar an MCP táirgeachta laistigh den lamháltas.
91.6%ceart gan MCP594 breathnú a d'fhreagair an tsamhail ina haonar.

Tomhaiste Meán Fómhair 2026 · 9 samhail · 22 gcás loingseoireachta · 3 athdhéanamh · 1188 bhreathnú · MCP táirgeachta Mariner GPS Tools

Torthaí de réir aicme samhla

Is é gach figiúr airmheán na dtrí shamhail san aicme sin. Leanann na haicmí an chaoi a suíonn gach soláthraí féin an tsamhail, agus socraíodh iad sular léadh na torthaí.

Laghdú ar chomharthaí ginte
Beag / éifeachtúil94.1%
Ilfhóinteach93.0%
Ardleibhéil78.4%
Airmheán foriomlán84%
Freagraí cearta
Bonnlíne LLM91.6% (544/594)
LLM + MCP100% (594/594)

Torthaí de réir uirlise

Clúdaíonn an tsraith na cúig áireamhán ar fad thar 22 cás, ó chosa gearra cósta go haistir aigéin, lena n-áirítear bealaí thar an bhfrithmheánlíne, sa leathsféar theas agus ag domhanleithid arda. Ní fhoilsítear figiúr ach amháin nuair a bhain gach samhail cháilitheach tairbhe as.

Cuireann an tábla seo breathnuithe inúsáidte gach uirlise le chéile: freagraí cearta amháin, mar atá i ngach comparáid comharthaí agus ama freagartha. Luann leathanaigh na n-uirlisí an t-airmheán thar na samhlacha cáilitheacha, is é sin an figiúr a fhoilsíonn an tagarmharc in aghaidh na huirlise, agus mar sin d'fhéadfadh difríocht bheag a bheith idir an dá cheann.

UirlisComharthaí ginteMéadú luaisFreagraí cearta: Bonnlíne LLM, LLM + MCP
Ríomh treo-uillinn fhíor thosaigh-91.6%5.1×Bonnlíne LLM: 101/108, LLM + MCP: 108/108
Ríomh fad mórchiorcail-91.0%4.4×Bonnlíne LLM: 94/108, LLM + MCP: 108/108
Ríomh earráid trasriain-94.5%9.8×Bonnlíne LLM: 106/135, LLM + MCP: 135/135
Léigh agus formáid comhordanáidíGan foilsiú+7.1%2.9× níos moilleBonnlíne LLM: 108/108, LLM + MCP: 108/108

Rinne na samhlacha an tasc seo go héifeachtúil astu féin. Sna tástálacha tiontaithe neamhspleácha seo, chuir úsáid na huirlise níos mó forchostais leis ná mar a shábháil sí.

Tiontaigh luasannaGan foilsiú+33.0%4.1× níos moilleBonnlíne LLM: 135/135, LLM + MCP: 135/135

Rinne na samhlacha an tasc seo go héifeachtúil astu féin. Sna tástálacha tiontaithe neamhspleácha seo, chuir úsáid na huirlise níos mó forchostais leis ná mar a shábháil sí.

Cén fáth a n-athraíonn na torthaí de réir uirlise

Cuireann úsáid uirlise MCP forchostas áirithe le gach iarratas. I gcás ríomhanna níos casta ar nós treo-uillinne, faid agus earráide trasriain, cúitítear é sin toisc go ndéanann an tsamhail féin i bhfad níos lú oibre. Inár gcuid tástálacha, bhain na huirlisí sin laghduithe suntasacha amach i gcomharthaí ginte agus in amanna freagartha, agus cruinneas 100% á choinneáil acu.

I gcás tascanna níos simplí, amhail aonaid agus comhordanáidí a thiontú, is minic is féidir le samhlacha an freagra a ríomh go tapa astu féin. Sa tagarmharc seo, thóg úsáid uirlise do na tascanna seo níos faide do gach samhail a tástáladh agus d'úsáid sí níos mó comharthaí san iomlán.

Thar na 9 samhail a tástáladh, bhí an laghdú ar chomharthaí ginte idir 7.3% agus 95.4%, agus bhí an fheidhmíocht ó cheann ceann idir 0.6× agus 5.8× den bhonnlíne.

Comharthaí ginte agus comharthaí iomlána

Is iad comharthaí ginte comharthaí aschuir na samhla, réasúnaíocht san áireamh. Is iad an príomh-mhéadrach iad toisc gurb iad an obair a dtagann an uirlis ina háit.

Modheolaíocht agus seiceálacha cruinnis

  • Úsáideann na tástálacha bonnlíne agus MCP an leid, an tasc, an tsamhail agus na socruithe céanna. Is é an t-aon difríocht ná an bhfuil Mariner GPS Tools ceangailte.
  • Ní deirtear leis na samhlacha na huirlisí a úsáid. Cinneann siad féin an nglaofaidh siad orthu.
  • Tagann na figiúirí comharthaí go díreach ó gach soláthraí samhlacha. Áirítear i bhfigiúirí MCP na sainmhínithe uirlisí agus gach seal samhla a bhaineann le huirlis a úsáid.
  • Seiceáiltear freagraí in aghaidh luachanna ionchais a ríomhadh go neamhspleách agus lamháltas seasta. Ní dhéanann LLM ar bith breithiúnas ar an gcruinneas.
  • Úsáidtear freagraí cearta sna comparáidí ar chomharthaí agus ar am freagartha. Áirítear freagraí míchearta agus teipeanna samhla nó uirlise fós sna torthaí cruinnis, lena n-áirítear cásanna inar dhiúltaigh samhail don tasc. Rinneadh ritheanna a theip ar chúiseanna bonneagair, amhail briseadh seirbhíse soláthraí, a atriail agus fágadh na teipeanna bunaidh as an áireamh.
  • Úsáideann gach glao uirlise críochphointe MCP táirgeachta Mariner GPS Tools, agus turais fillte an líonra agus MCP san áireamh sna hamanna freagartha.
  • Ritear gach cás 3 huaire do gach samhail agus do gach coinníoll. Is airmheáin iad na figiúirí a thuairiscítear, ní rití is fearr a roghnaíodh.

In-atáirgtheacht

Dáta an tagarmhairc20 Meán Fómhair 2026
Feidhmchlár tagarmharcálawn-mcp-bench 0.1.0 (40436f25ed54)
Sraithmariner-tools v0.2.0
Hais na sraithe (SHA-256)b185cd2a8b8d49b5852a281646b6c65570eb793b531914b8ae2daf5f5a2df066
Críochphointe MCPhttps://marinergps.tools/mcp
Freastalaí MCPmariner-tools 1.0.0 · MCP 2025-11-25
Iarracht réasúnaíochtamedium
Rithe8d9d909-831b-4e5e-91aa-cf1413c81096
Leid chórais, an dá choinníolltext
You are a capable assistant helping with navigation calculations. Answer the user's task. When you have the result, end your reply with exactly one line of the form
FINAL: {"<field>": <number>, ...}
containing every requested field as a plain JSON number (no units, no text inside the JSON). Nothing may follow that line.
Doiciméid API & MCP