Metodolojî û encamên benchmarkê

Benchmark çi dipîve

Em heman erkên navîgasyonê bi Mariner GPS Tools re û bêyî wê didin ber hev, da ku bandora wê li ser tokenên ku model çêdike, dema bersivê û rastbûnê bipîvin. Her erk heman model, prompt û mîhengan bikar tîne, û cudahiya tenê ew e ka amûrên MCP berdest in an na.

Encamên sereke

Pîvandin: îlona 2026an · 9 model · 22 rewşên navîgasyonê · 3 dubarekirin · 1188 çavdêrî · MCP ya hilberînê ya Mariner GPS Tools

Encam li gorî çîna modelê

Her hejmar medyana sê modelên wê çînê ye. Çîn li gorî pozîsyona ku her pêşkêşker bi xwe daye modela xwe ne û berî xwendina encaman hatine sabîtkirin.

Encam li gorî amûrê

Komika ceribandinê her pênc hesabkeran di 22 rewşan de vedihewîne, ji beşên kurt ên peravê heta derbasbûnên okyanûsê, tevî rêyên antîmerîdyanê, nîvkada başûr û firehiyên bilind. Hejmarek tenê li wir tê weşandin ku hemû modelên minasib jê sûd wergirtibin.

Ev tablo çavdêriyên bikêrhatî yên her amûrê dike yek: tenê bersivên rast, wek di hemû berhevdanên tokenan û dema bersivê de. Rûpelên amûran medyana di nav modelên minasib de didin, ango hejmara ku benchmark ji bo her amûrê diweşîne, ji ber vê yekê her du dikarin hinekî ji hev cuda bin.

Çima encam ji amûrekê bo amûreke din diguherin

Bikaranîna amûreke MCP hinekî bar li her daxwazê zêde dike. Di hesabên tevlihevtir de wek beralî, dûrî û şaşiya ji rêyê, ev bi wê yekê tê telafîkirin ku model bi xwe pir kêmtir kar dike. Di ceribandinên me de, van amûran kêmbûneke berçav di tokenên çêkirî û demên bersivê de pêk anîn û di heman demê de rastbûna 100% parastin.

Ji bo karên hêsantir, wek veguhertina yekeyan û koordînatê, model gelek caran dikarin bersivê bi xwe zû hesab bikin. Di vê benchmarkê de, bikaranîna amûrekê ji bo van karan li ser her modela ku hat ceribandin demeke dirêjtir girt û bi giştî tokenên zêdetir bi kar anî.

Di nav 9 modelên ceribandî de, kêmbûna tokenên çêkirî ji %7,3 heta %95,4 bû, lê performansa serî-heta-dawî ji 0,6× heta 5,8× ya xeta bingehîn bû.

Tokenên çêkirî û tevahiya tokenan

Tokenên çêkirî tokenên derketinê yên modelê ne, raman jî tê de. Ew pîvana sereke ne ji ber ku ew xebata ku amûr şûna wê digire ne.

Metodolojî û kontrolên rastbûnê

• Testên xeta bingehîn û yên MCP heman prompt, erk, model û mîhengan bikar tînin. Cudahiya tenê ew e ka Mariner GPS Tools bi daxwazê ve girêdayî ye an na.
• Ji modelan re nayê gotin ku amûran bikar bînin. Ew bi xwe biryar didin ka bang li wan bikin an na.
• Hejmarên tokenan rasterast ji her pêşkêşkerê modelê tên. Hejmarên MCP pênaseyên amûran û her dora modelê ya ku di bikaranîna amûrekê de beşdar e dihewînin.
• Bersiv li hember nirxên çaverêkirî yên serbixwe hesabkirî û toleransên sabît têne kontrolkirin. Ji bo dîtina rastbûnê tu LLM nayê bikaranîn.
• Berawirdkirinên token û dema bersivdanê bersivên rast bi kar tînin. Bersivên şaş û têkçûnên model an amûran hîn jî di encamên rastbûnê de tên hesibandin, di nav de rewşên ku modelê kar red kir. Ceribandinên ku ji ber sedemên binesaziyê, wek qutbûna servîsa peydakerekî, têk çûn dîsa hatin ceribandin û têkçûnên destpêkê hatin derxistin.
• Hemû bangên amûran xala dawiyê ya MCP ya hilberînê ya Mariner GPS Tools bikar tînin, û çûn-û-hatinên torê û MCP di demên bersivê de hatine hesibandin.
• Her rewş ji bo her model û her şertî 3 caran tê xebitandin. Hejmarên ragihandî medyan in, ne xebitandinên herî baş ên hilbijartî.

Dubarekirinbarî

You are a capable assistant helping with navigation calculations. Answer the user's task. When you have the result, end your reply with exactly one line of the form
FINAL: {"<field>": <number>, ...}
containing every requested field as a plain JSON number (no units, no text inside the JSON). Nothing may follow that line.