Methodoleg a chanlyniadau'r meincnod

Beth mae'r meincnod yn ei fesur

Rydym yn cymharu'r un tasgau llywio gyda Mariner GPS Tools a hebddo er mwyn mesur yr effaith ar docynnau a gynhyrchir gan y model, ar yr amser ymateb ac ar y cywirdeb. Mae pob tasg yn defnyddio'r un model, anogwr a gosodiadau, gydag argaeledd offer MCP fel yr unig wahaniaeth.

Prif ganlyniadau

Mesurwyd Medi 2026 · 9 model · 22 achos llywio · 3 ailadroddiad · 1188 o arsylwadau · MCP cynhyrchu Mariner GPS Tools

Canlyniadau yn ôl dosbarth model

Pob ffigur yw canolrif y tri model yn y dosbarth hwnnw. Mae'r dosbarthiadau'n dilyn y ffordd y mae pob darparwr ei hun yn lleoli'r model, ac fe'u pennwyd cyn darllen y canlyniadau.

Canlyniadau yn ôl offeryn

Mae'r gyfres yn cwmpasu pob un o'r pum cyfrifiannell ar draws 22 achos, o gymalau arfordirol byr i fordeithiau cefnforol, gan gynnwys llwybrau ar draws y gwrthferidian, yn hemisffer y de ac ar ledredau uchel. Dim ond lle bu pob model cymwys ar ei ennill y cyhoeddir ffigur.

Mae'r tabl hwn yn cyfuno arsylwadau defnyddiadwy pob offeryn: atebion cywir yn unig, fel ym mhob cymhariaeth tocynnau ac amser ymateb. Mae tudalennau'r offer yn dyfynnu'r canolrif ar draws y modelau cymwys, sef y ffigur y mae'r meincnod yn ei gyhoeddi fesul offeryn, felly gall y ddau fod ychydig yn wahanol.

Pam mae'r canlyniadau'n amrywio yn ôl offeryn

Mae defnyddio offeryn MCP yn ychwanegu rhywfaint o orbenion at bob cais. Ar gyfer cyfrifiadau mwy cymhleth fel cyfeiriant, pellter a gwall traws-drac, caiff hynny ei wrthbwyso gan fod y model yn gwneud llawer llai o waith ei hun. Yn ein profion, cynhyrchodd yr offer hyn ostyngiadau sylweddol mewn tocynnau a gynhyrchwyd ac mewn amseroedd ymateb, gan gynnal cywirdeb o 100%.

Ar gyfer tasgau symlach fel trosi unedau a chyfesurynnau, gall modelau gyfrifo'r ateb yn gyflym ar eu pen eu hunain yn aml. Yn y meincnod hwn, cymerodd defnyddio offeryn ar gyfer y tasgau hyn fwy o amser ar gyfer pob model a brofwyd a defnyddiodd fwy o docynnau yn gyffredinol.

Ar draws y 9 model a brofwyd, roedd y gostyngiad mewn tocynnau a gynhyrchwyd yn amrywio o 7.3% i 95.4%, tra oedd y perfformiad o'r dechrau i'r diwedd yn amrywio o 0.6× i 5.8× y llinell sylfaen.

Tocynnau a gynhyrchwyd a chyfanswm tocynnau

Tocynnau a gynhyrchwyd yw tocynnau allbwn y model, gan gynnwys rhesymu. Nhw yw'r prif fetrig am mai nhw yw'r gwaith y mae'r offeryn yn ei ddisodli.

Methodoleg a gwiriadau cywirdeb

• Mae'r profion llinell sylfaen ac MCP yn defnyddio'r un anogwr, tasg, model a gosodiadau. Yr unig wahaniaeth yw a yw Mariner GPS Tools wedi'i gysylltu.
• Ni ddywedir wrth y modelau am ddefnyddio'r offer. Nhw sy'n penderfynu a ddylid eu galw.
• Daw'r ffigurau tocynnau'n uniongyrchol gan bob darparwr model. Mae ffigurau MCP yn cynnwys y diffiniadau offer a phob tro model sy'n rhan o ddefnyddio offeryn.
• Caiff atebion eu gwirio yn erbyn gwerthoedd disgwyliedig a gyfrifwyd yn annibynnol a goddefiannau sefydlog. Nid oes LLM yn barnu cywirdeb.
• Mae cymariaethau tocynnau ac amser ymateb yn defnyddio atebion cywir. Mae atebion anghywir, methiannau model a methiannau offer yn dal i gyfrif yn y canlyniadau cywirdeb, gan gynnwys achosion lle gwrthododd model y dasg. Ailbrofwyd rhediadau a fethodd am resymau seilwaith, megis toriad gwasanaeth gan ddarparwr, a chafodd y methiannau gwreiddiol eu heithrio.
• Mae pob galwad offeryn yn defnyddio pwynt terfyn MCP cynhyrchu Mariner GPS Tools, gyda theithiau crwn y rhwydwaith ac MCP wedi'u cynnwys yn yr amseroedd ymateb.
• Caiff pob achos ei redeg 3 gwaith ar gyfer pob model ac amod. Canolrifau yw'r ffigurau a adroddir, nid rhediadau gorau a ddewiswyd.

Atgynyrchioldeb

You are a capable assistant helping with navigation calculations. Answer the user's task. When you have the result, end your reply with exactly one line of the form
FINAL: {"<field>": <number>, ...}
containing every requested field as a plain JSON number (no units, no text inside the JSON). Nothing may follow that line.