Vertailutestin menetelmä ja tulokset

Mitä vertailutesti mittaa

Vertaamme samoja navigointitehtäviä Mariner GPS Toolsin kanssa ja ilman sitä mitataksemme vaikutuksen mallin tuottamiin tokeneihin, vastausaikaan ja tarkkuuteen. Jokaisessa tehtävässä käytetään samaa mallia, kehotetta ja asetuksia, ja ainoa ero on se, ovatko MCP-työkalut käytettävissä.

Keskeiset tulokset

Mitattu: syyskuu 2026 · 9 mallia · 22 navigointitapausta · 3 toistoa · 1188 havaintoa · Tuotannon Mariner GPS Tools MCP

Tulokset malliluokittain

Jokainen luku on luokan kolmen mallin mediaani. Luokat noudattavat kunkin palveluntarjoajan omaa kuvausta mallin asemasta, ja ne lukittiin ennen tulosten lukemista.

Tulokset työkaluittain

Testisarja kattaa kaikki viisi laskuria 22 tapauksessa, lyhyistä rannikko-osuuksista valtameriylityksiin, mukaan lukien antimeridiaanin ylittävät, eteläisen pallonpuoliskon ja korkeiden leveysasteiden reitit. Luku julkaistaan vain siellä, missä jokainen ehdot täyttävä malli hyötyi.

Tässä taulukossa on yhdistetty kunkin työkalun käyttökelpoiset havainnot: vain oikeat vastaukset, kuten kaikissa tokeni- ja vasteaikavertailuissa. Työkalusivuilla ilmoitetaan mediaani ehdot täyttäneiden mallien kesken, eli luku, jonka vertailutesti julkaisee työkalukohtaisesti, joten luvut voivat poiketa hieman toisistaan.

Miksi tulokset vaihtelevat työkalun mukaan

MCP-työkalun käyttö tuo jokaiseen pyyntöön jonkin verran lisäkuormaa. Monimutkaisemmissa laskuissa, kuten suunnassa, etäisyydessä ja sivupoikkeamassa, sen tasapainottaa se, että malli tekee itse selvästi vähemmän työtä. Testeissämme nämä työkalut vähensivät tuotettuja tokeneita ja vastausaikoja huomattavasti ja säilyttivät samalla 100%:n tarkkuuden.

Yksinkertaisemmissa tehtävissä, kuten yksiköiden ja koordinaattien muuntamisessa, mallit pystyvät usein laskemaan vastauksen nopeasti itse. Tässä vertailutestissä työkalun käyttäminen näihin tehtäviin kesti kauemmin kaikilla testatuilla malleilla ja käytti kokonaisuutena enemmän tokeneita.

Kaikkiaan 9 testatussa mallissa tuotettujen tokenien vähenemä vaihteli välillä 7,3 %–95,4 %, ja päästä päähän -suorituskyky oli 0,6×–5,8× perustasoon nähden.

Tuotetut tokenit ja kokonaistokenit

Tuotetut tokenit ovat mallin tulostetokeneita, päättely mukaan lukien. Ne ovat päämittari, koska ne ovat se työ, jonka työkalu korvaa.

Menetelmä ja oikeellisuustarkistukset

• Perustaso- ja MCP-testeissä käytetään samaa kehotetta, tehtävää, mallia ja asetuksia. Ainoa ero on se, onko Mariner GPS Tools liitetty pyyntöön.
• Malleille ei kerrota, että niiden pitäisi käyttää työkaluja. Ne päättävät itse, kutsuvatko ne niitä.
• Tokenimäärät tulevat suoraan kultakin mallin tarjoajalta. MCP-luvut sisältävät työkalumäärittelyt ja jokaisen mallin vuoron, joka liittyy työkalun käyttöön.
• Vastaukset tarkistetaan riippumattomasti laskettuja odotusarvoja ja kiinteitä toleransseja vasten. Oikeellisuutta ei arvioi mikään LLM.
• Tokenien ja vastausajan vertailuissa käytetään oikeita vastauksia. Virheelliset vastaukset sekä mallin ja työkalujen virheet lasketaan edelleen mukaan tarkkuustuloksiin, myös tapauksissa, joissa malli kieltäytyi tehtävästä. Infrastruktuurisyistä, kuten palveluntarjoajan käyttökatkosta, epäonnistuneet ajot suoritettiin uudelleen ja alkuperäiset epäonnistuneet ajot jätettiin pois.
• Kaikki työkalukutsut käyttävät Mariner GPS Toolsin tuotannon MCP-päätepistettä, ja verkon ja MCP:n edestakaiset kutsut sisältyvät vasteaikoihin.
• Jokainen tapaus ajetaan 3 kertaa kullekin mallille ja ehdolle. Raportoidut luvut ovat mediaaneja, eivät valittuja parhaita ajoja.

Toistettavuus

You are a capable assistant helping with navigation calculations. Answer the user's task. When you have the result, end your reply with exactly one line of the form
FINAL: {"<field>": <number>, ...}
containing every requested field as a plain JSON number (no units, no text inside the JSON). Nothing may follow that line.