Benchmarkmethodologie en resultaten

Wat de benchmark meet

We vergelijken dezelfde navigatietaken met en zonder Mariner GPS Tools om het effect op gegenereerde modeltokens, responstijd en nauwkeurigheid te meten. Elke taak gebruikt hetzelfde model, dezelfde prompt en dezelfde instellingen, met de beschikbaarheid van de MCP-tools als enige verschil.

Belangrijkste resultaten

Gemeten in september 2026 · 9 modellen · 22 navigatiegevallen · 3 herhalingen · 1188 waarnemingen · Productie-MCP van Mariner GPS Tools

Resultaten per modelklasse

Elk cijfer is de mediaan van de drie modellen in die klasse. De klassen volgen de positionering van het model door de aanbieder zelf en zijn vastgelegd voordat de resultaten werden bekeken.

Resultaten per tool

De suite dekt alle vijf rekenhulpen in 22 gevallen, van korte kusttrajecten tot oceaanoversteken, waaronder routes over de antimeridiaan, op het zuidelijk halfrond en op hoge breedtegraden. Een cijfer wordt alleen gepubliceerd waar elk in aanmerking komend model baat had.

Deze tabel voegt de bruikbare waarnemingen van elke tool samen: alleen correcte antwoorden, zoals bij alle vergelijkingen van tokens en responstijd. De toolpagina's vermelden de mediaan over de in aanmerking komende modellen, het cijfer dat de benchmark per tool publiceert, waardoor de twee licht kunnen verschillen.

Waarom de resultaten per tool verschillen

Het gebruik van een MCP-tool brengt bij elk verzoek wat overhead met zich mee. Bij complexere berekeningen zoals koers, afstand en koersafwijking wordt dat gecompenseerd doordat het model zelf veel minder werk doet. In onze tests leverden deze tools een aanzienlijke vermindering van gegenereerde tokens en responstijden op, terwijl de nauwkeurigheid op 100% bleef.

Voor eenvoudigere taken, zoals het omrekenen van eenheden en coördinaten, kunnen modellen het antwoord vaak zelf snel berekenen. In deze benchmark duurde het gebruik van een tool voor deze taken bij elk getest model langer en werden er in totaal meer tokens gebruikt.

Over de 9 geteste modellen liep de reductie van gegenereerde tokens uiteen van 7,3% tot 95,4%, terwijl de end-to-end-prestatie tussen 0,6× en 5,8× van de baseline lag.

Gegenereerde tokens en totale tokens

Gegenereerde tokens zijn de uitvoertokens van het model, inclusief redenering. Ze zijn de belangrijkste maatstaf omdat ze het werk vormen dat de tool vervangt.

Methodologie en correctheidscontroles

• De baseline- en MCP-tests gebruiken dezelfde prompt, taak, model en instellingen. Het enige verschil is of Mariner GPS Tools gekoppeld is.
• Modellen krijgen niet te horen dat ze de tools moeten gebruiken. Ze beslissen zelf of ze die aanroepen.
• De tokencijfers komen rechtstreeks van elke modelaanbieder. De MCP-cijfers omvatten de tooldefinities en elke modelaanroep die bij het gebruik van een tool hoort.
• Antwoorden worden gecontroleerd aan de hand van onafhankelijk berekende verwachte waarden en vaste toleranties. Geen enkel LLM beoordeelt de correctheid.
• Voor vergelijkingen van tokens en responstijd worden correcte antwoorden gebruikt. Onjuiste antwoorden en fouten van het model of de tools blijven meetellen in de nauwkeurigheidsresultaten, ook wanneer een model de taak weigerde. Runs die om infrastructuurredenen mislukten, zoals een storing bij een provider, werden opnieuw uitgevoerd en de oorspronkelijke mislukte runs werden uitgesloten.
• Alle toolaanroepen gebruiken het productie-MCP-eindpunt van Mariner GPS Tools, waarbij netwerk- en MCP-roundtrips in de responstijden zijn inbegrepen.
• Elk geval wordt voor elk model en elke conditie 3 keer uitgevoerd. De gerapporteerde cijfers zijn medianen, geen geselecteerde beste runs.

Reproduceerbaarheid

You are a capable assistant helping with navigation calculations. Answer the user's task. When you have the result, end your reply with exactly one line of the form
FINAL: {"<field>": <number>, ...}
containing every requested field as a plain JSON number (no units, no text inside the JSON). Nothing may follow that line.