Testrundentracks vergleichen

Garmin fenix 7X und epix Gen 2 im Test

Der Schwerpunkt dieses Tests und Vergleichs der Garmin Fenix 7X Solar und Garmin Epix Gen 2 liegt auf den Sensoren wie Höhenmesser, Positionsbestimmung und Herzfrequenz. Was unterscheidet die beiden GPS-Outdoor-Smartwatches? Und wie gut ist die Taschenlampe der Fenix 7X für den Outdoorbereich? Hier geht es zum Test der Outdoor-Smartwatches ...
  • Altes Thema neuer Ansatz. Wenn über die Qualität eines Empfängers schwadroniert wird, dann werden gerne Tracks gezeigt, verglichen und jeder bemüht sich im Kaffeesatzlesen, um möglichst das Ergebnis zu lesen, das ihm passt. Aber abseits dieser Diskussion möchte man vielleicht doch mal gerne wissen, ob die zahlreichen Updates objektiv etwas an der Qualität verbessert haben. Oder man vergleicht zahlreiche Geräte, wie das der Tobias macht, und möchte gerne irgendwie etwas darüber schreiben, das nicht gleich zerrissen wird.


    Deswegen die Idee ein Tool zu schreiben, das den Abstand eines Tracks zu einem Referenztrack vergleicht und in statistische Größen umrechnet. Klingt einfach, hat aber auch seine Tücken. Gleich vorne weg ein paar:


    1) Die GPS Position hat einen zufälligen und einen systematischen Fehler. Letzterer ist vom Zeitpunkt der Messung abhängig. Es reicht folglich nicht nur einmal einen Track aufzuzeichnen, um dann zu triumphieren. So ein paar Tracks an unterschiedlichen Tagen zeigen der Erfahrung nach aber eine deutliche Tendenz.


    2) Die Randbedingungen spielen eine Rolle. Will man Geräte vergleichen, sollten alle die gleiche Chance zum guten Empfang haben. Natürlich kann man aber auch mit so einem Trackvergleich testen, ob unterschiedliche Transportmöglichkeiten den Empfang beeinträchtigen. Außerdem sollte das Aufzeichnungsintervall bei jeder Messung gleich sein. Ein automatisches Intervall ist hier wenig hilfreich, es sei denn man will gerade das testen.


    3) Die Referenz sollte gut sein. Nur wie bekommt man eine gute Referenz? Der normale Benutzer hat wohl nur die Chance einen künstlichen Track auf einer Karte oder auf Orthophotos zu zeichnen. Aber das ist doch nicht genau! Hat das Ergebnis dann noch einen Sinn? Als absolute Angabe wie gut ein Empfänger ist? Nein, garantiert nicht. Um relative Unterschiede zwischen Geräten, bzw Firmwareversionen oder sonstigen Modifikationen herauszufinden sollte es jedoch reichen. Immerhin trifft der Fehler in der Referenz alle Messungen gleich.


    Man sollte deshalb bei dem ganzen Spiel im Hinterkopf behalten: Die absoluten Zahlen sagen wenig aus. Relativ zueinander kann man jedoch schon gravierende Unterschiede sehen, oder eben auch nicht. Und wenn nicht, dann muss man nicht anfangen den einen Track schön zu reden und beim anderen Erbsen zu zählen.


    Was macht das Tool? Es berechnet zu jedem Punkt im Track den kürzesten Abstand zu einem Segment im Referenztrack. Das geht mehr oder weniger so, wie hier beschrieben:


    http://programmizm.sourceforge…rom-a-point-to-a-polyline


    Bei der Wahl der Referenzrunde sollte man enge Schleifen vermeiden, weil sonst unter Umständen die Distanz zu einem zeitlich früher liegenden Segment kürzer ist als zum richtigen Segment.


    Aus den resultierenden Deltas werden folgende statistische Größen berechnet:


    1) Der Mittelwert. Naja, der sagt eigentlich nicht viel aus.
    2) Die Varianz. Schon besser. Das ist der Wert, der angibt wie stark das Zappeln um die eigentliche Position ist. Und ob dieses Zappeln oft weit ausholt oder nicht.
    3) 3Sigma. Sollten die Werte normalverteilt sein dann lägen 99.7% der Werte in dem Bereich. Hm... ob man das so sagen kann?
    4) Der vierte Wert ist eigentlich keine wirkliche statistische Größe. Hier wird gezählt wie viele der Deltas in % kleiner als 10m sind.


    Soweit mal der Anfang. Das ist sicherlich nicht der Weisheit letzter Schluss und bestimmt sind auch noch Fehler drinnen. Deswegen will ich das hier zur Diskussion stellen. Wer selber ein wenig herumspielen möchte kann gerne den Code über SVN ziehen:


    https://svn.code.sf.net/p/qlan…/code/Research/TrackComp/


    Mit CMake kann man sich für seine IDE und sein Betriebssystem die nötigen Projektdateien erstellen. Eine Entwicklungsversion von Qt muss man auch installiert haben.


    Für den Rest habe ich ein Windows Binary gebastelt. Ich hoffe es läuft.


    https://sourceforge.net/projec…dkartegt/files/TrackComp/


    In dem Ordner sind auch ein Referenztrack und 3 Aufzeichnungen dabei. Das Ergebnis ist im angehängten Screenshot zu sehen.


    Viel Spass beim Spielen!

  • Ein sehr interessantes Thema auch wenn ich dazu nicht viel sagen kann. Nur vielleicht soviel, dass man bei OpenStreetMap sich auch alle Aufzeichnungen in einer Gegend anzeigen lassen kann und dann der Referenztrack in deinem Sinne eher der Mittelwert aller Tracks und kein virtueller Track ist.


    Natürlich funktioniert der Ansatz nur bei sehr vielen Tracks und einzelne extreme Ausreißer könnten das Ergebnis bei wenigen Tracks stark verfälschen.


    Im übrigen würde ich nach Möglichkeit alle Geräte auf einem z.B. Brett festbinden und dann gemeinsam die Tracks aufzeichnen. Dann hätte man nebenbei auch dieselben Bedingungen.


    Interessant wäre es dann gleiche Modelle eines Herstellers zu nutzen. Alleine dort gibt es wahrscheinlich schon extreme Unterschiede.


    Letztes hatte ich einen Track welcher auf dem ersten Kilometer recht ungenau war. Wichtig wäre den Anfang auszuschließen, immer den selben Weg zu wählen und die Übergänge (z.B. zum Wald oder Häuserschlucht) fest zu definieren.

    • Offizieller Beitrag

    Hi Oliver,


    erst mal ein riesen Lob an diese Software, bei mir hat alles auf Anhieb geklappt und die ersten Ergebnisse scheinen auch sinnvoll zu sein. Ich finde das Thema Trackvergleich sehr spannend. Auch wenn ich grundsätzlich überzeugt bin, dass man mit etwas Erfahrung durchaus auch durch "Kaffeesatzlesen" zu einer recht objektiven Bewertung kommen kann, ist eine rechnerische Herangehensweise zumindest als Unterstützung unbedingt sinnvoll.


    Hier mal mein erster Test! Verglichen haben ich die Tracks unseres Outdoor-Smartphone Test dort kann man die Tracks auch auf einer Karte vergleichen. Egal welchen Parameter man nun heranzieht, die Reihenfolge stimmt mit unserer "subjetiv" vergebenen Wertung schon mal grob überein (zumindest mit der Wertung "Track"). Was aber verwundert: die errechneten Werte für das Sony sind nicht weit vom CAT entfernt, betrachtet man aber die Tracks, so wird wohl kaum jemand behaupten die Trackqualität wäre nahezu gleich.
    Irgendwie traue ich der Berechnung noch nicht ganz, denn das Sony liegt eigentlich über weite Strecken deutlich neben der Referenz und hat vor allem am Ende im Stand ja dieses massive "Tanzen" - wie wird das berechnet?


    Gruß
    Tobias

  • Datenschutz ist uns & Euch wichtig, daher verzichten wir auf Bannerwerbung & Web-Analysetools! Um das Forum zu unterstützen, bitten wir Euch, über diesen Link: bei Amazon zu bestellen....
    Für Euch ist das nur ein Klick, uns hilft es das Forum langfristig und werbefrei für Euch zu betreiben!
    Alternativ sehr gerne auch per Paypal spenden.
    Vielen, vielen Dank ...
  • Vorsicht! Die Tracks sollten das gleiche Aufzeichnungsintervall haben, um vergleichbar zu sein. Deshalb lassen sich die 3 Smartphone Tracks untereinander gut vergleichen. Der Vergleich mit dem eTrex hinkt, weil dieser Track deutlich weniger Punkte hat.


    Ich nehme mal mit in die Todolist auf: Anzahl der Trackpunkte mit angeben.

  • Im übrigen würde ich nach Möglichkeit alle Geräte auf einem z.B. Brett festbinden und dann gemeinsam die Tracks aufzeichnen. Dann hätte man nebenbei auch dieselben Bedingungen.


    Tobias
    das (was Oregon 400t schreibt) finde ich auch sehr wichtig, z. B. waren in dem Smartphonevergleich nach meiner Erinnerung alle Phones "optimal" ausgerichtet. Aber was heißt das für die einzelnen Geräte?


    Dann müßten die Vergleiche (z. B. Smartphone und Fenix) auch bei gleichen äußeren Bedingungen gemacht werden und nicht einmal bei "nasser" Belaubung und einmal bei kahlen Bäumen.


    Zitat von Tobias

    Was aber verwundert: die errechneten Werte für das Sony sind nicht weit vom CAT entfernt, betrachtet man aber die Tracks, so wird wohl kaum jemand behaupten die Trackqualität wäre nahezu gleich.


    Wenn man sich das (http://www.pocketnavigation.de…or-smartphones-im-test/3/) ansieht kann das aber schon stimmen. Teilweise liegt das Sony recht nahe am Weg (auf der rechten Seite) dafür hat es an anderer Stelle extremere Abweichungen als das Cat. Das ist dann eine Frage der Wertung.

  • Ich habe mal versucht den Fehler zu berechnen für die Tour durch Regensburg. Leider hatte ich nicht die Daten der anderen Teststrecke. Leider bin ich mir nicht ganz sicher ob die Umrechnungsroutine mit Pythagoras inkl. Cosinus der Länge mit Wert der Breite so ganz korrekt ist. Auch musste ich den Breitengrad zur Cosinus-Berechnung aus den zwei Werten mitteln. Falls es falsch bitte melden. Die Berechnung steht in der Datei "Differenz.pl".


    http://dropcanvas.com/sppr9


    Sämtliche Tracks habe ich in CSV umgewandelt. Meine Software hat alle Koordinaten der CSV-Dateien mit allen Koordinaten des Referenz-Tracks verglichen und immer den kürzesten Abstand genommen.



    Differenz.pl Garmin.csv
    Differenz in Meter: 5.37471651931111


    Differenz.pl Magellan.csv
    Differenz in Meter: 6.55892477458747


    Differenz.pl Sportiva.csv
    Differenz in Meter: 7.66030294891904


    Differenz.pl Referenz.csv
    Differenz in Meter: 0
    (soll ein wenig der Kontrolle dienen ;) )


    Das Problem könnte natürlich sein, wenn man ein Gerät zu früh anschaltet und somit schon Hunderte von Metern entfernt vom Referenz-Track arbeitet. Aus diesem Grund habe ich noch die Gesamt-Dateien mit den Zwischenwerten für alle CSV-Einträge hochgeladen. Als 4. Parameter habe ich zusätzlich die Meterangabe eingefügt.


    Ob das alles richtig ist weiß ich nicht. Sollte ein Programmfehler vorliegen, so kann ich die Software erneut laufen lassen. Das Perl-Script habe ich unter Debian GNU/Linux laufen lassen.


    PS.: Habe gerade noch mal einen Fehler korrigiert. Bin mir aber immer noch nicht sicher ob es korrekt ist.

  • Datenschutz ist uns & Euch wichtig, daher verzichten wir auf Bannerwerbung & Web-Analysetools! Um das Forum zu unterstützen, bitten wir Euch, über diesen Link: bei Amazon zu bestellen....
    Für Euch ist das nur ein Klick, uns hilft es das Forum langfristig und werbefrei für Euch zu betreiben!
    Alternativ sehr gerne auch per Paypal spenden.
    Vielen, vielen Dank ...

  • Sämtliche Tracks habe ich in CSV umgewandelt. Meine Software hat alle Koordinaten der CSV-Dateien mit allen Koordinaten des Referenz-Tracks verglichen und immer den kürzesten Abstand genommen.


    Vieleicht ist das ja mißverständlich. Aber immer den kürzesten Abstand, darf man m.E. nicht nehmen, weil die Aufzeichnung der Punkte jeweils zu genau einem Zeitpunkt stattfindet. Der aufgezeichnete Punkt korreliert deshalb nur mit einer einzigen "echten" Koordinate des Referenztracks.
    Beispiel: Enge Kehren (Serpentinen) Hier könnte der kürzeste Abstand zur nächsten Referenzkoordinate direkt auf der Referenz liegen, allerdings in der nächsten Kehre.

  • Nur die kürzeste Distanz zwischen den Trackpunkten suchen, ist keine gute Idee. Es muss die kürzeste zur Linie sein.


    Deswegen auch:


    Was macht das Tool? Es berechnet zu jedem Punkt im Track den kürzesten Abstand zu einem Segment im Referenztrack. Das geht mehr oder weniger so, wie hier beschrieben:


    http://programmizm.sourceforge…rom-a-point-to-a-polyline



    Wobei auch die verwendete Projektion eine Rolle spielt. Ich hab lon/lat kartesisch aufgetragen verwendet, um halbwegs unabhängig vom Ort zu sein. Dann ermittel ich den Punkt mit der kürzesten Distanz auf der Referenzlinie und berechne die Distanz über den Vincenty Algorithmus. Hiermit vermische ich zwar kartesische Geometrie mit elliptischer, denke aber, dass der Fehler trotz allem sehr klein ist. Immerhin handelt es sich hier um Berechnungen im absoluten Nahbereich. Zudem trifft der Fehler alle Tracks gleich, damit ist ein relativer Vergleich möglich. Für eine absolute Aussage taugt das wahrscheinlich weniger.



    Jürgen hat mit seiner Anmerkung auch recht. Bei Serpentinen, oder besser engen Kurven, kann die kürzeste Distanz schon hinter der Kurve liegen, obwohl der Punkt noch vor der Kurve ist. Auch mit meiner Berechnung. Mann sollte deswegen solche Kurven, wenn möglich, vermeiden.

  • Ich habe mir den Link zu dem C++ - Programm angeschaut und leider nicht ganz verstanden. Mir ist klar, dass wenn ich einen Referenz-Track aus n Punkten habe ich ein Polygon (n-1) ten Grades habe. Also bei zwei Punkten eine Gerade (n=1) und bei drei Punkten eine quadratische Funktion (n=2), ...


    Wenn mir jemand erklärt wie die Daten nun in das C++ - Programm kommen bzw. wo oder wie das Polygon aus im Beispiel 1000 Punkten sich zusammensetzt könnte ich mal die CSV-Dateien darauf ansetzen.


    Man will ja was lernen. Auch habe ich noch nicht verstanden was nun der Kosinus damit zu tun hat oder nicht. Kannst du nicht mal deinen Quellcode posten, den du als Ansatz gewählt hast. Die Programmiersprache wäre mir egal. Wird es unter Debian bestimmt auch geben.


    Auch kannst du vielleicht noch die GPX-Files des anderen Beispiels posten. Danke.

  • Datenschutz ist uns & Euch wichtig, daher verzichten wir auf Bannerwerbung & Web-Analysetools! Um das Forum zu unterstützen, bitten wir Euch, über diesen Link: bei Amazon zu bestellen....
    Für Euch ist das nur ein Klick, uns hilft es das Forum langfristig und werbefrei für Euch zu betreiben!
    Alternativ sehr gerne auch per Paypal spenden.
    Vielen, vielen Dank ...
    • Offizieller Beitrag

    wie wirken sich unterschiedliche Anzahl an Trackpunkten aus? Kann man diesen Fehler irgendwie rechnerisch neutralisieren? Man kann zwar in Zukunft darauf achten, immer alle Geräte mit dem gleichen Intervall aufzeichnen zu lassen - aber ob das sinnvoll ist, ist eine andere Frage. Ich würde sagen, man versucht eher die Einstellung zu wählen, mit der man beim jeweiligen Gerät die besten Ergebnisse erzielt und das wäre z.B. bei einem Garmin die automatische Intervalleinstellung mit Aufzeichnungsintervall "am häufigsten" zumindest habe ich da beim eTrex 10 eigentlich die besten Ergebnisse erzielt. Viele Navis, Apps u. Co können aber z.B. eh nur feste Intervall, was dann auch ein Nachteil ist.


    Die Geräte wurde im Smartphone Vergleichstest in der Tat auf einem Brett getragen die Fenix allerdings war am Arm, was meiner Meinung nach auch sinnvoll weil praxistauglich ist.


    Gruß
    Tobias

  • Das macht schon eine Menge aus. Probiere es einfach mal aus. Einmal eTrex auf Auto und einmal jede Sekunde. Sollte ja eigentlich fast das Gleiche herauskommen. Wird es aber aller Erfahrung nach nicht.


    Um einen GPS Empfänger zu beurteilen würde ich immer einen Track im Sekundentakt aufzeichnen. Wenn ich nur alle 20 Meter, 10 Sekunden oder was auch immer aufzeichne, dann sieht es in der Gerade besser aus und in der Kurve schneide ich ab. Aber das will ich nicht beurteilen. Ich will sehen ob in der Kurve die Position richtig erfasst wird. Und ob es auf einer geraden Strecke das große Zappeln gibt.


    Außerdem bleibt die Vergleichbarkeit auf der Strecke. Empfänger A hatte seinen Punkt genau in der Kurve, B nicht und kürzt die Kurve ab. Aber liegt das jetzt am Empfänger, oder am Intervall? Oder Garmin macht viele Punkte mit einem Fehler X in der Kurve. Die anderen Empfänger schneiden ab und haben nur 2 Punkte mit einem Fehler Y. Das sagt wenig über den Empfänger aus.


    Deswegen würde ich im ersten Schritt den Empfänger mit einem Sekundenintervall testen. Und im zweiten Schritt kann man ausprobieren, wie sich das Ergebnis verschiebt, wenn man die Tracks automatisch reduzieren lässt. Genau zu solchen Experimenten soll das Tool ja einladen.

  • Datenschutz ist uns & Euch wichtig, daher verzichten wir auf Bannerwerbung & Web-Analysetools! Um das Forum zu unterstützen, bitten wir Euch, über diesen Link: bei Amazon zu bestellen....
    Für Euch ist das nur ein Klick, uns hilft es das Forum langfristig und werbefrei für Euch zu betreiben!
    Alternativ sehr gerne auch per Paypal spenden.
    Vielen, vielen Dank ...
  • ... wenn ich die Leistung eines 200-m-Läufers mit der eines 800-m-Läufers vergleichen will, lasse ich dann beide 400 m laufen? :D


    Keine Frage, der Trackvergleich macht sicherlich Spass, aber aussagekräftige Werte kommen nicht dabei rum.


    Für mich zählt nur, ob der Track gut auf dem Wegenetz liegt und ich ihn in der Praxis beim Nachfahren gut gebrauchen kann.


    Ob jetzt 65 oder 86 % der Trackpunkte näher als 10 m an irgend einem Referenztrack, den ich mir auf einer verzerrten Karte gemalt habe, ist Banane. Es wird ja auch nicht festgestellt, ob der Trackpunkt auf der richtigen Straßenseite liegt.

  • Hallo,


    um unabhängig von der Aufzeichnungsdichte zu sein, kann man die Abweichungen aufaddieren und durch die Zahl der Trackpunkte teilen. Zur Bewertung stehen dann zwei Zahlen zur Verfügung: mittlere Abweichung und maximale Abweichung.


    Gruß
    Jürgen


    Sent from my HD7 T9292 using Board Express

  • Datenschutz ist uns & Euch wichtig, daher verzichten wir auf Bannerwerbung & Web-Analysetools! Um das Forum zu unterstützen, bitten wir Euch, über diesen Link: bei Amazon zu bestellen....
    Für Euch ist das nur ein Klick, uns hilft es das Forum langfristig und werbefrei für Euch zu betreiben!
    Alternativ sehr gerne auch per Paypal spenden.
    Vielen, vielen Dank ...

  • um unabhängig von der Aufzeichnungsdichte zu sein, kann man die Abweichungen aufaddieren und durch die Zahl der Trackpunkte teilen. Zur Bewertung stehen dann zwei Zahlen zur Verfügung: mittlere Abweichung und maximale Abweichung.


    Naja, das machen das Tool ja, wenn es den Mittelwert bzw die Varianz berechnet.


    Was aber geht, wäre die Anzahl der Punkte angleichen. Sprich bei Tracks mit weniger Punkten einfach zusätzliche einfügen. Wenn z.B. ein Segment 5s lang ist, werden 4 weiter Punkte in gleichem Abstand eingefügt. Das könnte gehen. Aber besser wäre es wenn gleich von Anfang an pro Sekunde aufgezeichnet wird.

  • Ich habe mir mal den Referenztrack aus #3 des Smartphonetests heruntergeladen und stelle verwundert fest, dass das Aufzeichnungsinterval erheblich differiert, teilweise liegen die Punkte innerhalb einer Sekunde, dann wieder bis zu 15 Sekunden auseinander. Der gesamte Track hat "3 Enden" und entspricht mit nur 2,2 km auch nicht dem des Smartphonetests, in dem z.B die Waldrunde zweimal "gegangen" wurde. (http://www.pocketnavigation.de…or-smartphones-im-test/3/)
    Vermutlich wurde die Referenz (2,2 km in unter 7 Min.) auf dem Fahrrad erstellt und der Test zu Fuß gemacht.


    Ich denke, das läßt sich so vermutlich überhaupt nicht rechnerisch vergleichen, sondern muss per Augenschein mittels Übereinanderlegen der Tracks auf einer Karte verglichen werden?!

  • Die Zeit ist für die Referenz total egal. Der Vergleich geht nur auf die kürzeste Distanz vom "Track-under-Test" (TuT) zur Referenz. Oder auch anders ausgedrückt: Wie weit eiert der Track um eine gedachte ideale Linie. Und da eiern einige Empfänger eben deutlich mehr als andere.

  • Datenschutz ist uns & Euch wichtig, daher verzichten wir auf Bannerwerbung & Web-Analysetools! Um das Forum zu unterstützen, bitten wir Euch, über diesen Link: bei Amazon zu bestellen....
    Für Euch ist das nur ein Klick, uns hilft es das Forum langfristig und werbefrei für Euch zu betreiben!
    Alternativ sehr gerne auch per Paypal spenden.
    Vielen, vielen Dank ...
  • Ok, andersherum gefragt, man muss also nur einen Track auf eine lagegenaue Karte "malen", bzw. einen vorhandenen Track "zurechtzupfen"? Das wäre zwar aufwendiger, als mit einem "Referenzgerät" einen Track aufzuzeichnen. Aber man kann ja nie sicher sein, dass nun genau dieser Track optimal ist. Die Trackerstellung über OSM-Karten dürfte dann im Wald aus dem selben Grund ebenfalls problematisch sein.


    Dann mach ich das mal für meine Testrunde.

  • Alles richtig.


    Ich würde, wenn ich unbedingt Waldstrecken dabei haben will, natürlich nicht den Singeltrail am Berg nehmen, sondern eher einen Forstweg, von dem ich weiß, dass er gerade verläuft. Idealerweise hat man ein schönes Stück im Stadtpark und eine Katasterkarte, so wie im Beitrag #14. Dann kann man die Referenz sehr genau erstellen. Auf den Meter kommt es dabei meiner Meinung nach nicht an, weil der systematische Fehler durch die Referenz für alle Geräte gleich ist und das Verfahren eh keinen absolut vergleichbaren Wert liefert.


    Es dürfte übrigens einen Unterschied machen ob man mit dem Auto, dem Fahrrad oder zu Fuß die Tracks aufnimmt. Das kann ja mal jemand, der Lust hat, verifizieren.