Mir erscheint die Sensorbewertung von DxOMark etwas bizarr. Sie bewerteten kürzlich den Sensor der Nikon D3300 mit der gleichen Punktzahl wie die Canon 1Dx, was meiner Meinung nach ihre Leistung nicht widerspiegelt, und was mich auch sehr skeptisch gegenüber ihrem Bewertungssystem machte.
Ich schätze ihre Messungen des Sensors, was zu einem Benchmark-Tool zum Vergleich verschiedener Kamerasensoren führt, aber sind sie wirklich relevant? Soweit ich weiß, gibt es keine Dokumentation darüber, wie die Punktzahl aus Dynamikbereich, Farbempfindlichkeit und Low-Light-ISO-Werten berechnet wird. Auch das Interesse von DxO Labs liegt im Verkauf ihrer Software, nicht direkt in der Bereitstellung wissenschaftlicher Benchmarking-Tools und könnte sehr wohl auf einen bestimmten Hersteller ausgerichtet sein.
Wie nützlich sind die DxOMark-Ergebnisse und wie können Sie damit verschiedene Kameras vergleichen?
DXOMarks primäre "Ergebnisse" sind völlig nutzlos. IGNORIERE SIE. Es ist ein vergeblicher Versuch, ein komplexes Gebilde wie eine DSLR auf eine einzige skalare Zahl zu reduzieren, die Ihnen alles darüber sagt. Es ist ein Trugschluss. Es müssen zu viele Faktoren berücksichtigt werden, und welche Faktoren für einen bestimmten Fotografen am wichtigsten sind, ist unterschiedlich. Eine einzelne Punktzahl vereitelt den Zweck, Messungen überhaupt durchzuführen.
Wenn es um die anderen Werte von DXO geht, wie z. B. schwaches Licht und Landschaft und so weiter, nehmen Sie sie mit einer kräftigen Dosis Salz. Ihre allgemeinen Bewertungen sind stark gewichtet und basieren häufig eher auf Ableitungen von Messungen als auf tatsächlichen Messungen. Beispielsweise basiert die Bewertung im Querformat auf dem „Maßstab“ Print DR. Das Problem besteht darin, dass DXO den Druck-DR nicht wirklich misst, da es nicht auf Samples basiert, die von tatsächlichen Downsampling-Bildern stammen. Print DR ist eine einfache mathematische Extrapolation aus dem TRUE gemessenen Dynamikbereich des Sensors.
Daher sagt Ihnen Print DR nicht wirklich etwas über den Sensor. Wenn DXO sagt, dass die D800 und D600 14,4 Stops von DR haben, das ist Print DR, was aus dem tatsächlichen Hardware-DR extrapoliert wird, der 13,2 Stops beträgt. Gleiches gilt für Canon-Sensoren. Wenn DXO Ihnen sagt, dass der Sensor 12 Stopps von DR hat, ist das wirklich nicht der Fall. In Wirklichkeit haben die meisten Canon-Sensoren auf Hardwareebene etwa 10,95 Stopps von DR.
Das Problem ist jedoch noch schlimmer. Ein Großteil der Bewertungsinformationen zu Farbtiefe und Farbempfindlichkeit wird gewichtet, ebenso wie viele der ISO-basierten Bewertungen. Die Gewichtungen basieren auf Kameras, die bestimmte Schwellenwerte erreichen, z. B. dass das SNR bei einem bestimmten ISO-Wert höher als ein bestimmtes Niveau ist. Dies verleiht der Punktzahl für diese Kamera einen gewissen "Bonus". In dem Moment, in dem irgendeine Art von gewichtsbasierter Bonuswertung ins Spiel kommt, verschwindet Ihre Fähigkeit, alles direkt mit jeder Punktzahl zu vergleichen, vollständig aus dem Fenster. Sie befinden sich jetzt auf einem nichtlinearen Spielfeld, auf dem Sie ehrlich gesagt nicht wissen, ob diese Nikon-Kamera da drüben mit einer Punktzahl von 95 im Vergleich zu dieser Canon-Kamera hier drüben mit einer Punktzahl von 80 stark gewichtet wurde.
Wenn es um tatsächliche Messungen geht, gehören die DXO-Informationen zu den besten verfügbaren. Ihre Messungen von SNR, Screen DR, Farbempfindlichkeit usw. sind ziemlich solide, da sie alle direkt aus mehreren RAW-Bildproben für jede getestete Kamera stammen. Ihre Testmethodik ist ziemlich streng, und nichts deutet darauf hin, dass ein Teil ihrer Methodik angezweifelt werden sollte. Wissenschaftlich gesehen hat DXO in Bezug auf die Art und Weise, wie sie testen und was sie messen, solide Praktiken und solide Informationen.
DXO ist wirklich eine gemischte Tüte. Sie mögen solide Testpraktiken haben, aber ihre Bewertung, da sie oft auf mathematisch abgeleiteten, gewichteten Informationen basiert und der Tatsache, dass einige ihrer Ergebnisse oft „Bonuspunkte“ erhalten, nur weil sie bestimmte Schwellenwerte erreicht haben, entwertet den gesamten Punkt vollständig was DXO tut: Eine lineare Punktzahl für jede Kamera zu erstellen, die einen einfachen Vergleich der Kameras ermöglicht. Es war von Anfang an ein fehlerhaftes Konzept, Single-Number-Scoring, aber sie machten es noch viel schlimmer, indem sie den eigentlichen Scoring-Prozess handhabten.
Ich ignoriere im Allgemeinen die Gesamtpunktzahl, da sie viel zu allgemein ist, wenn Sie eine der Einzelpunktzahlen verstehen.
Die Gesamtpunktzahl ist eine Funktion einer Vielzahl von (ziemlich) deterministischen Tests, von denen jeder recht informativ ist und die meisten (wenn nicht alle?) klare Maßeinheiten haben. Aber dann generieren sie einen „Score“, der diese Metriken mit unterschiedlichen Dimensionen kombiniert. Es ist so, als würde man ein Auto mit einem anderen vergleichen, indem man seine maximale Beschleunigung (m/s/s), die Größe seines Kraftstofftanks (L), seine Höchstgeschwindigkeit (km/h) und die Anzahl der Passagiere, die es befördern kann, addiert. Jeder wird die verschiedenen Komponenten unterschiedlich gewichten wollen, sodass die Gesamtpunktzahl ziemlich irrelevant wird.
Wie Sie sagen, hat die Canon 1DX die gleiche Gesamtpunktzahl wie die Nikon D3300, aber beachten Sie einige große Unterschiede, sogar nur auf der Seite "Ergebnisse" der Zusammenfassung:
Diese " Use Case Scores " sind bereits viel spezifischer und dimensional sinnvoller und ermöglichen weitaus bessere Vergleiche.
Das sind sie aber auch
Der Anwendungsfall „Sport/Low-Light ISO“ ist beispielsweise
Low-Light-ISO ist die höchste ISO-Einstellung für eine Kamera, mit der ein SNR von 30 dB erreicht werden kann, während ein guter Dynamikbereich von 9 EVs und eine Farbtiefe von 18 Bit beibehalten werden.
Diese gewählten Werte sind willkürlich, aber der nützliche Teil ist, dass sie konsistent verwendet werden, um alle Sensoren auf die gleiche Weise zu messen. Das bedeutet, dass Sie, während Sie nur einen einzelnen Wert betrachten, zumindest Äpfel mit Äpfeln vergleichen können. Wie gut schneiden Sensor A und Sensor B für einen bestimmten Datenpunkt ab? Es ist ein nützlicher Vergleich , da alle Sensoren bei niedrigeren ISO-Werten tendenziell besser abschneiden und alle ähnliche Drop-offs aufweisen, wenn Sie die ISO-Werte usw. erhöhen. Aber Sie verlassen sich wirklich auf diese ähnliche Leistung aller Sensoren, damit dies nützlich ist Allzweckvergleich.
Wenn Sie in den Abschnitt „Messungen“ des Vergleichs gehen, werden Sie beginnen, einige nützlichere Vergleiche zu sehen. Viele Daten, zu vielen verschiedenen Bedingungen. Hier können Sie (irgendwie) damit beginnen, Fragen zu beantworten wie "Wie viel weniger ISO-Rauschen würde ich von Kamera A im Vergleich zu Kamera B bei ISO6400 bekommen?". Wenn Sie bereits wissen, dass Sie mit Ihrer aktuellen Kamera bis ISO 1600 zufrieden sind, können Sie das SNR für Ihre Kamera bei ISO 1600 als Grundlage für den Vergleich anderer Kameras verwenden (in diesem Fall gibt es einen ähnlichen Wert ). Bildrauschen bei einer 1DX bei ISO 3200 wie bei einer D3300 bei ISO 1600). Nun, selbst das stimmt nicht ganz, da die SNR-Daten für 18 % grau sind!
Der Leistungsvergleich zwischen komplexen Vorrichtungen mit vielen Dimensionen/Freiheitsgraden ist ein inhärent sehr schwieriges Problem. Einzelne Tests lassen sich oft recht gut vergleichen, aber das Problem besteht darin, verallgemeinerbare Tests zu finden, die schnell und einfach relative oder absolute Leistungen abbilden. Ich denke, die „Use Case Scores“ erreichen dies in hohem Maße, aber nur, weil die Technologie der meisten Sensoren ziemlich ähnlich ist, sodass Sie Verallgemeinerungen wie die obige machen können, dass der 1DX „eine Stufe besser“ für Rauschen bei schlechten Lichtverhältnissen ist . (Stellen Sie sich vor, das Sensorrauschen wäre nicht eine einfache Funktion von ISO für alle Sensoren!)
Denken Sie auch daran, dass es nicht unbedingt nützlich ist, wenn ein Sensor einen anderen übertrifft . Die ISO-Leistung (SNR 18%) einer D3300 und einer 1DX ist im Wesentlichen irrelevant, wenn ein JPEG einer hellen Tageslichtszene aufgenommen wird. Nützlicher werden Dinge wie der Dynamikbereich (für Schatten-/Lichterdetails mit harten Schatten). Und selbst dann erhalten Sie beim Aufnehmen von JPEG nicht viel mehr aus einem größeren Dynamikbereich (es gibt ein wenig Tonkomprimierung, um das JPEG zu bilden, aber beide sind immer noch in der Lage, den 8-Bit-Dynamikbereich eines JPEG weit zu überschreiten). Um die Auto-Analogie zu wiederholen, es ist, als würde man die maximale Geschwindigkeit und Beschleunigung zwischen Autos für den Stadtverkehr vergleichen. Sie werden niemals die Grenzen eines „schnellen“ Autos erreichen, daher ist es für diese Anwendung irrelevant. Um zwei Sensoren sinnvoll vergleichen zu können, braucht man schon ein gutes Gespür für die konkrete Anwendung, und da will man wissen:
Die Gesamtpunktzahl ist ziemlich nutzlos, außer als wirklich allgemeiner Leitfaden für die Gewichtung von Anwendungsfällen (nicht unbedingt Ihren!).
Die Use Case Scores sind viel bessere Anhaltspunkte für einige allgemeine Leistungstrends zwischen verschiedenen Sensoren.
Mithilfe der Messungen können Sie Ihre eigenen Vergleiche anstellen, wenn Sie wissen, was Sie vergleichen möchten, und eine Anwendung im Auge haben. Es ist auch wichtig zu wissen, wie viel "ausreichend" ist oder wann Sie "sinkende Renditen" für eine bestimmte Anwendung erzielen.
Wenn Sie Elektronik, Optik, Physik nicht wirklich verstehen ... sind die absoluten Zahlen wahrscheinlich ziemlich bedeutungslos.
Ich vertraue DXoMark so weit, wie ich sie werfen kann, und ich bin nicht besonders gut im Kugelstoßen. Sie sind eine interessante Informationsquelle über Laborbedingungen und können gelegentlich beim Vergleich von Kameras desselben Herstellers nützlich sein, aber es gibt zu viele Variablen in ihren Tests, die von realen Bedingungen abweichen, um sie allgemein für den Vergleich von Kameras, insbesondere von anderen, nützlich zu machen Hersteller.
Wie bei jeder anderen Kamerabewertungsseite ist die Leistung in der realen Welt immer wichtiger als Laborbedingungen. Wenn Sie wissen, wie man die Informationen liest und herausfindet, was für die reale Welt relevant ist und was nicht, können Sie aus DxOMark einige aussagekräftige Daten gewinnen, aber meiner Erfahrung nach ist es am besten, es mit einem großen Salzkorn zu nehmen.
Esa Paulasto
Hugo