Wie sieht ein guter Kamera-Test aus?

Wir haben kein Testlabor und daran wird sich in nächster Zeit auch nichts ändern. Meine Tests sind Alltagstests: Ich nehme die Kamera, probiere sie aus, schaue mir Menüführung, Tasten und Bedienung an, mache Fotos, schreibe meine Erfahrungen nieder. Dabei mache ich nach Möglichkeit die Art von Fotos, für welche sich die Kamera laut Hersteller besonders gut eignet.

Diese Tests sind zwar nahe an der praktischen Realität, aber zwangsläufig subjektiv. Ich baue darauf, dass du mich für einen vertrauenswürdigen und kompetenten Tester hältst. Um das Vertrauen zu stärken, lege ich so viel wie möglich offen: Wenn ich schreibe, dass ich das Bedienkonzept von Nikon lieber mag als jenes von Sony, folgt darauf der Hinweis, dass ich das von Nikon besser kenne und vielleicht darum besser damit klar komme. Dadurch kannst du mein Urteil besser einordnen – aber es ist und bleibt eine subjektive Einschätzung.

Die andere Richtlinie: Möglichst viel zeigen und wenig behaupten. Das geht heutzutage sehr gut. An modernen Kameras kann ich beispielsweise direkt aufnehmen, was ich im Sucher sehe. Hier nehme ich mein eigenes Sucherbild auf, das auch auf dem Computer angezeigt wird 😉

Dennoch bleiben Praxistests etwas unbefriedigend. Was wir wollen, sind harte Fakten. Messreihen. Bildrauschen bei ISO 100, 200, 400, 800, bis zu 51 200 oder 102 400. Den Dynamikumfang des Sensors, eine exakte Angabe in Belichtungsstufen. Die Auslöseverzögerung des Autofokus, gemessen in Millisekunden. Wie viele Fotos der Akku hält. Wie viele Bilder pro Sekunde der Autofokus scharf stellen kann. Fakten, Fakten, Fakten!

Das Problem ist: Zahlen und Daten suggerieren eine Präzision und Objektivität, die so oft nicht vorhanden ist. Bei solchen Messreihen kann man unglaublich viel falsch machen. Und jeder Fehler verfälscht das Ergebnis. In den Nullerjahren, als ich anfing, Kameras zu testen, habe ich solche Messreihen versucht, allerdings eher amateurhaft. Je mehr ich über Kameras wusste, desto mehr wurde mir klar: Diese Tests, die ich da machte, sind nicht hieb- und stichfest. Heute finde ich: Lieber gar keine Messreihen, als solche, die irreführend sind.

Beispiel Bildrauschen

Ich wollte das Bildrauschen messen. Damals war das ein wichtiges Kriterium. Vor allem Kompaktkameras hatten extrem verrauschte Bilder. Ich stellte also die Kamera auf ein Stativ und fotografierte ein Plakat, auf dem Text in unterschiedlichen Schriftgrössen zu sehen war. Dann machte ich mit jedem ISO-Wert ein Foto und schaute hinterher, wie das Bildrauschen mit dem ISO-Wert zunahm. Nicht immer ist das Ausmass des Rauschens von blossem Auge eindeutig erkennbar. Ich hätte die Bilder mit einer Spezialsoftware messen müssen. Stattdessen nahm ich als Gradmesser, welche Schriftgrösse auf dem Plakat noch lesbar war. Die Überlegung dahinter: Durch das Rauschen nimmt auch die Schärfe ab, Konturen fransen aus.

Aber natürlich hängt die Schärfe eines Bildes nicht nur vom ISO-Wert ab, sondern vom Objektiv, der gewählten Blende, von allfälligen kleinen Verwacklern, die auch mit Stativ passieren können und dem Fokus, der auch mal leicht daneben liegen kann.

Nach und nach entdeckte ich immer mehr Probleme, die ein solcher Test mit sich bringt.

• Wie stark eine Kamera bei einem bestimmten ISO-Wert rauscht, hängt auch davon ab, wie hell es ist. Je mehr Licht, desto geringer das Rauschen. Für einen solchen Test muss es immer exakt gleich hell sein.
• Hohe ISO-Werte führen nicht nur zu mehr Rauschen, sondern auch zu schlechterer Dynamik und Farbwiedergabe. Das ist mit diesem Test kaum messbar.
• Das Bild muss unabhängig vom ISO-Wert immer gleich belichtet werden. Dazu muss die Blende und/oder die Verschlusszeit geändert werden. Die Blende hat wie gesagt Einfluss auf die Bildschärfe, die Verschlusszeit hat Einfluss auf das Rauschen.
• Das Bildrauschen ist abhängig von der Temperatur. Theoretisch hätte vor dem Test jeder Kamerasensor auf die gleiche Temperatur gebracht werden müssen.
• Kameras wenden Rauschunterdrückungsfilter an. Meistens nur beim JPEG-Format, manchmal aber auch im Rohformat, wie bei der kürzlich getesteten Pentax K3 Mark III.
• Es kommt auch auf das Motiv an. Dunkle Flächen rauschen stärker – oder zumindest ist das Rauschen besser zu erkennen.

Zu allem Übel wurde mein schönes Testplakat durch einen stetig wachsenden Berg von Kartonschachteln zugemüllt – schon damals hatte ich kein Labor, sondern musste den Posteingang des Büros dafür missbrauchen. Als sich die Schachteln nicht mal mehr vorübergehend beseitigen liessen, war meine schöne Testserie zu Ende. Rückblickend gesehen muss ich sagen: Gut so.

Einige der Probleme hätte ich durch ein besseres Test-Setup beseitigen können. Aber um die Bilder der Kameras zu vergleichen, ist vor allem eines wesentlich: Alle Bilder müssen gleich aufgenommen worden sein. Änderungen am Setup sind grundsätzlich problematisch. Agile Methoden, laufend optimieren, das funktioniert hier nicht. Alles muss von Beginn weg richtig gemacht werden.

Labortests sind oft nicht zeitgemäss

Labortests sind unflexibel. Es ist schwierig, sie richtig aufzusetzen, und wenn man es mal geschafft hat, soll es für alle Zeiten so bleiben. Das aber passt überhaupt nicht zu einer sich ständig verändernden Tech-Welt.

Ein Beispiel: Anno 2003 hat der japanische Branchenverband CIPA ein Testverfahren zur Messung der Akkulaufzeit definiert. Um eine direkte Vergleichbarkeit zu haben, wurde das Testverfahren bis heute nie geändert. Dabei ist der Test auf damalige Kompaktkameras ausgelegt und beinhaltet Dinge wie Zoom-Objektiv ausfahren und blitzen. Kameras, die kein eingebautes Zoom-Objektiv und keinen Blitz haben, durchlaufen den Test ohne diese Operationen – und sind daher massiv im Vorteil.

Auch verändert sich im Lauf der Zeit, welche Aspekte einer Kamera wichtig sind und wo es grosse Unterschiede gibt. Bildrauschen ist heute viel weniger wichtig. Es gibt nur noch sehr kleine Fortschritte und man ist auf einem Level angelangt, das auch höchste Ansprüche befriedigt. Nicht nur, weil die Sensoren weniger rauschen, sondern auch, weil leistungsfähige Bildstabilisatoren und lichtstarke Objektive hohe ISO-Werte nur ganz selten nötig machen. Von den etwa 32 000 Fotos meiner privaten Sammlung haben nur 23 einen höheren ISO-Wert als 12 800. Und auch die habe ich nur gemacht, um hohe ISO-Werte auszuprobieren. Fast die Hälfte aller Fotos wurden mit dem tiefsten ISO-Wert der jeweiligen Kamera geschossen.

Heute trennt sich die Spreu vom Weizen eher beim Autofokus und bei der Videofunktion. Ich habe aber bis heute keinen Labortest gesehen, der die Autofokus-Motivverfolgung messen könnte.

Da das allgemeine Niveau von Digitalkameras seit Jahren hoch ist, beschäftigen sich die Labortests mehrheitlich mit Dingen, die im Alltag kaum eine Rolle spielen. Damit verlieren sie ihre Relevanz: Wenn ich einen Unterschied nur im Labor feststellen kann, ist er für die Praxis bedeutungslos.

Beispiel DxOMark

Besonders deutlich wird das bei den Labortests von DxOMark. Hier werden ausschliesslich Sensoren getestet; der ganze Rest der Kamera spielt keine Rolle. Und selbst beim Sensor werden Auflösung und Auslesegeschwindigkeit nicht berücksichtigt. Und weil die Sensoren in Bezug auf diese Testkriterien seit Jahren auf hohem Niveau stagnieren, kann es schon mal passieren, dass eine ältere Kamera besser abschneidet als eine neue. Zum Beispiel erzielt die Nikon D810 aus dem Jahr 2014 einen leicht höheren Score als die Canon EOS R5 von 2020.

Der Unterschied liegt aber weit unter dem, was von blossem Auge wahrnehmbar ist. Bei der Farbtiefe beträgt die Differenz nur 0,4 bits. DxOMark schreibt, dass Unterschiede von weniger als 1 bit kaum wahrnehmbar seien. Alles über 22 sei exzellent. Diese Kameras erreichen beide über 25 bit. Dasselbe beim Dynamikumfang: Alles über 12 Lichtstufen ist exzellent, wir befinden uns hier bei 14 bis 15 Lichtstufen. Der Unterschied beträgt 0,2 Stufen, alles unter 0,5 Stufen ist nicht wahrnehmbar. Beim ISO-Score müsste der Unterschied mindestens 25 Prozent betragen, um einen Unterschied zu sehen; das ist nicht annähernd der Fall.

Falls deine Super-Duper-Kamera bei DxO schlechter abschneidet als irgend ein Billigmodell von 2017, kann ich nur sagen: Entspann dich. Es ist alles in bester Ordnung. In den hier gemessenen Punkten ist deine Kamera zwar nicht besser, aber darauf kommt es im Jahr 2021 nicht an. Freu dich am besseren Autofokus, an der besseren Videofunktion, an der höheren Geschwindigkeit, und vor allem daran, dass es die Kamera ist, die besser zu dir passt.

Testbilder ausserhalb des Labors

Manchmal versuche ich etwas zwischen Praxis- und Labortest. Ich mache Testbilder mit völlig uninteressanten Motiven, die aber eine Stärke oder Schwäche sichtbar machen sollen. Wenn ich zum Beispiel meinen Teppich senkrecht von oben fotografiere, ist das kein Alltagstest – schliesslich wählt niemand dieses Motiv ernsthaft für ein Bild. Aber durch die ebenmässige Struktur erkenne ich, ob das Objektiv am Rand wesentlich unschärfer ist als in der Mitte. Es ist kein Labortest, es ist nicht exakt, aber es vermittelt einen ungefähren Eindruck. Selbst hier muss ich aber aufpassen, dass ich den Test korrekt durchführe. Halte ich die Kamera nicht exakt senkrecht, macht sich die Tiefenunschärfe bemerkbar. Das Fokusfeld sollte in der Ecke liegen, wenn ich die Schärfe dort beurteilen will.

Noch schwieriger finde ich, ein Testszenario zu finden, um die Dynamik sichtbar zu machen. Früher war das anscheinend einfach: Einen Grauverlauf auf Papier abfotografieren und schauen, wie viele Helligkeitsstufen gleichzeitig korrekt belichtet werden können. Heutige Kameras sind dafür viel zu gut. Sie lichten alles korrekt ab, es gibt so keine Über- oder Unterbelichtung. Um das hinzubringen, muss ich direkt in eine Lichtquelle fotografieren.

Die Unterschiede zwischen den einzelnen Kameras so aufzuzeigen, ist aber auch nicht so leicht. Der Glühfaden ist immer überbelichtet, auch bei den besten Geräten – und den Rest bringen die meisten Kameras souverän hin.

Selbst wenn die Helligkeit besser abgestuft wäre, gäbe es beim Fotografieren in die Lichtquelle ein grundsätzliches Problem: Die Linsenreflexion hellt die dunkelsten Stellen auf, so dass es sich wieder nicht eindeutig messen lässt.

Das alles zeigt: Auch vermeintlich simple Testaufnahmen sind knifflig. Im schlechtesten Fall zeige ich als Tester damit nicht die Schwächen einer Kamera, sondern die Schwächen des Tests.

Und nun?

Was bleibt also, wenn sowohl Praxis- als auch Labortests unbefriedigend und problematisch sind? Ich denke, hier hilft nur maximale Offenheit. Tester sollten den Test leicht nachvollziehbar machen und möglichst viel offenlegen: Testmethoden mitsamt Begründung, auch das Offenlegen der Subjektivität, die persönlichen Interessen, Vorkenntnisse, Vorlieben und Abneigungen. Die Zeiten, als ein Journalist einfach behaupten konnte: Das ist so, weil ich es sage, ich hab’s nämlich getestet – diese Zeiten sind vorbei. Zum Glück.

Natürlich will nicht jede und jeder sich durch langwierige Erklärungen durchlesen oder gar selbst nachprüfen. Tatsächlich lesen viele ja bei Tests nur das Fazit, es interessiert sie gar nicht, wie man drauf kommt. Aber die Information sollte da sein, für die, die es interessiert.

Ich verweise auch gerne auf andere Seiten, die Labortests durchführen. Oder andere Tests, die meinen Rahmen sprengen. Aber nur in Fällen, wo ich den Test verstehe, für seriös und auch für wichtig halte. Das wär auch mein Tipp für dich: Hol dir weitere Meinungen ein. Aber check die Quelle, und lass dich nicht beeindrucken von Testdiagrammen, die du gar nicht genau verstehst.