NUMERIC_MATCH bewertet leere Werte und null als 0

[jurei733]

Beschreibung

Bei der numerischen Übereinstimmung (NUMERIC_MATCH) werden leere Antwortwerte bzw. null aktuell wie der Zahlenwert 0 behandelt. Dadurch kann eine Regel NUMERIC_MATCH = 0 auch dann als richtig bewertet werden, wenn ein Eingabefeld leer geblieben ist.

Das fällt besonders auf, wenn bei Basisvariablen die Processing-Optionen TAKE_DISPLAYED_AS_VALUE_CHANGED und TAKE_EMPTY_AS_VALID gesetzt sind, damit abgeleitete Variablen auch bei fehlenden Werten ausgewertet werden können.

Reproduktion

Minimaler Fall mit @iqb/responses 5.1.0:

const { CodingSchemeFactory } = require('@iqb/responses');

const variableCodings = [{
  id: 'gap1',
  alias: 'gap1',
  sourceType: 'BASE',
  sourceParameters: {
    processing: ['TAKE_DISPLAYED_AS_VALUE_CHANGED', 'TAKE_EMPTY_AS_VALID']
  },
  processing: [],
  fragmenting: '',
  codeModel: 'RULES_ONLY',
  codes: [{
    id: 1,
    score: 1,
    ruleSets: [{
      rules: [{ method: 'NUMERIC_MATCH', parameters: ['0'] }]
    }]
  }, {
    id: 0,
    score: 0,
    type: 'RESIDUAL_AUTO'
  }]
}];

CodingSchemeFactory.code([
  { id: 'gap1', value: '', status: 'DISPLAYED' }
], variableCodings);

Aktuelles Verhalten

Der leere Wert wird als CODING_COMPLETE mit code: 1 / score: 1 bewertet. Dasselbe passiert mit value: null und status: 'VALUE_CHANGED'.

Ursache ist, dass getValueAsNumber(null) und getValueAsNumber('') derzeit 0 zurückgeben und NUMERIC_MATCH nicht vorher auf null/leer prüft.

Erwartetes Verhalten

NUMERIC_MATCH = 0 sollte nur tatsächliche numerische Nullwerte treffen, z. B. 0, '0', '00', '0,0', aber nicht null oder leere Strings.

Leere bzw. technische Nullwerte sollten stattdessen explizit über IS_EMPTY bzw. IS_NULL kodiert werden können.

Workaround

Bis zur Korrektur können vor der NUMERIC_MATCH = 0-Regel eigene Codes für IS_EMPTY und ggf. IS_NULL mit 0 Punkten angelegt werden. Da Codes in Reihenfolge geprüft werden, fangen diese Regeln leere/null-Werte ab, bevor die numerische 0-Regel greift.

Hinweis

Eine Änderung kann bestehende Kodierschemata beeinflussen, falls diese bisher implizit darauf beruhen, dass leer/null als numerische 0 zählt. Daher sollte der Fix vermutlich mit Release-Hinweis bzw. Migrationsempfehlung erfolgen.

[schumaki]

Bis zur Korrektur können vor der NUMERIC_MATCH = 0-Regel eigene Codes für IS_EMPTY und ggf. IS_NULL mit 0 Punkten angelegt werden. Da Codes in Reihenfolge geprüft werden, fangen diese Regeln leere/null-Werte ab, bevor die numerische 0-Regel greift.

S. Diskussion per Mail:

Mein vorgeschlagener Workaround über vorgelagerte 0-Punkte-Codes ist in der Studio-UI nicht wirklich praktikabel, weil die Codes automatisch sortiert werden. Wenn der Richtig-Code 1 vor den Fehler-Codes 41/42geprüft wird, greift er weiterhin zuerst. Einen „Code universell“ nur zur Erzwingung der Reihenfolge würde ich nicht empfehlen; das wäre schwer nachvollziehbar und fachlich unschön.

Als kurzfristiger Workaround bleibt daher eher, die 0-Lösung nicht über numerische Übereinstimmung, sondern über Zeichen/Text-Übereinstimmung oder ggf. einen regulären Ausdruck zu kodieren. Damit werden leere bzw. null-Werte zuverlässig von einer echten Eingabe getrennt. Der Nachteil ist allerdings, dass das kein vollwertiger Ersatz für numerische Übereinstimmung ist: Schreibweisen wie 0, 00, 0,0, 0.0 usw. müssten dann explizit berücksichtigt werden.

Deshalb würde ich das eher als Notbehelf sehen und nicht als wirklich gute Lösung. Der eigentliche Fix ist inzwischen als Draft-PR angelegt:
iqb-berlin/responses#97

Zur Version: Wenn 2.8.0 noch offen ist, würde ich den Fix aus meiner Sicht dort mitnehmen, gerade weil der UI-Workaround unhandlich ist und der Code-Fix sehr eng begrenzt ist.

Ok, dann ergänze ich 2.8.0 als Milestone.

[jurei733]

Der Fix ist gemerged und über #202 in coding-components übernommen.

Kurz zusammengefasst:

• @iqb/responses wurde auf 5.2.0 aktualisiert.
• Der Fix aus Prevent empty numeric matches for zero responses#97 verhindert, dass NUMERIC_MATCH = 0 leere Strings oder null wie eine numerische 0 behandelt.
• Tatsächliche Nullwerte wie 0, 00 oder 0,0 matchen weiterhin als numerische 0.
• Leere bzw. technische Nullwerte können damit gezielt über IS_EMPTY bzw. IS_NULL kodiert werden.

Damit sollte das hier beschriebene Verhalten mit der aktualisierten Responses-Version behoben sein.