latex fehlermeldung non-utf8, bessere Nutzerrückmeldung

[jbueren]

So. ;-)
Der häufigste Fehlerfall der bei verschiedenen Browser oder übernommenen Texten für den Langtext innerhalb von Belegen vorkommt, ist:

nicht parsebares Zeichen utf-8.

Jetzt ist es so, dass man als LaTeX-Hoschi sicherlich auf den ersten Blick die Ursache der Fehlermeldung beheben kann, bzw. kann man im Generellen beim Druckvorlagen erstellen mit solchen Fehlermeldungen gut umgehen, allerdings beim Standard-Nutzer ist diese Fehlermeldung nicht sehr hilfreich.

Man kann eigentlich sehr gut nicht UTF-8 parsebare Zeichen filtern und damit eine bessere Fehlermeldung direkt an den Benutzer geben:

​http://unix.stackexchange.com/questions/6516/filtering-invalid-utf8

Sprich: Zwischen lorem und ipsum befindet sich ein nicht fehlerhaft kodiertes Zeichen: %5, Dokument ist nicht generierbar, bitte ersetzen (nicht aus Vorlage kopieren).

Damit wäre dann ein Support-Vorgang wieder weniger notwendig.

Ich würde den Hebel an anderer Stelle ansetzen: Beim Eingabefeld. Wenn dort was nicht Interpretierbares eingegeben wird, hau weg (nach Erneuern, von mir aus mit Rückmeldung, Ersetzen mit Leerzeichen). Optional abschaltbar, für Debug&Co. Wenn ich weiß, dass etwas nicht funktioniert und sogar die Fehlerstelle kenne, dann kann ich´s auch gleich lösen, oder?

Die vorgeschlagene Meldung ist für Standardanwender imo weiterhin krypisch, weil «kodiertes Zeichen: %5» so nicht drin steht, also nicht gefunden wird (Da steht doch nix zwischen lorem und ipsum, was erzählt das Teil den für´n Blödsinn!).

Nachtrag: Das mit der Darstellbarkeit von Zeichen ist allerdings relativ, was eine allgemeingültige Lösung sicherlich außerordentlich komplex macht. Wenn ein arabischer Font korrekt eingerichtet ist, kann LaTeX das - in der Demo Umgebung kommt der Splatter-Schirm.

Ja, es gibt einen anderen trac Eintrag, der schon die Eingabe von komischen Steuerzeichen in den Stammdaten thematisiert.

Leider gibt es in der Tat manchmal wirklich lesbare Zeichen, wie z.B. =1 die dann auch inhaltlich noch Sinn machen, aber aus irgendeiner Vorlage mitkopiert werden.

Soweit

Das sind aber zwei verschiedene paar Schuhe Jan.

Der Artikel den Du gelinkt hast geht um invalid UTF8, sprich Bytesequenzen die nicht korrektes UTF8 sind, sondern binärer Müll. Das ist aber nicht das was beim Drucken auftritt.

Was beim LaTeX Drucken Probleme macht sind _valide_ UTF-8 Zeichen, für die LaTeX nur keine Glyphe parat hat. Sehr häufig ist das ' ' (U+00A0 NO-BREAK-SPACE, wird aus   generiert), typographische Anfühungszeichen wie sie MS-Office ungefragterweise in allem generiert (‘ ’ ‚ “ ” „), irgendwelcher anderer typographischer Müll der in solchen Strings eigentlich nichts zu suchen hat (ff - LATIN SMALL LIGATURE FF), oder einfach mal Zeichen auf den wilden Weiten von Unicode (�, �, ℞. �, �. �, 文)

Ich hab mich da schonmal mit beschäftigt, und es ist sehr schwer a priori rauszufinden was LaTeX kann und was nicht. Locales und Sprachpakete können Zeichen, andere funktionieren einfach so, andere lassen das in jeder Form abkacken.