Umwandlung vieler Dateien in html

[sinai]

Hallo zusammen

Wie einige vielleicht wissen, baue ich eine Eishockeydatenbank auf (eines meiner weiteren Hobbys). Nun stehe ich vor folgendem Problem, welches ich relativ einfach lösen möchte:

Es existieren 1640 Einzeldateien (Spielberichte), die durchnumeriert sind (0001.txt bis 1640.txt). Alle Dateien haben das gleiche Format und sollen möglichst einfach (per Script?) umgewandelt werden. So ist das Format:

Code:

Überschrift

Unterüberschrift

Texttexttexttexttexttexttexttexttexttext

Spezialqwertz: "äüöÄÜÖß?/-

Ich dachte, es gäbe etwas wie txt2html, aber das gibt es nur umgekehrt (html2txt). Dann habe ich txt2tags gefunden, aber das konvertiert keine Umlaute/Sonderzeichen in html.

So sollte das fertige Ergebnis aussehen.

Code:

<h1>Uuml;berschrift</h1>

<h2>Unteruuml;berschrift</h2>

<p>Texttexttexttexttexttexttexttexttexttext</p>

<p><b>Spezialqwertz:</b> &quot;&auml;&uuml;&ouml;&Auml;&Uuml;&Ouml;&szlig;?&frasl;&minus;</p>

Es geht also nicht nur um die Umformung der Sonderzeichen, sondern immer in Zeile 1 soll zusätzlich noch ein <h1></h1> eingefügt werden, äquivalent in den anderen Zeilen.

Sieht jemand eine Möglichkeit, das zu automatisieren? Notfalls auch nur teilweise, denn 1640 Dateien per Hand im FCK-Editor, der künftige Spielberichte online umformt zu hacken, wäre nicht sehr prickelnd.

Tausend Dank für jeden Tipp/Anregung

Andy

[ItsMee]

Hi,

wie kann man die vier Zeilen voneinander unterscheiden? Durch die Leerzeile? Kann eine der vierzeilen auch Mehrzeilig sein? Im Text gibt es keine Leerzeilen?
Müsste man ein bisschen scripten, denke ich..

So etwas in Richtung:

txt2html.helper (http://www.linux-fuer-alle.de/doc_show.p...81&catid=8)

Code:

s/&/\&/g;
s/ä/\ä/g;
s/Ä/\Ä/g;
s/ü/\ü/g;
s/Ü/\Ü/g;
s/ö/\ö/g;
s/Ö/\Ö/g;
s/ß/\ß/g;
s/"/\"/g;
# Dieses p steht dafür, dass jetzt die Zeile
# ausgegeben wird.
p;

for i in `ls *.txt`; do
  sed -n -f txt2html.sed $i > $i.pre.html
  ## Und hier noch die HTML tags reinmogeln. Ich mag ja perl..
done

ItsMee

[sinai]

wie kann man die vier Zeilen voneinander unterscheiden? Durch die Leerzeile? Kann eine der vierzeilen auch Mehrzeilig sein? Im Text gibt es keine Leerzeilen?
Müsste man ein bisschen scripten, denke ich..

Zeile 1 ist immer dort und einzeilig

Zeile 3 ist immer dort und einzeilig

Ab Zeile 5 steht der Spielbericht natürlich mehrzeilig, evtl. auch mal mit einem CR, aber nie ein CR+LF. Und natürlich sind Leerzeichen drin.

Nach dem dritten Absatz stehen immer Statistiken auch mehrzeilig.

Das Umwandeln in html sind eher das kleinere Problem - denn wenn ich die Formatierungen noch einfügen muss, kann ich es gleich per Hand machen. Die Tags sind das Hauptproblem. Nur ich weiß einfach nicht wie ich das angehen könnte.

Andy

[ItsMee]

Hi,

eigentlich hätte ich gedacht das folgendes funktioniert - aber die Umlaute verwandelt mein Windows nicht so recht. Kannst ja mal schauen ob dich das weiterbringt ansonsten schaue ich heute abend noch mal drauf.

ItsMee

Code:

echo "Zeile 1

Zeile 2

Spielbericht öäüß
mehrzeilig ß

Ergebnis
vielleicht auch mehrzeilig"  | sed -n -f txt2html.sed | perl -e '
   $linenr=0;
  $mode=-1;    ## -1=unknown; 1=H1 2=H2 3=Spielbericht 4=Ergebnis
  while (<>) {
    $_=~s/\n//;

    $linenr++;
    if($linenr==1){$mode=1; print "<H1>".$_."</H1>\n\n"; }
    if($linenr==3){$mode=2; print "<H2>".$_."</H2>\n\n";}

    if(($mode==3) and ($_=~/^$/)) {$mode=4; print "</H3>\n\n<H4>";}    ## Wir warten auf das Ergebnis & haben eine leere Zeile - got it!

    if(($mode==2) and ($_=~/^$/)) {$mode=3; print "<H3>";}    ## Wir warten auf den Spielbericht & haben eine leere Zeile - got it!

    if($mode==3 or $mode==4){ print $_."\n"; }

  }
  print "</H4>";
'

[MFG]

Moin moin sinai,

frag mich gerade warum Du schöne Rohdaten in HTML wandeln möchtest,
wirst doch wahrscheinlich die Webseiten eh mit PHP generieren und dann hast Du doch auch noch einen SQL-Sever mit dabei - oder?

Ansatz 1: Eine Tabelle mit den Feldern ID, U1, U2, Bericht,...
              Vermutlich ist dann aus einer Ux auch ein Verweis zum Aufrufen passend per Select.

Ansatz 2: Hol Dir den Rohtext per include ins PHP in einen String und manipuliere ihn nach belieben.

Ansatz 1 hätte den Vorteil für zukünftige Berichte, dass nur eine kleine Eingabemaske noch fehlen würde.

MfG.
        MFG.

[sinai]

@MFG: Sicher auch eine gute Idee - wäre natürlich machbar. Aber dazu muss ich ja auch aus allen 1640 Dateien die erste Zeile extrahieren, ein csv-File erstellen und in die entspr. Tabelle importieren. Das dann ales für die Unterüberschrift und den Text. Also da wird mein Script nicht einfacher, denn ich muss die Einzeldateien ja umwandeln. Und du kennst meine Scriptfähigkeiten.

Rohtext in der DB wäre natürlich auch universeller - wenn ich bspw. mal die Überschrift zusätzlich rot haben möchte, dann muss ich nicht alle Datensätze verändern.

Also alle Einzeldateien kommen in eine DB mit Feldern ueberschrift, uueberschrift, bericht, stats - nur wie splitte ich die Rohdaten so auf, dass ich sie importieren kann?

Andy

[MFG]

Moin moin sinai,

akut leider nicht die Zeit zum Scripten, daher als Gedankenspltter:

cd SpielBerichte

for datei in ls;do
U1 =$(cut U1 aus $datei)
U2 =$(cut  U2 aus $datei)
Bericht=$(cut Bericht aus $datei)
…
Zeile=$U1 “;” $U2 “;” $U3...
echo $Zeile > SpielBerichte.cvs

done;-]

Der Trenner (z.B.";") darf natürlich nicht im Text vorhanden sein, entweder ersätzen oder anderen Trenner nehmen.

MfG.
         MFG.

[ItsMee]

Hi Sinai,

bitte etwas mehr Feedback zu meinem Versuch - und wenn es nur negatives ist :-)

Das ganze einfach mal auf die Commandline packen & anschauen, ein Beispiel File (so wie ich es mir vorstelle) wird über ein echo erzeugt. Ich denke die H1-H3 für ein CSV file durch ';' ersten sollte kein Problem sein.

MFG - cut kannte ich nicht - elegant. Aber wie bringst Du ihm bei das die Sektion drei alles zwischen den beiden Leerzeilen ist? Soweit ich deine Befehle verstehe (ohne in die man page zu schauen) erwartest Du ein U1 = o.ä. - das ist laut Sinais erstem Beitrag nicht vorhanden?

ItsMee

Aufruf - erstellt ein tmp file mit convertieren umlauten und dann ein html file

for i in `ls *.txt`; do \
  sed -n -f txt2html.sed $i > $i.pre; \
  cat $i.pre | perl converter.pl > $i.html; \
done

converter.pl

#! /usr/bin/perl
  $linenr=0;
  $mode=-1; ## -1=unknown; 1=H1 2=H2 3=Spielbericht 4=Ergebnis
  while (<>) {
    $_=~s/\n//;

    $linenr++;
    if($linenr==1){$mode=1; print "<H1>".$_."</H1>\n\n"; }
    if($linenr==3){$mode=2; print "<H2>".$_."</H2>\n\n";}

    if(($mode==3) and ($_=~/^$/)) {$mode=4; print "</H3>\n\n<H4>";} ## Wir warten auf das Ergebnis & haben eine leere Zeile - got it!

    if(($mode==2) and ($_=~/^$/)) {$mode=3; print "<H3>";} ## Wir warten auf den Spielbericht & haben eine leere Zeile - got it!

    if($mode==3 or $mode==4){ print $_."\n"; }

  }
  print "</H4>";

txt2html.sed - siehe oben

[MFG]

Moin moin ItsMee,

nee U1 und U2 waren nur symbolisch gemeint für die Überschritenzeilen, auch ist die Ermittlung dieser ja noch offen.

Da würde mich auch vorerst eine oder ein paar dieser Dateien als Beispiel interssieren, im Originalzustand, um dann zu schauen nach was gesucht und wie welcher Abschnit herausgeholt werden kann. (jede Zeile mit CR/LF, jeder Abschnitt in einer Zeile nur ein LF, ..?)

@sinai gib doch mal ein paar Muster zum durchkauen;-]

MfG.
        MFG.

[sinai]

Was mir eben noch einfiel, wäre aber wichtig, dass in ein letztes Tabellenfeld der Teil des Dateinamens vor dem Punkt reinkommt. In diesem Fall heißt die Datei 1327.txt - also soll in ein Feld die 1327.

Also hier die Datei.

Code:

Bayreuther Derbysieg nach Penalty-Drama 

Kulabuchovs Treffer und Nachtmanns glänzende Torwartleistung sicherten 5:4-Erfolg des ESVB beim ERC Selb 

Gleich mit einem dreistündigen "Drama" begann gestern abend die Saison in der Oberliga Süd. Letztlich hatte dabei der ESV Bayreuth im Derby beim ERC Selb nach Penalty-Schießen mit 5:4 (0:0, 3:2, 1:2 / 0:0) das glücklichere Ende für sich. Ein Treffer von Kulabuchov gab dabei den Ausschlag zusammen mit der glänzenden Leistung von ESVB-Torwart Nachtmann.
In der Derby-Atmosphäre fanden die Bayreuther als erste zu ihrer Linie. Ihr 1-Mann-Forechecking störte den Selber Aufbau mitunter wirkungsvoll, und im eigenen Drittel schafften es die Gäste anfangs konequent, Schüsse aus der Nahdistanz zu unterbinden. Auch erste Akzente in der Offensive setzte der ESVB dann während einer Strafzeit von Mazanec (5.). Die erste kritische Situation für den Bayreuther Torwart Nachtmann entstand dagegen eher zufällig: Die von Piechutta gespielte Scheibe prallte so unglücklich an den Schlittschuh des Schlussmanns, dass er nur knapp im Nachfassen auf der Linie ein Eigentor verhindern konnte (9.).
Zwei unmittelbar aufeinander folgende Unterzahlsituationen nach Strafen gegen Kolek und Doll brachten die Bayreuther dann aber bald erstmals ernsthaft in Bedrängnis. Unter dem druckvollen Selber Powerplay rückte Nachtmann immer mehr in den Blickpunkt. Seine größte Tat vollbrachte der Torhüter aber erst unmittelbar nach dem Ablauf der Doll-Strafe, als die Gäste in der Defensive nicht geordnet waren und Lala völlig frei stand. Nachtmann vereitelte diese bis dahin klarste Chance mit einer glänzenden Parade (15.).
Auf der Gegenseite kam der ESVB einer Führung in der 20. Minute am nächsten, als die Scheibe sogar schon im Tor lag. SR Brill erkannte den Treffer von Taborsky aber zu Recht nicht an, weil er im Gedränge vor dem Tor einen hohen Stock gesehen hatte.
Im zweiten Abschnitt zeichneten sich zunächst zunehmende Vorteile für den ERC Selb ab. Die Gastgeber schafften es vor allem, den ersten ESVB-Block kaum ins Spiel kommen zu lassen. Über mehr Spielanteile kamen sie bald auch zu einem deutlichen Übergewicht an Chancen, und selbst in Unterzahl während einer Strafzeit gegen Hanft ließen sie nicht mehr als einen Taborsky-Weitschuss zu. Der Selber Führungstreffer war somit zu diesem Zeitpunkt verdient, als Vosta einen Schuss von Bozek unhaltbar abfälschte. Ganze 19 Sekunden später glich der ESVB zwar aus, als Heinisch einen abgeblockten Taborsky-Schuss im Nachsetzen verwandelte, aber mit dem 2:1 hatten die Gastgeber dann erst einmal "richtig" die Nase vorn. Während einer Taborsky-Strafe benötigten sie nur 33 Sekunden, um ihre insgesamt auffälligen Vorteile im Überzahlspiel mit sehenswertem Abschluss zu nutzen.
Mit Körpereinsatz kämpften sich die Bayreuther dann allmählich ins Spiel zurück, wobei sich auf beiden Seiten die harten Aktionen und die Strafzeiten häuften. Im Endspurt schien der ESVB dann etwas mehr Kraft zu haben. Die Wende zur Führung nach 40 Minuten war aber doch ein wenig glücklich, zumal Bärnreuthers Flachschuss von der linken Seite zum 2:2 nicht unhaltbar erschien. Ein wahrer Paukenschlag war dafür aber das dritte ESVB-Tor 17 Sekunden vor der zweiten Pause: Als sich der erste Block im Angriffsdrittel festgesetzt hatte, verwertete Taborsky (der auffälligste Bayreuther Feldspieler) einen Rückpass mit einem spektakulären Gewaltschuss unter die Latte.
Auf diesem Polster schien der ESVB das letzte Drittel zunächst kontrollieren zu können, zumal der erste Block vor allem dank Synkov mehr Wirkung erzielte. Erst eine Strafe gegen Heinisch stoppte diese Tendenz, denn wiederum nutzten die Selber ihre Stärke im Überzahlspiel nach 54 Sekunden zum Ausgleich. Danach folgte eine sehr starke Phase der Gastgeber, in der sie nicht nur das Führungstor erzielten, sondern sogar Chancen zur Vorentscheidung hatten - darunter zwei etwa 40 Sekunden lange Phasen in 5:3- und 4:3-Überzahl. die klarste aller Chancen hatte dabei Wittig, der am glänzenden Nachtmann scheiterte (52.). Nachdem diese kritische Phase überstanden war, mobilisierten die Bayreuther die letzten Kräfte (Vorbild: Doll) und kamen durch eine Kombination des ersten Blocks zum Ausgleich.
Im Penaltyschießen legte Synkov mit dem ersten Schuss die ESVB-Führung vor, die Vosta als zweiter Selber Schütze ausglich. Dann traf erst wieder Kulabuchov im fünften Durchgang, und Bozek vergab.

ERC Selb: Niininen - Jonak, Wittig; Porzig, Hanft; Grögor, Zielinski - Lala, Mazanec, Vosta; Ahne, Dimbat, Bozek; Hördler, Piechutta, König.
ESV Bayreuth:Nachtmann - Taborsky, Kolek; Zimmermann, Doll; Meixner, Thumm; Kulabuchov, Heinisch, Synkov; Menschig, Jun, Bärnreuther; Asanger, Ponitz, Weingran.
SR: Brill (Zweibrücken);
Strafminuten: Selb 16, Bayreuth 22;
Zuschauer: 3300.
Tore: 1:0 (31.) Vosta (Bozek, Jonak), 1:1 (31.) Heinisch (Taborsky), 2:1 (32.) Vosta (Mazanec, Lala - 5 gegen 4), 2:2 (39.) Bärnreuther (Thumm), 2:3 (40.) Taborsky (Kolek, Heinisch), 3:3 (44.) Dimbat (Bozek, Ahne - 5 gegen 4), 4:3 (48.) Lala (Mazanec), 4:4 (56.) Heinisch (Synkov, Kulabuchov).

Andy

[MFG]

Moin moin sinai,

bitte gepackt als Original und dann als Anhang.
Es kommt mir gerade auf die Zeilenumbruch- bzw. Wagenrücklauf- Zeichen an.

MfG.
        MFG.

[sinai]

Ist zwar im Code identisch, aber mach ich naürlich gerne.

Andy

[dauser]

Ich würde jedes file einzelnd in die absätze zerteilen.
zeile 1 und 3 sind klar.
ab fünf würde ich immer eine Zeile weiter nach unten gehen bis eine leerzeile kommt.
dann zeile 5 bis $irgendwas in temp5_datei sedden.
ebendso auch das selbe mit den letzten absatz.

Ich habe das ähnlich http://www.easy-vdr.de/forum/index.php?topic=5585.0 gemacht.
Dort bin ich auch solange eine zeile wetergegangen bis ich zum schlüssel wort kam.
hier wäre es
^$^
schade mom keine Zeit

[ItsMee]

Hi,

ich bin ja immer noch der Meinung das mein Sample oben tut - habe aber kein Feedback von Sinai

ItsMee

PS: Anbei das umgewandelte file, man sollte wohl statt einem puren \n ein \n<p> ausgeben, weil es sich besser liest. Aber wahrscheinlich ist das topic nicht mehr aktuell.

[dauser]

Sieht aber gut aus.

[sinai]

Doch ist sehr wohl noch aktuell. Ich war nur 4 Tage im Allgäu - Kurzurlaub mit Freunden und gesamt 4 Kindern. Ich werde es mir ansehen und mich melden.

Danke ItsMee

Andy