A little Script for grabbing the newsticker from der-postillon.com https://postillon.das-it-gesicht.de/
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
lukas 4c120ae836 fix highliting 4 months ago
.gitignore init 4 months ago
README.md fix highliting 4 months ago
pgrab.py modifying message for the delta match 4 months ago
utils.py add delta support 4 months ago

README.md

How to use

Grab all

In this mode the pgrab will download the newsticker page, fetching the news and the link to the next page. After that pgrab will do the same agin with the new page and so on.

$ .\pgrab.py all
200 https://www.der-postillon.com/2009/02/newstickernewstickernewsti.html
Uhh, there's news!
+++ Faules Pack: Fast 300.000 Deutsche in Kurzarbeit +++
+++ Özdemir fordert Kopftuchverbot für attraktive Türkinnen +++
+++ Papst erwartet Entschuldigung von Merkel und Zentralrat der Juden +++
+++ Höhere Gewinne: Der Postillon dünnt Redaktionen aus +++
200 https://www.der-postillon.com/2009/02/arme-kleine-raucher.html
200 https://www.der-postillon.com/2009/02/schufa-pleite.html
200 https://www.der-postillon.com/2009/02/newsticker-2.html
Uhh, there's news!
+++ Schluss mit lustig: Gewerkschaft der Clowns will endlich ernstgenommen werden. +++
+++ Gartentipps: Maulwürfe nachhaltig mit Lemmingselbstmordattentätern bekämpfen +++
+++ Wahlschweizer Michael Schumacher fühlt sich vom Konjunkturprogramm übergangen +++
+++ Hüftschaden: Kanzlerin Merkel leidet unter Spagat zwischen Interessengruppen +++
[...]
Statistics: Found 9276 news on 6144 pages!

Grab only the latest

$ .\pgrab.py latest
Looking for latest newsticker page...
Located: https://www.der-postillon.com/2019/05/newsticker-1349.html
Grab latest news...
+++ Definierte Muskeln: Bodybuilder verfasst Lexikoneintrag +++
+++ Marks Ackerberg: Facebook-Gründer arbeitet jetzt in der Landwirtschaft +++
+++ Liegt unter dem Lammpennschirm: Ängstliches Schafskind darf bei Licht schlafen +++
+++ Die Villa: Mann möchte Luxusimmobilie unbedingt kaufen +++
+++ In die Ecke gepixelt: Virtueller Hund nässt Bildschirm ein +++
+++ Hat so niedliche Grübchen: Frau verliebt sich in Kinderbestatter +++
+++ Jeopardy: Mann fragt sich, ob das Tragen einer Ritterrüstung bei Besuch von Quizshow zu laut wäre +++

Grab delta

pgrab will use the last line (make sure you have no EOF) of the delta-file as reference and go backwards threw all pages until the line matches against a newsticker on this page.

news.txt

[...]
+++ Geschossene Gesellschaft: Mitglieder des "Menschliche  Kanonenkugeln e.V." schlagen nach und nach in Gaststätte auf +++
$ .\pgrab.py delta news.txt
Latest news in delta-file: +++ Geschossene Gesellschaft: Mitglieder des "Menschliche  Kanonenkugeln e.V." schlagen nach und nach in Gaststätte auf +++
Looking for latest newsticker page...
Located: https://www.der-postillon.com/2019/05/newsticker-1349.html
200 https://www.der-postillon.com/2019/05/newsticker-1349.html
Newsticker found!
+++ Definierte Muskeln: Bodybuilder verfasst Lexikoneintrag +++
+++ Marks Ackerberg: Facebook-Gründer arbeitet jetzt in der Landwirtschaft +++
+++ Liegt unter dem Lammpennschirm: Ängstliches Schafskind darf bei Licht schlafen +++
+++ Die Villa: Mann möchte Luxusimmobilie unbedingt kaufen +++
+++ In die Ecke gepixelt: Virtueller Hund nässt Bildschirm ein +++
+++ Hat so niedliche Grübchen: Frau verliebt sich in Kinderbestatter +++
+++ Jeopardy: Mann fragt sich, ob das Tragen einer Ritterrüstung bei Besuch von Quizshow zu laut wäre +++
200 https://www.der-postillon.com/2019/05/BER.html
200 https://www.der-postillon.com/2019/05/lau-abschiebung.html
200 https://www.der-postillon.com/2019/05/usa-iran.html
200 https://www.der-postillon.com/2019/05/ALF.html
200 https://www.der-postillon.com/2019/05/zwangsarbeiterin-bahlsen.html
200 https://www.der-postillon.com/2019/05/newsticker-1348.html
Delta completed! Exit!
Statistics: Found 7 news on 7 pages!

Pipe

All info are returned to stderr instead to stdout. So you can easily pipe it to get only the news.

$ .\pgrab.py all > news.txt
200 https://www.der-postillon.com/2009/02/newstickernewstickernewsti.html
Newsticker found!
200 https://www.der-postillon.com/2009/02/arme-kleine-raucher.html
200 https://www.der-postillon.com/2009/02/schufa-pleite.html
200 https://www.der-postillon.com/2009/02/newsticker-2.html
Newsticker found!
200 https://www.der-postillon.com/2009/02/komasaufen-nicht-so-schlimm.html
200 https://www.der-postillon.com/2009/02/samenbankenkrise.html
200 https://www.der-postillon.com/2009/02/und-alles-ist-wolkchen.html
200 https://www.der-postillon.com/2009/02/das-haus-der-zukunft.html
[...]
Statistics: Found X news on Y pages!

news.txt

+++ Faules Pack: Fast 300.000 Deutsche in Kurzarbeit +++
+++ Özdemir fordert Kopftuchverbot für attraktive Türkinnen +++
+++ Papst erwartet Entschuldigung von Merkel und Zentralrat der Juden +++
+++ Höhere Gewinne: Der Postillon dünnt Redaktionen aus +++
+++ Schluss mit lustig: Gewerkschaft der Clowns will endlich ernstgenommen werden. +++
+++ Gartentipps: Maulwürfe nachhaltig mit Lemmingselbstmordattentätern bekämpfen +++
+++ Wahlschweizer Michael Schumacher fühlt sich vom Konjunkturprogramm übergangen +++
+++ Hüftschaden: Kanzlerin Merkel leidet unter Spagat zwischen Interessengruppen +++
[...]