Scripts zum Linkssammeln auf Boerse.bz
Hey,
ich steh öfter vor dem Problem alle Links eines Threads runterladen zu wollen und um das etwas zu vereinfachen hab ich ein paar Perl Scripts geschrieben. Vielleicht kann ja noch jemand was damit anfangen....
Ein paar Infos zu den Scripts:
boerse.login
Loggt sich bei boerse.bz ein und speichert einen Cookie, den dann die anderen Scripts nutzen.
Muss also als erstes aufgerufen werden...
Aufruf:
boerse.login USERNAME PASSWORD
boerse.getthreadlinks
Nimmt die URL der ersten Seite eines Threads und liefert eine Liste der URLs aller Seiten.
Aufruf:
boerse.getthreadlinks THREADURL
boerse.extractrslinks
Liest (Börsen-) URLs aus der Standardeingabe, läd alle Seiten runter und gibt eine Liste aller RapidSha******s aus.
Aufruf:
boerse.extractrslinks
boerse.thanks
Bedankt sich für den entsprechenden THREAD
Aufruf:
boerse.thanks THREADURL
rsisup
Prüft ob anhand eines RS links ob die Datei noch vorhanden ist. (Das ist das EINZIGE dieser Scripts für die man sich nicht mit boerse.login eingeloggt haben muss)
Aufruf:
rsisup RSLINK
foreachline
Liest aus der Standardeingabe und führt dann für jede Zeile einen Befehl aus, dem sie die entsprechende Zeile als argument übergibt
Aufruf:
foreachline COMMAND
Zum Beispiel liest
foreachline "echo blablub %l" aus der Standardeingabe und gibt dann jede Zeile mit einem vorangestellten "blablub " wieder aus. (das %l wird immer durch die aktuelle Zeile ersetzt)
Beispiele:
Code:
boerse.getthreadlinks http://www.boerse.bz/boerse/audioboerse/biete-musik/154549-reggae-dancehall-riddim-sammelthread.html | boerse.extractrslinks > /tmp/links.txt
schreibt alle RS Links des entsprechenden Threads in die Datei /tmp/links.txt[/code]
Code:
boerse.getthreadlinks http://www.boerse.bz/boerse/audioboerse/biete-musik/154549-reggae-dancehall-riddim-sammelthread.html | boerse.extractrslinks | foreachline "rsisup %l" > /tmp/links.txt
wie oben, überprüft bei jedem Link aber ob er noch verfügbar ist und schreibt sie dann in /tmp/links.txt
Die scripts laufen nur unter Linux und man muss wget und perl installiert haben
Download: http://rapidshare.com/files/21974773..._helper.tar.gz
have a nice day
ps: archiv entpacken mit "tar xzvf boerse_helper.tar.gz" und dann die dateien am besten nach /usr/bin/ kopieren, damit man sie von überallaus leicht ausführen kann.
achso... die cookies werden unter ~/.cookies/boerse.bz gespeichert und die Scripts legen noch allerlei Log-Files unter "/tmp" an zum Fehlerfinden und so...