CrawlerNG - Update 22.01.2023
-
- Beiträge: 26
- Registriert: Mi 31. Aug 2016, 20:24
- Hat sich bedankt: 6 Mal
- Danksagung erhalten: 3 Mal
Re: CrawlerNG - Update 18.11.2016
Gut dann muss ich mich entschuldigen!
Deine Logs sprechen zumindest dafür das der Arbeitsspeicher vollläuft und das Tool den Geist aufgibt.
Deine Logs sprechen zumindest dafür das der Arbeitsspeicher vollläuft und das Tool den Geist aufgibt.
- Folgende Benutzer bedankten sich beim Autor HerrVonWelkenNächten für den Beitrag:
- LostSoul (Sa 26. Nov 2016, 12:23)
- LostSoul
- Spender
- Beiträge: 101
- Registriert: Fr 27. Nov 2015, 17:07
- Wohnort: Gotha / Thuringia
- Hat sich bedankt: 206 Mal
- Danksagung erhalten: 26 Mal
- Kontaktdaten:
Re: CrawlerNG - Update 18.11.2016
Das Problem mit den 900-1000 Usern kann ich nachvollziehen. Ist bei mir genauso. Muss man halt die Wide der Suche runter setzen bis EU-Police das Speicherleck beseitigt hat.
-
- Core Developer
- Beiträge: 154
- Registriert: Di 15. Mär 2016, 09:16
- Hat sich bedankt: 2 Mal
- Danksagung erhalten: 158 Mal
Re: CrawlerNG - Update 18.11.2016
Die Anzeige der Spielerbilder ist für meinen Geschmack noch zu unzuverlässig (Asche auf mein Haupt) und der Speicherhunger ist aufgrund der vielen verschiedenen Portraitmöglichkeiten ein weiteres Übel.Wsxobylydob hat geschrieben:Dann ist es immer sinnvoll, dazu zu schreiben, dass im Log nicht verwendbares oder hilfreiches steht.
Bei mir steht zumindest eine Fehlermeldung:SPOILERSPOILER
Außerdem greift der Crawler ständig auf entsprechende Bildressourcen kriegt aber immer einen 404-Fehler.SPOILERUnd dass er bei ca. 900 gecrawlten Spielern ca. 3 GB Ram verwendet ist auch nicht besonders gut...
26.11.2016
- Die Anzeige von Spieler-Portraits aufgrund des hohen Speicherverbrauchs und anderer Probleme entfernt.
- Folgende Benutzer bedankten sich beim Autor eu-police für den Beitrag (Insgesamt 4):
- Wsxobylydob (Sa 26. Nov 2016, 14:51) • HerrVonWelkenNächten (Sa 26. Nov 2016, 18:17) • LostSoul (So 27. Nov 2016, 04:57) • Nuwisha (So 4. Dez 2016, 02:19)
-
- Beiträge: 26
- Registriert: Mi 31. Aug 2016, 20:24
- Hat sich bedankt: 6 Mal
- Danksagung erhalten: 3 Mal
Re: CrawlerNG - Update 26.11.2016
Danke, du bist der Beste!
Gerade 15.500 Spieler gecrawled. Ging bombeflott und stabil.
Arbeitsspeicher bedarf ca. 51 MB ^^
Gerade 15.500 Spieler gecrawled. Ging bombeflott und stabil.
Arbeitsspeicher bedarf ca. 51 MB ^^
- Folgende Benutzer bedankten sich beim Autor HerrVonWelkenNächten für den Beitrag:
- LostSoul (So 27. Nov 2016, 04:57)
-
- Core Developer
- Beiträge: 154
- Registriert: Di 15. Mär 2016, 09:16
- Hat sich bedankt: 2 Mal
- Danksagung erhalten: 158 Mal
Re: CrawlerNG - Update 26.11.2016
Das freut mich zu hören.HerrVonWelkenNächten hat geschrieben:Danke, du bist der Beste!
Gerade 15.500 Spieler gecrawled. Ging bombeflott und stabil.
Arbeitsspeicher bedarf ca. 51 MB ^^
-
- Beiträge: 55
- Registriert: Sa 10. Sep 2016, 16:14
- Hat sich bedankt: 14 Mal
- Danksagung erhalten: 5 Mal
Re: CrawlerNG - Update 26.11.2016
Guten tag,
also nach dem update finde ich die log datei wieder, und bei mir crawlt er auch wieder zuverlässig eine große anzahl von spielern.
Während er das macht verbraucht er so gut wie keine system resourcen, deshalb frage ich mich, gibt es eine möglichkeit ihn noch schneller zu machen indem er mehr resourcen nutzt? dies könnte man ja dann über nen power bottun einfügen damit er auch auf schlechteren systemen zuverlässig läuft.
also nach dem update finde ich die log datei wieder, und bei mir crawlt er auch wieder zuverlässig eine große anzahl von spielern.
Während er das macht verbraucht er so gut wie keine system resourcen, deshalb frage ich mich, gibt es eine möglichkeit ihn noch schneller zu machen indem er mehr resourcen nutzt? dies könnte man ja dann über nen power bottun einfügen damit er auch auf schlechteren systemen zuverlässig läuft.
- flow84
- Beiträge: 32
- Registriert: Mo 16. Mär 2015, 17:51
- Hat sich bedankt: 9 Mal
- Danksagung erhalten: 1 Mal
Re: CrawlerNG - Update 26.11.2016
hmm theoretisch könnte man die gengenstandsbilder auch deaktivieren. in der übersicht, wo man sehen kann welcher spieler items hat die einem fehlen, würde auch ein einfaches X in der jeweilgen spalte genügen.
-
- Beiträge: 311
- Registriert: So 27. Jul 2014, 15:00
- Hat sich bedankt: 27 Mal
- Danksagung erhalten: 51 Mal
Re: CrawlerNG - Update 26.11.2016
Wie schnell der Bot ist, hängt nur minimal mit den Systemressourcen zusammen, da keine komplizierten Berechnungen gemacht werden, sondern der Bot hauptsächlich beim Crawlen die Daten ja nur im Arbeitsspeicher behält. Dass was am längsten dauert, sind die Requests und je nach dem wie gut deine Internetleitung ist, umso schneller ist der Bot auch.scripter hat geschrieben:Guten tag,
also nach dem update finde ich die log datei wieder, und bei mir crawlt er auch wieder zuverlässig eine große anzahl von spielern.
Während er das macht verbraucht er so gut wie keine system resourcen, deshalb frage ich mich, gibt es eine möglichkeit ihn noch schneller zu machen indem er mehr resourcen nutzt? dies könnte man ja dann über nen power bottun einfügen damit er auch auf schlechteren systemen zuverlässig läuft.
-
- Core Developer
- Beiträge: 154
- Registriert: Di 15. Mär 2016, 09:16
- Hat sich bedankt: 2 Mal
- Danksagung erhalten: 158 Mal
Re: CrawlerNG - Update 26.11.2016
Korrekt. Die Abfragen sind schon weitestgehend parallelisiert, so wie es erlaubt und möglich ist.Wsxobylydob hat geschrieben:Wie schnell der Bot ist, hängt nur minimal mit den Systemressourcen zusammen, da keine komplizierten Berechnungen gemacht werden, sondern der Bot hauptsächlich beim Crawlen die Daten ja nur im Arbeitsspeicher behält. Dass was am längsten dauert, sind die Requests und je nach dem wie gut deine Internetleitung ist, umso schneller ist der Bot auch.scripter hat geschrieben:Guten tag,
also nach dem update finde ich die log datei wieder, und bei mir crawlt er auch wieder zuverlässig eine große anzahl von spielern.
Während er das macht verbraucht er so gut wie keine system resourcen, deshalb frage ich mich, gibt es eine möglichkeit ihn noch schneller zu machen indem er mehr resourcen nutzt? dies könnte man ja dann über nen power bottun einfügen damit er auch auf schlechteren systemen zuverlässig läuft.
-
- Spender
- Beiträge: 23
- Registriert: Mo 11. Aug 2014, 13:20
- Hat sich bedankt: 4 Mal
- Danksagung erhalten: 8 Mal
Re: CrawlerNG - Update 26.11.2016
Hallo,
bei mir bricht der neue Crawler leider beim Start gleich ab. - Anbei Auszug aus dem LOG
bei mir bricht der neue Crawler leider beim Start gleich ab. - Anbei Auszug aus dem LOG
SPOILER
Zuletzt geändert von Baaam am Do 1. Dez 2016, 06:40, insgesamt 1-mal geändert.
Wer ist online?
Mitglieder in diesem Forum: 0 Mitglieder und 0 Gäste