CrawlerNG - Update 22.01.2023

Sektion für Bugs, Fragen, Probleme betreffend den CrawlerNG
kelvin
Beiträge: 27
Registriert: Di 16. Feb 2016, 10:38
Hat sich bedankt: 3 Mal
Danksagung erhalten: 0

Re: CrawlerNG - Update 08.05.2016

Beitrag von kelvin »

wie wäre es wenn hier mal (bis sich an der stabilität/login problematik was ändert) hier funktionierende proxy adressen geteilt werden? ich suche inzwischen wieder seit 3 wochen nach einem kompatibelen proxy ( darf auch ruhig etwas langsamer sein, bin schon zufrieden, wenn ich mich einloggen kann xD)
eu-police
Core Developer
Beiträge: 154
Registriert: Di 15. Mär 2016, 09:16
Hat sich bedankt: 2 Mal
Danksagung erhalten: 158 Mal

Re: CrawlerNG - Update 08.05.2016

Beitrag von eu-police »

So, ich bin mal die letzten 10 Seiten des Thread durchgegangen und habe jetzt folgendes auf dem Schirm:

Fehlermeldungen
  • Login schlägt fehlt (Anon Problem?) scheinbar bei Internationl ab 9 aufwärts
  • Häufige Verbindungsprobleme (Serverunabhängig)
  • Abstürze bei größeren Suchläufen (15.000 Spieler crawlen).
Wünsche
  • im Loginfenster ein Auswahlfeld für verschiedene Accounts
  • eine Möglichkeit verschiedene Accounts direkt zu verwalten
  • Settings Accountbezogen speichern
  • bei "Session & Security Data" den Accountnamen und das Level anzeigen
  • Option Max Player Level Zusatzoption, Max. Player Level = Accountlevel ± n (wobei n der Wert der Textbox ist)
  • Tabelle in Excel exportieren
  • automatisches Angreifen ausgewälter Spieler
  • Bereiche mit Filer zum crawlen vorgeben
    - Levelbereich (50-150)
    - Rangbereich (5000-7500)
    - Klassenfilter(z.B. nur Mages suchen)
  • Subject Details Liste einen Refresh-Button
  • Sortieren der Items ermöglichen
HerrVonWelkenNächten
Beiträge: 26
Registriert: Mi 31. Aug 2016, 20:24
Hat sich bedankt: 6 Mal
Danksagung erhalten: 3 Mal

Re: CrawlerNG - Update 08.05.2016

Beitrag von HerrVonWelkenNächten »

Schön zu hören das Du noch dran bist :)

Denke wenn du das einloggen und die Auswahl eines Levelbereiches usw. einbaust wäre das Tool bereits sehr sehr mächtig (ist es jetzt schon). Der Rest danach ;)
kelvin
Beiträge: 27
Registriert: Di 16. Feb 2016, 10:38
Hat sich bedankt: 3 Mal
Danksagung erhalten: 0

Re: CrawlerNG - Update 08.05.2016

Beitrag von kelvin »

eu-police hat geschrieben:So, ich bin mal die letzten 10 Seiten des Thread durchgegangen und habe jetzt folgendes auf dem Schirm:

  • ........................................
  • automatisches Angreifen ausgewälter Spieler
    ...........................................

dann müsste man das mit derm mfbot verknüpfen können, damit die sessions sich nicht gegenseitig rausschmeissen
eu-police
Core Developer
Beiträge: 154
Registriert: Di 15. Mär 2016, 09:16
Hat sich bedankt: 2 Mal
Danksagung erhalten: 158 Mal

Re: CrawlerNG - Update 24.09.2016

Beitrag von eu-police »

24.09.2016
- Umfangreiches Logging über NLog implementiert

Hiermit habt ihr endlich die Möglichkeit das Verhalten des Crawlers genau zu verfolgen. Besonders interessiert mich die Loginproblematik die bei Einigen immer wieder auftritt.
Wsxobylydob
Beiträge: 311
Registriert: So 27. Jul 2014, 15:00
Hat sich bedankt: 27 Mal
Danksagung erhalten: 51 Mal

Re: CrawlerNG - Update 24.09.2016

Beitrag von Wsxobylydob »

Hilft das vielleicht?
SPOILER
2016-09-24 15:49:42 | INFO: [LoginWindow] Login window initialized.
2016-09-24 15:49:42 | INFO: [LoginWindow] Found country json file.
2016-09-24 15:49:42 | INFO: [UpdateCountryCb] Aviable countries loaded.
2016-09-24 15:49:43 | DEBUG: [LoginWindow] No img.zip file found.
2016-09-24 15:49:43 | INFO: [LoadSettings] Loading settings.
2016-09-24 15:51:24 | INFO: [NetworkSettingsBt_Click] Open network settings dialog.
2016-09-24 15:51:28 | INFO: [Login] Try to login into main account.
2016-09-24 15:51:28 | INFO: [PrepareHttpHandler] Preparing http handler.
2016-09-24 15:51:28 | DEBUG: [HttpHandler] Initialized.
2016-09-24 15:51:28 | DEBUG: [HttpHandler] Server url: http://w9.sfgame.net.
2016-09-24 15:51:28 | DEBUG: [HttpHandler] Username: ***.
2016-09-24 15:51:28 | DEBUG: [HttpHandler] Password: ***.
2016-09-24 15:51:28 | DEBUG: [HttpHandler] Useragent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586.
2016-09-24 15:51:28 | DEBUG: [HttpHandler] Web proxy: .
2016-09-24 15:51:29 | INFO: [InitializeSession] Initialize a new session.
2016-09-24 15:51:29 | DEBUG: [InitializeSession] Security - Key: [_/$VV&*Qg&)r?~g ID: 0-00000000000000.
2016-09-24 15:51:29 | DEBUG: [InitializeSession] Session - ID: 00000000000000000000000000000000.
2016-09-24 15:51:29 | INFO: [InitializeSession] RequestDecoder initialized.
2016-09-24 15:51:29 | INFO: [InitializeSession] Cryptography initialized.
2016-09-24 15:51:29 | DEBUG: [InitializeSession] Request paramter: 0-00000000000000iY0Ap3B2omAw8Cx-hkM-uVt5DjJgRqZHqWLBMPNmGmV-0wnMc5G0diJlVMQLqd5nWiA6UczCGAz7lf61eo1VKZgH1MJHjkFlLiijkce7wQ9Ces5EDerlWr8s1qUn55oeGujwXJIZ9_wwQuc5eFgredmVhwL2HK-DDArtLKKCUsg=.
2016-09-24 15:51:29 | ERROR: [HttpRequest] Der Server hat eine Protokollverletzung ausgeführt.. Section=ResponseHeader Detail=Auf CR muss LF folgen.
2016-09-24 15:51:29 | DEBUG: [InitializeSession] HttpRequest: .
2016-09-24 15:51:29 | INFO: [InitializeSession] Unable to initialize a session.
2016-09-24 15:51:32 | ERROR: [Login] Unable to login into main account.
Folgende Benutzer bedankten sich beim Autor Wsxobylydob für den Beitrag:
Baaam (So 25. Sep 2016, 08:38)
eu-police
Core Developer
Beiträge: 154
Registriert: Di 15. Mär 2016, 09:16
Hat sich bedankt: 2 Mal
Danksagung erhalten: 158 Mal

Re: CrawlerNG - Update 25.09.2016

Beitrag von eu-police »

25.09.2016
  • Bugfix der Protokollverletzung beim Login (häufig bei den internationalen Welten ab 9).
Folgende Benutzer bedankten sich beim Autor eu-police für den Beitrag:
HerrVonWelkenNächten (Mo 26. Sep 2016, 14:43)
Helyanwe
Beiträge: 2
Registriert: Mi 28. Sep 2016, 09:21
Hat sich bedankt: 0
Danksagung erhalten: 0

Re: CrawlerNG - Update 25.09.2016

Beitrag von Helyanwe »

It still don't work to me
SPOILER

Code: Alles auswählen

2016-09-28 09:16:24 | DEBUG: [GetCountriesAndServer] Returning countries ordered by country code.
2016-09-28 09:16:25 | INFO: [UpdateCountryCb] Aviable countries loaded.
2016-09-28 09:17:25 | INFO: [Login] Try to login into main account.
2016-09-28 09:17:25 | INFO: [PrepareHttpHandler] Preparing http handler.
2016-09-28 09:17:25 | DEBUG: [HttpHandler] Initialized.
2016-09-28 09:17:25 | DEBUG: [HttpHandler] Server url: http://w1.sfgame.net.
2016-09-28 09:17:25 | DEBUG: [HttpHandler] Username: ***.
2016-09-28 09:17:25 | DEBUG: [HttpHandler] Password: ***.
2016-09-28 09:17:25 | DEBUG: [HttpHandler] Useragent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586.
2016-09-28 09:17:25 | DEBUG: [HttpHandler] Web proxy: .
2016-09-28 09:17:26 | INFO: [InitializeSession] Initialize a new session.
2016-09-28 09:17:26 | DEBUG: [InitializeSession] Security - Key: [_/$VV&*Qg&)r?~g ID: 0-00000000000000.
2016-09-28 09:17:26 | DEBUG: [InitializeSession] Session - ID: 00000000000000000000000000000000.
2016-09-28 09:17:26 | INFO: [InitializeSession] RequestDecoder initialized.
2016-09-28 09:17:26 | INFO: [InitializeSession] Cryptography initialized.
2016-09-28 09:17:26 | DEBUG: [InitializeSession] Request paramter: 0-00000000000000iY0Ap3B2omAw8Cx-hkM-uVt5DjJgRqZHqWLBMPNmGmXQpqhmDvWqgLXGopjg5a4rBNxhkGVZiM3RYgcccpyahBEr9feemrj5AYxUGY4QWAEFhyMOIonARcnBtGQmuD9Vw_FN1pXKLPr2Innn0n3BfvLY09a9IZGuPB9E-TOjho4=.
2016-09-28 09:17:26 | ERROR: [HttpRequest] Il server ha commesso una violazione del protocollo.. Section=ResponseHeader Detail=CR deve essere seguito da LF..
2016-09-28 09:17:26 | DEBUG: [InitializeSession] HttpRequest: .
2016-09-28 09:17:26 | INFO: [InitializeSession] Unable to initialize a session.
2016-09-28 09:17:28 | ERROR: [Login] Unable to login into main account.
eu-police
Core Developer
Beiträge: 154
Registriert: Di 15. Mär 2016, 09:16
Hat sich bedankt: 2 Mal
Danksagung erhalten: 158 Mal

Re: CrawlerNG - Update 25.09.2016

Beitrag von eu-police »

Helyanwe hat geschrieben:It still don't work to me
SPOILER

Code: Alles auswählen

2016-09-28 09:16:24 | DEBUG: [GetCountriesAndServer] Returning countries ordered by country code.
2016-09-28 09:16:25 | INFO: [UpdateCountryCb] Aviable countries loaded.
2016-09-28 09:17:25 | INFO: [Login] Try to login into main account.
2016-09-28 09:17:25 | INFO: [PrepareHttpHandler] Preparing http handler.
2016-09-28 09:17:25 | DEBUG: [HttpHandler] Initialized.
2016-09-28 09:17:25 | DEBUG: [HttpHandler] Server url: http://w1.sfgame.net.
2016-09-28 09:17:25 | DEBUG: [HttpHandler] Username: ***.
2016-09-28 09:17:25 | DEBUG: [HttpHandler] Password: ***.
2016-09-28 09:17:25 | DEBUG: [HttpHandler] Useragent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586.
2016-09-28 09:17:25 | DEBUG: [HttpHandler] Web proxy: .
2016-09-28 09:17:26 | INFO: [InitializeSession] Initialize a new session.
2016-09-28 09:17:26 | DEBUG: [InitializeSession] Security - Key: [_/$VV&*Qg&)r?~g ID: 0-00000000000000.
2016-09-28 09:17:26 | DEBUG: [InitializeSession] Session - ID: 00000000000000000000000000000000.
2016-09-28 09:17:26 | INFO: [InitializeSession] RequestDecoder initialized.
2016-09-28 09:17:26 | INFO: [InitializeSession] Cryptography initialized.
2016-09-28 09:17:26 | DEBUG: [InitializeSession] Request paramter: 0-00000000000000iY0Ap3B2omAw8Cx-hkM-uVt5DjJgRqZHqWLBMPNmGmXQpqhmDvWqgLXGopjg5a4rBNxhkGVZiM3RYgcccpyahBEr9feemrj5AYxUGY4QWAEFhyMOIonARcnBtGQmuD9Vw_FN1pXKLPr2Innn0n3BfvLY09a9IZGuPB9E-TOjho4=.
2016-09-28 09:17:26 | ERROR: [HttpRequest] Il server ha commesso una violazione del protocollo.. Section=ResponseHeader Detail=CR deve essere seguito da LF..
2016-09-28 09:17:26 | DEBUG: [InitializeSession] HttpRequest: .
2016-09-28 09:17:26 | INFO: [InitializeSession] Unable to initialize a session.
2016-09-28 09:17:28 | ERROR: [Login] Unable to login into main account.
Please try this version: http://s2.mfbot.de/downloads/CrawlerNG_2016_09_29.zip
Helyanwe
Beiträge: 2
Registriert: Mi 28. Sep 2016, 09:21
Hat sich bedankt: 0
Danksagung erhalten: 0

Re: CrawlerNG - Update 25.09.2016

Beitrag von Helyanwe »

no, nothing ... it still don't work
SPOILER
2016-09-29 17:23:56 | INFO: [LoginWindow] Login window initialized.
2016-09-29 17:23:56 | INFO: [LoginWindow] Found country json file.
2016-09-29 17:23:56 | INFO: [UpdateCountryCb] Aviable countries loaded.
2016-09-29 17:23:56 | INFO: [LoadSettings] Loading settings.
2016-09-29 17:24:15 | INFO: [Login] Try to login into main account.
2016-09-29 17:24:15 | INFO: [PrepareHttpHandler] Preparing http handler.
2016-09-29 17:24:15 | DEBUG: [HttpHandler] Initialized.
2016-09-29 17:24:15 | DEBUG: [HttpHandler] Server url: http://w9.sfgame.net.
2016-09-29 17:24:15 | DEBUG: [HttpHandler] Username: ***.
2016-09-29 17:24:15 | DEBUG: [HttpHandler] Password: ***.
2016-09-29 17:24:15 | DEBUG: [HttpHandler] Useragent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586.
2016-09-29 17:24:15 | DEBUG: [HttpHandler] Web proxy: .
2016-09-29 17:24:15 | INFO: [InitializeSession] Initialize a new session.
2016-09-29 17:24:15 | DEBUG: [InitializeSession] Security - Key: [_/$VV&*Qg&)r?~g ID: 0-00000000000000.
2016-09-29 17:24:15 | DEBUG: [InitializeSession] Session - ID: 00000000000000000000000000000000.
2016-09-29 17:24:15 | INFO: [InitializeSession] RequestDecoder initialized.
2016-09-29 17:24:15 | INFO: [InitializeSession] Cryptography initialized.
2016-09-29 17:24:15 | DEBUG: [InitializeSession] Request paramter: 0-00000000000000iY0Ap3B2omAw8Cx-hkM-uVt5DjJgRqZHqWLBMPNmGmXQpqhmDvWqgLXGopjg5a4rBNxhkGVZiM3RYgcccpyahBEr9feemrj5AYxUGY4QWAEFhyMOIonARcnBtGQmuD9Vw_FN1pXKLPr2Innn0n3BfvLY09a9IZGuPB9E-TOjho4=.
2016-09-29 17:24:15 | ERROR: [HttpRequest] Il server ha commesso una violazione del protocollo.. Section=ResponseHeader Detail=CR deve essere seguito da LF..
2016-09-29 17:24:15 | DEBUG: [InitializeSession] HttpRequest: .
2016-09-29 17:24:15 | INFO: [InitializeSession] Unable to initialize a session.
2016-09-29 17:24:17 | ERROR: [Login] Unable to login into main account.
Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste