CrawlerNG - Update 22.01.2023

Sektion für Bugs, Fragen, Probleme betreffend den CrawlerNG
eu-police
Core Developer
Beiträge: 154
Registriert: Di 15. Mär 2016, 09:16
Hat sich bedankt: 2 Mal
Danksagung erhalten: 158 Mal

CrawlerNG - Update 22.01.2023

Beitrag von eu-police »

Bild

Screenshots

Bild Bild Bild Bild Bild Bild Bild

Video

https://www.youtube.com/watch?v=oKaqGrlACdo (Stand 12.04.2016)

Aktueller Funktionsstand (25.11.2017)
  • Login auf allen bekannten Servern (Serverliste ist updatebar)
  • Sicherung der Login-Daten
  • Angabe eines eigenen User-Agenten
  • Nutzung eines HTTP-Proxyserver
  • Analyse des Sammelalbums (Items nach Typ, Klasse, Seltenheit und Besitzt filterbar)
  • Download der Sammelalbum Grafiken
  • Analyse der Ehrenhalle mit Einstellbarer Seitenzahl
  • Verknüpfung des Sammelalbums mit den analysierten Spielern zur einfachen Auffindung fehlender Gegenstände
  • Lokale Sicherung der Server, des Sammelalbums und der analysierten Spieler im leicht lesbaren JSON-Format
  • Detailliertes Logging über NLog mit/über anpassbarer Konfiguration
Download
Changelog

22.01.2023
  • [GER] Diverse Fehler mit dem neuen Backend behoben.
  • [ENG] Multiple fixes for the new backend
07.08.2021
  • [GER] Fehler bei der Parameterliste behoben.
  • [ENG] Fix for parameter list.
27.09.2020
  • [GER] Demonenjäger und Druiden werden jetzt korrekt erkannt und angezeigt.
  • [ENG] Demon hunters and druids are now correctly recognized and displayed.
Old Changelogs
26.09.2020
  • [GER] Analyse der Spielerrückgabewerte angepasst (benötigte Test-Feedback).
  • [ENG] Analysis of the player return values adjusted (require Test-Feedback).
11.07.2020
  • [GER] Fehler behoben bei den Spieler die nicht in einem Clan waren beim Ergebnis ausgeschlossen wurden.
  • [ENG] Fixed a bug where players who were not in a clan were excluded from the result.
29.02.2020
  • [GER] Mehrere Fehler im Zusammenhang mit geänderter http request Ergebnissen behoben.
  • [ENG] Fixed several bugs due to changed http request results.
13.10.2019
  • [GER] Dateipfad für nicht Epic-Items des Typs "Halsketten, Ringe und Talismane" wird jetzt korrekt erzeugt.
  • [ENG] File path for non-epic items of type "necklaces, rings talismans" is now correctly created.
12.10.2019
  • [GER] Login-Problem behoben.
  • [ENG] Login problem fixed.
01.10.2019
  • [GER] Es werden jetzt alle Items korrekt im fehlende Items Fenster angezeigt.
  • [ENG] Now all items are shown correctly in the missing items detail window.
30.09.2019
  • [GER] Das entfernen doppelter Gegenstände (wenn alle Items bereits bei anderen Spielern gefunden worden) wurde verbessert.
  • [GER] Die Grafiken zeigen einen Tooltip mit dem Pfad zur Grafik für die Kontrolle möglicher Duplikate.
  • [ENG] The removal of duplicate items (if all items have already been found on other players) has been improved.
  • [ENG] The item images show a tooltip with the path to the resource for easy control of possible duplicates.
04.08.2019 - TEST
[GER] Es gab änderungen an den internen Datenstrukturen. Bitte keine alten Sicherungen (*.json Dateien) benutzen. Diese Version gilt vorerst als Test, bis alle Fehler gemeldet und behoben wurden.
[ENG] There were changes to the internal data structures. Please do not use old backups (*.json files). This version is considered a test until all bugs have been reported and fixed.
  • [GER] Alle notwendigen Grafiken werden aufgrund der Unity-Umstellung des Clients jetzt mitgeliefert (auf normalen Wege sind diese nicht mehr herunterladbar).
  • [GER] Alle neuen Items und Monster wurden hinzugefügt.
  • [ENG] All necessary graphics are now provided due to the Unity conversion of the client (they can no longer be downloaded in normal ways).
  • [ENG] All new items and monsters have been added.
17.03.2019
  • [GER] Klasse Beserker wird korrekt erkannt.
  • [ENG] Class Beserker is recognized correctly.
21.07.2018
  • [GER] Bibliotheks-Abhängigkeiten werden jetzt korrekt aufgelöst.
  • [ENG] Library dependencies are now correctly resolved.
29.10.2018
  • [GER] Klassen Assasine und Kampfmagier hinzugefügt
  • [ENG] added classes assasin and battlemage
  • [GER] Fehler behoben der dazu geführt hat, dass die ersten 30 Spieler der Ehrenhalle übersprungen wurden (Startseite 1 war nicht gleich der Seite 1 in der Ehrenhalle)
  • [ENG] fixed error thats skips the first 30 player (Start page 1 setting != Hall of Fame Page 1)
  • [GER] Zusätzliches Logging hinzugefügt (Spierlanem, Rasse, Klasse, Level, Spieler in der Ehrenhalle, etc.)
  • [ENG] added additional logging (Playername, Race, class, Level, playernames parsed etc.)
  • [GER] Zusätzliche Fehlerbehandlung beim transformieren der Ränge und Level (String zu Integer)
  • [ENG] additional errohandling for rank and level parsing (string->int)
  • [GER] aktualisiert MahApps.Metro 1.2.4 -> 1.6.5
  • [ENG] upgraded MahApps.Metro 1.2.4 -> 1.6.5
  • [GER] aktualisiert MahApps.Metro 1.2.4 -> 1.6.5
  • [ENG] upgraded MahApps.Metro 1.2.4 -> 1.6.5
  • [GER] aktualisiert NLog 4.3.9 -> 4.5.10
  • [ENG] upgraded NLog 4.3.9 -> 4.5.10
21.07.2018
  • [GER] Login-Fehler/Spielerdatenabgleich korrigiert
  • [ENG] Fixed login error / player data sync
20.01.2018
  • [GER]Es ist jetzt mögliche die Seite der Ehrenhalle festzulegen ab der gescannt werden soll.
  • [ENG]It is now possible to define the start page of the hall of fame from which the scanning will start.
  • [GER]Es können jetzt Spieler ausgeben werden, die keine Items besitzen.
  • [ENG]Players who did not own items can now be shown.
25.11.2017
  • Login ist wieder möglich
  • Änderung der Spielerverarbeitung um Loginfehler zukünftig entgegenzuwirken
14.11.2017
  • Anpassungen im Zusammenhang mit dem Dungeon-Update.
24.09.2017
  • Wechsel der Software zur Obfuscation (Codeschutz). Bis auf zwei exotische Ausnahmen erzeugt der Crawler keine Warnungen mehr bei Virenscannern (siehe Virustotal Ergebnis)
03.06.2017
  • Fehlerbehebung im Zusammenhang mit den neuen Achievements.
  • Verbesserung des Fehlerhandlings bei ungültigen Spielerdaten.
05.03.2017
  • Anzahl der Seiten und Spieler wird jetzt korrekt während der Verarbeitung angezeigt.
  • Die Hall of Fame Ergebnisse werden jetzt serverbezogen gespeichert. Die Ergebnisse gelten somit für alle Accounts des selben Servers.
  • Optimierungen im Umgang mit einer möglicher Verschlüsselung der Serverantwort.
  • Fehlende/Unbekannte Bilder in der Itemliste werden korrekt abgefangen.
14.02.2017
  • Fehler behoben der dazu führte, dass nachdem die Liste von doppelten Items gefiltert wurde, diese nach anschließendem sortieren leer war.
  • Der Filter zum entfernen doppelter Items beginnt momentan beim höchsten Spieler und filtert alle nachfolgenden Spieler aufgrund der erhoben Items. Diese Vorgehen wird später noch optimiert, ist aber bisher die Lösung für den ersten Punkt.
31.01.2017
  • Login Problem behoben.
  • Clipboardfehler werden abgefangen.
  • Anzahl möglich Gegner wird im Hall of Fame Fenster ausgegeben.
  • Gegner mit doppelten Items werden gefiltert (Checkbox). Dies geschieht immer von oben nach unten, so dass die sichtbare Sortierung Einfluss auf den Filter hat (z.B. Itemanzahl, Gegnerlevel).
03.01.2017
  • Fehler im Zusammenhang mit der Zwischenablage behoben.
  • Itemanzahl für späteres Filtern in der Detailansicht, als zusätzliche Spalte, hinzugefügt.
02.01.2017
  • Im Hall of Fame Detail Window können jetzt einzelne oder alle Spieler (Schaltfläche) in die Zwischenablage übernommen werden. Das Format entspricht dabei dem des MFBOTS (z.B. El Cruncho/Acclamator/Ðamion)
26.11.2016
  • Die Anzeige von Spieler-Portraits aufgrund des hohen Speicherverbrauchs und anderer Probleme entfernt.
18.11.2016
  • Notwendige Entschlüsselung der API-Ergebnisse implementiert. Login und alle anderen Anfragen wieder möglich.
09.10.2016
  • Portraits aller Rassen sollten jetzt korrekt dargestellt werden.
02.10.2016
  • Fehler behoben bei der Verarbeitung der gespeicherten Ehrenhallendaten. Es ist leider notwendig "alte" Stände zu löschen.
  • Zweiter und hoffentlich endgültiger Bugfix der Protokollverletzung beim Login.
30.09.2016
  • Fallback wenn kein Portrait erstellt werden kann.
29.09.2016
  • Portrait des eingeloggten Accounts und des "Anon"-Accounts wird angezeigt.
  • Die Zusätzlich Accountinformationen Namen, Rasse, Klasse und Level werden angezeigt.
  • Neue Übersicht der Spender unter Donations (Ihr seit die Besten!)
25.09.2016
  • Bugfix der Protokollverletzung beim Login (häufig bei den internationalen Welten ab 9).
24.09.2016
  • Umfangreiches Logging über NLog implementiert.
08.05.2016
  • Die Vorabanalyse nach passenden Spielern kann jetzt abgebrochen werden.
05.05.2016
  • In den Einstellungen wird jetzt ein maximales Spielerlevel erwartet. Dieses führt dazu, dass der Crawler vor der Analyse der einzelnen Spieler zuerst die Ehrenhalle Seitenweise durchgeht, bis er auf eine Seite stößt, auf der das maximale Level dem Voreingestellten entspricht. Mögliche höherlevelige Spieler auf späteren Seiten werden zusätzlich aus dem Ergebnis gefiltert.
01.05.2016
  • Die Liste der Spieler und benötigter Items kann jetzt nach Anzahl der Items gefiltert werden (Alle oder 1 - 10). Hierbei gilt gleich dem ausgewählten Wert oder größer.
28.04.2016
  • Für das Crawlen der Ehrenhalle wird ein zusätzlicher Dummy-Account erstellt (Anon, siehe Details im Hauptfenster) um den Hauptaccount zu schützen. Loginname und Password werden im "data"-Verzeichnis gesichert.
27.04.2016
  • Die JSON-Dateien für die Ehrenhalle und das Sammelalbum werden im Unterordner "data" gesichert. Die Ehrenhalle erhält dabei als Prefix den aktuellen Server. Das Sammelalbum wird mit dem Prefix des aktuellen Servers und des Loginnames versehen. Die Änderungen erlauben die Nutzung mehrer Accounts / Server ohne Verlust der bereits gecrawlten Daten.
25.04.2016
  • Lösung der Virenscannerprobleme
24.04.2016
  • Individueller HTTP Proxy kann eingestellt werden
  • Individueller User-Agent kann eingestellt werden
  • Logout jetzt möglich (Login wird wieder angezeigt)
  • Scrapbook kann jetzt mehrfach analysiert werden
  • Einführung einer Spenderliste + Spendenbutton (Ich danke Allen die meine Arbeit unterstützen wollen)
19.04.2016
  • Verbesserte Analyse des Sammelalbums
18.04.2016
  • Login eines beliebigen Kontos auf einem der Servern von S&F (Onlineupdate) + Sicherung als JSON
  • Analyse des Sammelalbums und anfänglich einmaliges Downloaden der verwendeten Grafiken + Sicherung als JSON
  • Seitenweise Analyse der Ehrenhalle (siehe Menü Settings zum anpassen der Seitenanzahl) + Sicherung als JSON
  • Analyse der Erfassten Daten auf Vollständigkeit und noch fehlender Items und die damit verbundenen Spieler

Sonstiges

Offene Fehler
-

Wünsche
- Crawlingergebnisse Serverbezogen speichern und allen Accounts bereitstellen
- im Loginfenster ein Auswahlfeld für verschiedene Accounts
- eine Möglichkeit verschiedene Accounts direkt zu verwalten
- Settings Accountbezogen speichern
- Tabelle in Excel exportieren
- automatisches Angreifen ausgewählter Spieler
- Bereiche mit Filter zum crawlen vorgeben
-> Levelbereich (50-150)
-> Rangbereich (5000-7500)
-> Klassenfilter(z.B. nur Mages suchen)
- Subject Details Liste einen Refresh-Button
Zuletzt geändert von Robin am So 22. Jan 2023, 23:25, insgesamt 29-mal geändert.
Grund: Januar-Update
Folgende Benutzer bedankten sich beim Autor eu-police für den Beitrag (Insgesamt 43):
Robin (Mo 21. Mär 2016, 11:26) • cubix (Mo 21. Mär 2016, 11:31) • Neo (Mo 21. Mär 2016, 17:01) • F0restbear (Mo 21. Mär 2016, 22:55) • Brummiheld82 (Di 22. Mär 2016, 00:45) • Bocken (Di 22. Mär 2016, 18:06) • zaphod (Mi 23. Mär 2016, 13:27) • Nuwisha (Fr 25. Mär 2016, 02:42) • flow84 (Mi 30. Mär 2016, 20:22) • Wsxobylydob (Fr 1. Apr 2016, 19:13) und 33 weitere Benutzer
Benutzeravatar
mr robotto
Spender
Beiträge: 49
Registriert: Fr 27. Feb 2015, 23:44
Hat sich bedankt: 2 Mal
Danksagung erhalten: 14 Mal

Re: CrawlerNG

Beitrag von mr robotto »

coole sache
F0restbear
Moderator
Beiträge: 1139
Registriert: Mo 8. Jun 2015, 17:36
Hat sich bedankt: 39 Mal
Danksagung erhalten: 214 Mal

Re: CrawlerNG

Beitrag von F0restbear »

Riesengroßes Dankeschön,dass du dir so viel Arbeit machst !
Viele Grüße / Best regards

F0restbear
Bocken
Beiträge: 14
Registriert: Sa 25. Okt 2014, 11:45
Hat sich bedankt: 6 Mal
Danksagung erhalten: 13 Mal

Re: CrawlerNG

Beitrag von Bocken »

eu-police hat geschrieben:[...] ich habe aufgrund der ausbleibenden Weiterentwicklung des "alten" Crawlers damit begonnen, eine eigene Version zu programmieren. [...]
Sehr gut! *thumbs up in freudiger Erwartung*
Benutzeravatar
Doenerman
Spender
Beiträge: 3
Registriert: Fr 18. Mär 2016, 11:12
Hat sich bedankt: 0
Danksagung erhalten: 1 Mal

Re: CrawlerNG

Beitrag von Doenerman »

Da bin ich aber gespannt.
eu-police
Core Developer
Beiträge: 154
Registriert: Di 15. Mär 2016, 09:16
Hat sich bedankt: 2 Mal
Danksagung erhalten: 158 Mal

Re: CrawlerNG

Beitrag von eu-police »

### UPDATE 29.03.2016 ###
Folgende Benutzer bedankten sich beim Autor eu-police für den Beitrag (Insgesamt 3):
cubix (Di 29. Mär 2016, 21:26) • Brummiheld82 (Mi 30. Mär 2016, 02:24) • flow84 (Mi 30. Mär 2016, 20:23)
eu-police
Core Developer
Beiträge: 154
Registriert: Di 15. Mär 2016, 09:16
Hat sich bedankt: 2 Mal
Danksagung erhalten: 158 Mal

Re: CrawlerNG

Beitrag von eu-police »

### UPDATE 30.03.2016 ###
- Filter für das Album (Video: https://vid.me/tkZZ)
Folgende Benutzer bedankten sich beim Autor eu-police für den Beitrag (Insgesamt 2):
cubix (Mi 30. Mär 2016, 17:31) • flow84 (Mi 30. Mär 2016, 20:23)
Brummiheld82
Moderator
Beiträge: 813
Registriert: Fr 20. Nov 2015, 00:00
Hat sich bedankt: 152 Mal
Danksagung erhalten: 86 Mal
Kontaktdaten:

Re: CrawlerNG

Beitrag von Brummiheld82 »

Kannst du schon sagen, ab wann der neue crawler ca. einsatzfähig ist? :-)
Immer lässig grinsen :mrgreen:
Benutzeravatar
flow84
Beiträge: 32
Registriert: Mo 16. Mär 2015, 17:51
Hat sich bedankt: 9 Mal
Danksagung erhalten: 1 Mal

Re: CrawlerNG

Beitrag von flow84 »

*testenwill*


Schaut bis jetzt schon mal gut aus
Benutzeravatar
mr robotto
Spender
Beiträge: 49
Registriert: Fr 27. Feb 2015, 23:44
Hat sich bedankt: 2 Mal
Danksagung erhalten: 14 Mal

Re: CrawlerNG

Beitrag von mr robotto »

also wenn de nen tester brauchst ich stell meine 80 accs zur verfügung
Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast