CrawlerNG - Update 22.01.2023

Sektion für Bugs, Fragen, Probleme betreffend den CrawlerNG
Baaam
Core Developer
Beiträge: 967
Registriert: Mo 23. Dez 2013, 14:13
Hat sich bedankt: 172 Mal
Danksagung erhalten: 206 Mal

Re: CrawlerNG - Update 03.01.2017

Beitrag von Baaam »

Why do people think always in worst case scenarios? :D Of course it does not mean end of CrawlerNG ;) It just needs some time until eu is online again
eu-police
Core Developer
Beiträge: 154
Registriert: Di 15. Mär 2016, 09:16
Hat sich bedankt: 2 Mal
Danksagung erhalten: 158 Mal

Re: CrawlerNG - Update 03.01.2017

Beitrag von eu-police »

Ich schau mir mal das Login Problem an und versuche es nachzustellen.
eu-police
Core Developer
Beiträge: 154
Registriert: Di 15. Mär 2016, 09:16
Hat sich bedankt: 2 Mal
Danksagung erhalten: 158 Mal

Re: CrawlerNG - Update 03.01.2017

Beitrag von eu-police »

31.01.2017
  • Login Problem behoben.
  • Clipboardfehler werden abgefangen.
  • Anzahl möglich Gegner wird im Hall of Fame Fenster ausgegeben.
  • Gegner mit doppelten Items werden gefiltert (Checkbox). Dies geschieht immer von oben nach unten, so dass die sichtbare Sortierung Einfluss auf den Filter hat (z.B. Itemanzahl, Gegnerlevel).
Folgende Benutzer bedankten sich beim Autor eu-police für den Beitrag (Insgesamt 2):
Wsxobylydob (Di 31. Jan 2017, 22:19) • Imided (Di 31. Jan 2017, 22:20)
Wsxobylydob
Beiträge: 311
Registriert: So 27. Jul 2014, 15:00
Hat sich bedankt: 27 Mal
Danksagung erhalten: 51 Mal

Re: CrawlerNG - Update 03.01.2017

Beitrag von Wsxobylydob »

Wenn man die Einstellung "Remove doubled items" angeklickt hat, dann das Fenster schließt, wieder öffnet und die Sortierung ändert, berechnet er die Spieler nicht mehr mit der neuen Option, sondern zeigt einfach gar keine Spieler mehr an. Zuerst muss man die Option wieder deaktivieren und dann wieder aktivieren, um das gewollte Ergebnis zu sehen. Könnte der Bot nicht einfach jedes Mal wenn man die Sortierung ändert, auch überprüfen, ob die Option aktiviert ist und falls ja, die Spielerliste neu berechnen?

EDIT: Und kann es sein, dass er nicht korrekt die aktuelle Sortierung der Spieler nimmt, um die Spielern mit doppelten Items auszusortieren, sondern immer die selbe? Bei allen Accounts bisher hatte ich es, dass die Anzahl der Spieler mit der Option "Remove doubled items" egal bei welcher Sortierung die selbe war; obwohl bei der Sortierung von Anzahl der Items absteigend und aufsteigend schon ein Unterschied festgestellt werden sollte, da wenn man nach Anzahl der Items sortiert abgsteigend sortiert, die doppelten Items durch die oberen Spieler mit vielen Items schneller abgedeckt sind, als wenn man aufsteigend wählt, da dann am Anfang mehr Spieler für die selben Anzahl an Items gebraucht werden, oder?
eu-police
Core Developer
Beiträge: 154
Registriert: Di 15. Mär 2016, 09:16
Hat sich bedankt: 2 Mal
Danksagung erhalten: 158 Mal

Re: CrawlerNG - Update 03.01.2017

Beitrag von eu-police »

Wsxobylydob hat geschrieben:Wenn man die Einstellung "Remove doubled items" angeklickt hat, dann das Fenster schließt, wieder öffnet und die Sortierung ändert, berechnet er die Spieler nicht mehr mit der neuen Option, sondern zeigt einfach gar keine Spieler mehr an. Zuerst muss man die Option wieder deaktivieren und dann wieder aktivieren, um das gewollte Ergebnis zu sehen. Könnte der Bot nicht einfach jedes Mal wenn man die Sortierung ändert, auch überprüfen, ob die Option aktiviert ist und falls ja, die Spielerliste neu berechnen?

EDIT: Und kann es sein, dass er nicht korrekt die aktuelle Sortierung der Spieler nimmt, um die Spielern mit doppelten Items auszusortieren, sondern immer die selbe? Bei allen Accounts bisher hatte ich es, dass die Anzahl der Spieler mit der Option "Remove doubled items" egal bei welcher Sortierung die selbe war; obwohl bei der Sortierung von Anzahl der Items absteigend und aufsteigend schon ein Unterschied festgestellt werden sollte, da wenn man nach Anzahl der Items sortiert abgsteigend sortiert, die doppelten Items durch die oberen Spieler mit vielen Items schneller abgedeckt sind, als wenn man aufsteigend wählt, da dann am Anfang mehr Spieler für die selben Anzahl an Items gebraucht werden, oder?
Das ist mir so auch schon aufgefallen. Die Funktion hat @Baaam implementiert und ist am Problem dran.
Ekomagic
Beiträge: 8
Registriert: So 5. Feb 2017, 23:22
Hat sich bedankt: 1 Mal
Danksagung erhalten: 0

Re: CrawlerNG - Update 03.01.2017

Beitrag von Ekomagic »

Falls ich was überlesen habe aber funktioniert die Sache auch bei Win 7 32Bit Systemen?

Grüße
Benutzeravatar
Kirito
Beiträge: 5
Registriert: So 1. Jun 2014, 17:40
Hat sich bedankt: 0
Danksagung erhalten: 0

Re: CrawlerNG - Update 03.01.2017

Beitrag von Kirito »

Servus, echt ein hammermässiges Tool !! Aber ich hätte da eine kleine Frage zur "*scrapbook.json" Datei
Könnte man es so machen das der Crawler z.b. nach 10.000 playern die scrapbook.json aktualisiert !?
Denn ich hatte gerade das Problem dass der Crawler bei mir nach 160.000 (Ja Hundertsechzigtausend) Playern abgeschmiert ist von insgesammt 310.000 :-(
Und die scrapbook.json Datei war leider nicht auf den aktuellen stand und ich darf wieder von vorne anfangen.

MFG Kirito
Wsxobylydob
Beiträge: 311
Registriert: So 27. Jul 2014, 15:00
Hat sich bedankt: 27 Mal
Danksagung erhalten: 51 Mal

Re: CrawlerNG - Update 03.01.2017

Beitrag von Wsxobylydob »

Der Crawler ist bis jetzt nicht daraus ausgelegt besonders große Spielerzahlen abzudecken, meistens werden diese in kleineren Intervallen verwendet, sodass man die Spieler abdeckt die man auch finden kann... Du könntest auch einfach immer die ersten 10.000 laden und dann wieder die nächsten und so weiter... Mich würde aber interessieren, warum der Crawler abgeschmiert ist? Zu viel Arbeitsspeicherauslastung oder brauchte er einfach sehr lange um die neuen Spieler in ein sehr sehr langes Array/List einzutragen?
Benutzeravatar
Kirito
Beiträge: 5
Registriert: So 1. Jun 2014, 17:40
Hat sich bedankt: 0
Danksagung erhalten: 0

Re: CrawlerNG - Update 03.01.2017

Beitrag von Kirito »

Also am Arbeitsspeicher liegt es glaube ich nicht (32GB) (Windows 8.1 x64)

Windows Problem Details:
SPOILER
Problemsignatur:
Problemereignisname: CLR20r3
Problemsignatur 01: CrawlerNG.exe
Problemsignatur 02: 1.0.0.0
Problemsignatur 03: 5890facd
Problemsignatur 04: CrawlerNGLib
Problemsignatur 05: 1.0.0.0
Problemsignatur 06: 5890facd
Problemsignatur 07: df
Problemsignatur 08: 0
Problemsignatur 09: System.IndexOutOfRangeException
Betriebsystemversion: 6.3.9600.2.0.0.256.27
Gebietsschema-ID: 1031
Zusatzinformation 1: 5861
Zusatzinformation 2: 5861822e1919d7c014bbb064c64908b2
Zusatzinformation 3: 6ee2
Zusatzinformation 4: 6ee2432e64e99bdcea5e4be767a3b1a2
Und in der log (am ende):
SPOILER
2017-02-10 18:31:41 | ERROR: [UnhandledException] System.IndexOutOfRangeException: Der Index war außerhalb des Arraybereichs.
bei CrawlerNGLib.HttpHandler.<>c.(String )
bei System.Linq.Enumerable.WhereSelectArrayIterator`2.MoveNext()
bei System.Collections.Generic.List`1..ctor(IEnumerable`1 collection)
bei System.Linq.Enumerable.ToList[TSource](IEnumerable`1 source)
bei CrawlerNGLib.HttpHandler.
.MoveNext()
--- Ende der Stapelüberwachung vom vorhergehenden Ort, an dem die Ausnahme ausgelöst wurde ---
bei System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
bei System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
bei (TaskAwaiter`1& )
bei A. .(TaskAwaiter`1& )
bei CrawlerNGLib.HttpHandler.
.MoveNext()
--- Ende der Stapelüberwachung vom vorhergehenden Ort, an dem die Ausnahme ausgelöst wurde ---
bei System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
bei System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
bei (TaskAwaiter`1& )
bei A..(TaskAwaiter`1& )
bei CrawlerNG.MainWindow..MoveNext()
--- Ende der Stapelüberwachung vom vorhergehenden Ort, an dem die Ausnahme ausgelöst wurde ---
bei System.Runtime.CompilerServices.AsyncMethodBuilderCore.<>c.<ThrowAsync>b__6_0(Object state)
bei System.Windows.Threading.ExceptionWrapper.InternalRealCall(Delegate callback, Object args, Int32 numArgs)
bei System.Windows.Threading.ExceptionWrapper.TryCatchWhen(Object source, Delegate callback, Object args, Int32 numArgs, Delegate catchHandler)
bei System.Windows.Threading.DispatcherOperation.InvokeImpl()
bei System.Windows.Threading.DispatcherOperation.InvokeInSecurityContext(Object state)
bei System.Threading.ExecutionContext.RunInternal(ExecutionContext executionContext, ContextCallback callback, Object state, Boolean preserveSyncCtx)
bei System.Threading.ExecutionContext.Run(ExecutionContext executionContext, ContextCallback callback, Object state, Boolean preserveSyncCtx)
bei System.Threading.ExecutionContext.Run(ExecutionContext executionContext, ContextCallback callback, Object state)
bei MS.Internal.CulturePreservingExecutionContext.Run(CulturePreservingExecutionContext executionContext, ContextCallback callback, Object state)
bei System.Windows.Threading.DispatcherOperation.Invoke()
bei System.Windows.Threading.Dispatcher.ProcessQueue()
bei System.Windows.Threading.Dispatcher.WndProcHook(IntPtr hwnd, Int32 msg, IntPtr wParam, IntPtr lParam, Boolean& handled)
bei MS.Win32.HwndWrapper.WndProc(IntPtr hwnd, Int32 msg, IntPtr wParam, IntPtr lParam, Boolean& handled)
bei MS.Win32.HwndSubclass.DispatcherCallbackOperation(Object o)
bei System.Windows.Threading.ExceptionWrapper.InternalRealCall(Delegate callback, Object args, Int32 numArgs)
bei System.Windows.Threading.ExceptionWrapper.TryCatchWhen(Object source, Delegate callback, Object args, Int32 numArgs, Delegate catchHandler)
bei System.Windows.Threading.Dispatcher.LegacyInvokeImpl(DispatcherPriority priority, TimeSpan timeout, Delegate method, Object args, Int32 numArgs)
bei MS.Win32.HwndSubclass.SubclassWndProc(IntPtr hwnd, Int32 msg, IntPtr wParam, IntPtr lParam)
bei MS.Win32.UnsafeNativeMethods.DispatchMessage(MSG& msg)
bei System.Windows.Threading.Dispatcher.PushFrameImpl(DispatcherFrame frame)
bei System.Windows.Threading.Dispatcher.PushFrame(DispatcherFrame frame)
bei System.Windows.Application.RunDispatcher(Object ignore)
bei System.Windows.Application.RunInternal(Window window)
bei System.Windows.Application.Run(Window window)
bei (Object )
bei A..(Object )
bei CrawlerNG.App.Main()
Baaam
Core Developer
Beiträge: 967
Registriert: Mo 23. Dez 2013, 14:13
Hat sich bedankt: 172 Mal
Danksagung erhalten: 206 Mal

Re: CrawlerNG - Update 03.01.2017

Beitrag von Baaam »

310.000 Gegner ist definitiv keine Zahl, für die der Crawler gedacht ist. Du kannst ohnehin gar nicht die Spieler alle so schnell angreifen, bis sich die Items derer wieder ändern :D Was den Fehler angeht, muss man mal in der Zukunft schauen
Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste