CrawlerNG - Update 22.01.2023

Sektion für Bugs, Fragen, Probleme betreffend den CrawlerNG
HerrVonWelkenNächten
Beiträge: 26
Registriert: Mi 31. Aug 2016, 20:24
Hat sich bedankt: 6 Mal
Danksagung erhalten: 3 Mal

Re: CrawlerNG - Update 18.11.2016

Beitrag von HerrVonWelkenNächten »

Gut dann muss ich mich entschuldigen!

Deine Logs sprechen zumindest dafür das der Arbeitsspeicher vollläuft und das Tool den Geist aufgibt.
Folgende Benutzer bedankten sich beim Autor HerrVonWelkenNächten für den Beitrag:
LostSoul (Sa 26. Nov 2016, 12:23)
Benutzeravatar
LostSoul
Spender
Beiträge: 101
Registriert: Fr 27. Nov 2015, 17:07
Wohnort: Gotha / Thuringia
Hat sich bedankt: 206 Mal
Danksagung erhalten: 26 Mal
Kontaktdaten:

Re: CrawlerNG - Update 18.11.2016

Beitrag von LostSoul »

Das Problem mit den 900-1000 Usern kann ich nachvollziehen. Ist bei mir genauso. Muss man halt die Wide der Suche runter setzen bis EU-Police das Speicherleck beseitigt hat.
Geboren in einer stürmischen & verschneiten Nacht im April des Jahres 1972 und bis heute nicht Erwachsen geworden…
Bild
Wer ohne Sünde ist, werfe den ersten CD Player! --- Wenn ich ein Pferd wäre, hätte man mich schon längst erschossen!!!
eu-police
Core Developer
Beiträge: 154
Registriert: Di 15. Mär 2016, 09:16
Hat sich bedankt: 2 Mal
Danksagung erhalten: 158 Mal

Re: CrawlerNG - Update 18.11.2016

Beitrag von eu-police »

Wsxobylydob hat geschrieben:Dann ist es immer sinnvoll, dazu zu schreiben, dass im Log nicht verwendbares oder hilfreiches steht.

Bei mir steht zumindest eine Fehlermeldung:
SPOILER
2016-11-25 22:59:51 | ERROR: [UnhandledException] System.ArgumentException: Ungültiger Parameter.
bei System.Drawing.Bitmap..ctor(Int32 width, Int32 height, PixelFormat format)
bei System.Drawing.Bitmap..ctor(Image original, Int32 width, Int32 height)
bei System.Drawing.Bitmap..ctor(Image original)
bei (Image )
bei A..(Image )
bei CrawlerNGLib.PlayerHandler.
.MoveNext()
--- Ende der Stapelüberwachung vom vorhergehenden Ort, an dem die Ausnahme ausgelöst wurde ---
bei System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
bei System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
bei (TaskAwaiter`1& )
bei A..(TaskAwaiter`1& )
bei CrawlerNGLib.PlayerHandler.
.MoveNext()
--- Ende der Stapelüberwachung vom vorhergehenden Ort, an dem die Ausnahme ausgelöst wurde ---
bei System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
bei System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
bei (TaskAwaiter`1& )
bei A..(TaskAwaiter`1& )
bei CrawlerNGLib.HttpHandler.
.MoveNext()
--- Ende der Stapelüberwachung vom vorhergehenden Ort, an dem die Ausnahme ausgelöst wurde ---
bei System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
bei System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
bei (TaskAwaiter`1& )
bei A..(TaskAwaiter`1& )
bei CrawlerNGLib.HttpHandler.
.MoveNext()
--- Ende der Stapelüberwachung vom vorhergehenden Ort, an dem die Ausnahme ausgelöst wurde ---
bei System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
bei System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
bei (TaskAwaiter`1& )
bei A..(TaskAwaiter`1& )
bei CrawlerNGLib.HttpHandler.
.MoveNext()
--- Ende der Stapelüberwachung vom vorhergehenden Ort, an dem die Ausnahme ausgelöst wurde ---
bei System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
bei System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
bei (TaskAwaiter`1& )
bei A..(TaskAwaiter`1& )
bei CrawlerNG.MainWindow..MoveNext()
--- Ende der Stapelüberwachung vom vorhergehenden Ort, an dem die Ausnahme ausgelöst wurde ---
bei System.Runtime.CompilerServices.AsyncMethodBuilderCore.<>c.<ThrowAsync>b__6_0(Object state)
bei System.Windows.Threading.ExceptionWrapper.InternalRealCall(Delegate callback, Object args, Int32 numArgs)
bei System.Windows.Threading.ExceptionWrapper.TryCatchWhen(Object source, Delegate callback, Object args, Int32 numArgs, Delegate catchHandler)
bei System.Windows.Threading.DispatcherOperation.InvokeImpl()
bei System.Windows.Threading.DispatcherOperation.InvokeInSecurityContext(Object state)
bei System.Threading.ExecutionContext.RunInternal(ExecutionContext executionContext, ContextCallback callback, Object state, Boolean preserveSyncCtx)
bei System.Threading.ExecutionContext.Run(ExecutionContext executionContext, ContextCallback callback, Object state, Boolean preserveSyncCtx)
bei System.Threading.ExecutionContext.Run(ExecutionContext executionContext, ContextCallback callback, Object state)
bei MS.Internal.CulturePreservingExecutionContext.Run(CulturePreservingExecutionContext executionContext, ContextCallback callback, Object state)
bei System.Windows.Threading.DispatcherOperation.Invoke()
bei System.Windows.Threading.Dispatcher.ProcessQueue()
bei System.Windows.Threading.Dispatcher.WndProcHook(IntPtr hwnd, Int32 msg, IntPtr wParam, IntPtr lParam, Boolean& handled)
bei MS.Win32.HwndWrapper.WndProc(IntPtr hwnd, Int32 msg, IntPtr wParam, IntPtr lParam, Boolean& handled)
bei MS.Win32.HwndSubclass.DispatcherCallbackOperation(Object o)
bei System.Windows.Threading.ExceptionWrapper.InternalRealCall(Delegate callback, Object args, Int32 numArgs)
bei System.Windows.Threading.ExceptionWrapper.TryCatchWhen(Object source, Delegate callback, Object args, Int32 numArgs, Delegate catchHandler)
bei System.Windows.Threading.Dispatcher.LegacyInvokeImpl(DispatcherPriority priority, TimeSpan timeout, Delegate method, Object args, Int32 numArgs)
bei MS.Win32.HwndSubclass.SubclassWndProc(IntPtr hwnd, Int32 msg, IntPtr wParam, IntPtr lParam)
bei MS.Win32.UnsafeNativeMethods.DispatchMessage(MSG& msg)
bei System.Windows.Threading.Dispatcher.PushFrameImpl(DispatcherFrame frame)
bei System.Windows.Threading.Dispatcher.PushFrame(DispatcherFrame frame)
bei System.Windows.Application.RunDispatcher(Object ignore)
bei System.Windows.Application.RunInternal(Window window)
bei System.Windows.Application.Run(Window window)
bei (Object )
bei A..(Object )
bei CrawlerNG.App.Main()
SPOILER
Anwendung: CrawlerNG.exe
Frameworkversion: v4.0.30319
Beschreibung: Der Prozess wurde aufgrund einer unbehandelten Ausnahme beendet.
Ausnahmeinformationen: System.ArgumentException
bei System.Drawing.Bitmap..ctor(Int32, Int32, System.Drawing.Imaging.PixelFormat)
bei System.Drawing.Bitmap..ctor(System.Drawing.Image, Int32, Int32)
bei System.Drawing.Bitmap..ctor(System.Drawing.Image)
bei DynamicClass.(System.Drawing.Image)
bei A..(System.Drawing.Image)
bei CrawlerNGLib.PlayerHandler+
.MoveNext()
bei System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(System.Threading.Tasks.Task)
bei System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(System.Threading.Tasks.Task)
bei DynamicClass.(System.Runtime.CompilerServices.TaskAwaiter`1<System.Drawing.Bitmap> ByRef)
bei A..(System.Runtime.CompilerServices.TaskAwaiter`1<System.Drawing.Bitmap> ByRef)
bei CrawlerNGLib.PlayerHandler+
.MoveNext()
bei System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(System.Threading.Tasks.Task)
bei System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(System.Threading.Tasks.Task)
bei DynamicClass.(System.Runtime.CompilerServices.TaskAwaiter`1<CrawlerNGLib.models.Player> ByRef)
bei A..(System.Runtime.CompilerServices.TaskAwaiter`1<CrawlerNGLib.models.Player> ByRef)
bei CrawlerNGLib.HttpHandler+
.MoveNext()
bei System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(System.Threading.Tasks.Task)
bei System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(System.Threading.Tasks.Task)
bei DynamicClass.(System.Runtime.CompilerServices.TaskAwaiter`1<CrawlerNGLib.models.Player> ByRef)
bei A..(System.Runtime.CompilerServices.TaskAwaiter`1<CrawlerNGLib.models.Player> ByRef)
bei CrawlerNGLib.HttpHandler+
.MoveNext()
bei System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(System.Threading.Tasks.Task)
bei System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(System.Threading.Tasks.Task)
bei DynamicClass.(System.Runtime.CompilerServices.TaskAwaiter`1<System.Collections.Generic.Dictionary`2<Int32,CrawlerNGLib.models.Player>> ByRef)
bei A..(System.Runtime.CompilerServices.TaskAwaiter`1<System.Collections.Generic.Dictionary`2<Int32,CrawlerNGLib.models.Player>> ByRef)
bei CrawlerNGLib.HttpHandler+
.MoveNext()
bei System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(System.Threading.Tasks.Task)
bei System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(System.Threading.Tasks.Task)
bei DynamicClass.(System.Runtime.CompilerServices.TaskAwaiter`1<System.Collections.Generic.Dictionary`2<Int32,CrawlerNGLib.models.Player>> ByRef)
bei A..(System.Runtime.CompilerServices.TaskAwaiter`1<System.Collections.Generic.Dictionary`2<Int32,CrawlerNGLib.models.Player>> ByRef)
bei CrawlerNG.MainWindow+.MoveNext()
bei System.Runtime.CompilerServices.AsyncMethodBuilderCore+<>c.<ThrowAsync>b__6_0(System.Object)
bei System.Windows.Threading.ExceptionWrapper.InternalRealCall(System.Delegate, System.Object, Int32)
bei System.Windows.Threading.ExceptionWrapper.TryCatchWhen(System.Object, System.Delegate, System.Object, Int32, System.Delegate)
bei System.Windows.Threading.DispatcherOperation.InvokeImpl()
bei System.Windows.Threading.DispatcherOperation.InvokeInSecurityContext(System.Object)
bei System.Threading.ExecutionContext.RunInternal(System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object, Boolean)
bei System.Threading.ExecutionContext.Run(System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object, Boolean)
bei System.Threading.ExecutionContext.Run(System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object)
bei MS.Internal.CulturePreservingExecutionContext.Run(MS.Internal.CulturePreservingExecutionContext, System.Threading.ContextCallback, System.Object)
bei System.Windows.Threading.DispatcherOperation.Invoke()
bei System.Windows.Threading.Dispatcher.ProcessQueue()
bei System.Windows.Threading.Dispatcher.WndProcHook(IntPtr, Int32, IntPtr, IntPtr, Boolean ByRef)
bei MS.Win32.HwndWrapper.WndProc(IntPtr, Int32, IntPtr, IntPtr, Boolean ByRef)
bei MS.Win32.HwndSubclass.DispatcherCallbackOperation(System.Object)
bei System.Windows.Threading.ExceptionWrapper.InternalRealCall(System.Delegate, System.Object, Int32)
bei System.Windows.Threading.ExceptionWrapper.TryCatchWhen(System.Object, System.Delegate, System.Object, Int32, System.Delegate)
bei System.Windows.Threading.Dispatcher.LegacyInvokeImpl(System.Windows.Threading.DispatcherPriority, System.TimeSpan, System.Delegate, System.Object, Int32)
bei MS.Win32.HwndSubclass.SubclassWndProc(IntPtr, Int32, IntPtr, IntPtr)
bei MS.Win32.UnsafeNativeMethods.DispatchMessage(System.Windows.Interop.MSG ByRef)
bei System.Windows.Threading.Dispatcher.PushFrameImpl(System.Windows.Threading.DispatcherFrame)
bei System.Windows.Threading.Dispatcher.PushFrame(System.Windows.Threading.DispatcherFrame)
bei System.Windows.Application.RunDispatcher(System.Object)
bei System.Windows.Application.RunInternal(System.Windows.Window)
bei System.Windows.Application.Run(System.Windows.Window)
bei DynamicClass.(System.Object)
bei A..(System.Object)
bei CrawlerNG.App.Main()

Außerdem greift der Crawler ständig auf entsprechende Bildressourcen kriegt aber immer einen 404-Fehler.
SPOILER
2016-11-25 22:59:05 | INFO: [GetHoFListPlayers] Getting Hall of Fame playerlist.
2016-11-25 22:59:05 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:05 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... cial21.png
2016-11-25 22:59:05 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:06 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:06 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... _hair1.png
2016-11-25 22:59:06 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:06 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:06 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... cial21.png
2016-11-25 22:59:06 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:07 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:07 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... beard1.png
2016-11-25 22:59:07 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:07 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:07 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... cial21.png
2016-11-25 22:59:07 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:07 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:07 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... cial21.png
2016-11-25 22:59:07 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:07 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:07 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... cial21.png
2016-11-25 22:59:07 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:07 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:07 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... cial21.png
2016-11-25 22:59:07 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... cial21.png
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... beard1.png
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... cial21.png
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... beard1.png
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... cial21.png
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... cial21.png
2016-11-25 22:59:08 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:09 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:09 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... cial21.png
2016-11-25 22:59:09 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:09 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:09 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... cial21.png
2016-11-25 22:59:09 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:09 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:09 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... cial21.png
2016-11-25 22:59:09 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:10 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:10 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... beard1.png
2016-11-25 22:59:10 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:10 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:10 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... cial21.png
2016-11-25 22:59:10 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
2016-11-25 22:59:10 | ERROR: [IsRessourceAviable] Unable to progress request.
2016-11-25 22:59:10 | ERROR: [IsRessourceAviable] http://img.playa-games.com/res/sfgame_n ... cial21.png
2016-11-25 22:59:10 | ERROR: [IsRessourceAviable] Der Remoteserver hat einen Fehler zurückgegeben: (404) Nicht gefunden.
Und dass er bei ca. 900 gecrawlten Spielern ca. 3 GB Ram verwendet ist auch nicht besonders gut...
Die Anzeige der Spielerbilder ist für meinen Geschmack noch zu unzuverlässig (Asche auf mein Haupt) und der Speicherhunger ist aufgrund der vielen verschiedenen Portraitmöglichkeiten ein weiteres Übel.

26.11.2016
  • Die Anzeige von Spieler-Portraits aufgrund des hohen Speicherverbrauchs und anderer Probleme entfernt.
Folgende Benutzer bedankten sich beim Autor eu-police für den Beitrag (Insgesamt 4):
Wsxobylydob (Sa 26. Nov 2016, 14:51) • HerrVonWelkenNächten (Sa 26. Nov 2016, 18:17) • LostSoul (So 27. Nov 2016, 04:57) • Nuwisha (So 4. Dez 2016, 02:19)
HerrVonWelkenNächten
Beiträge: 26
Registriert: Mi 31. Aug 2016, 20:24
Hat sich bedankt: 6 Mal
Danksagung erhalten: 3 Mal

Re: CrawlerNG - Update 26.11.2016

Beitrag von HerrVonWelkenNächten »

Danke, du bist der Beste!

Gerade 15.500 Spieler gecrawled. Ging bombeflott und stabil.

Arbeitsspeicher bedarf ca. 51 MB ^^
Folgende Benutzer bedankten sich beim Autor HerrVonWelkenNächten für den Beitrag:
LostSoul (So 27. Nov 2016, 04:57)
eu-police
Core Developer
Beiträge: 154
Registriert: Di 15. Mär 2016, 09:16
Hat sich bedankt: 2 Mal
Danksagung erhalten: 158 Mal

Re: CrawlerNG - Update 26.11.2016

Beitrag von eu-police »

HerrVonWelkenNächten hat geschrieben:Danke, du bist der Beste!

Gerade 15.500 Spieler gecrawled. Ging bombeflott und stabil.

Arbeitsspeicher bedarf ca. 51 MB ^^
Das freut mich zu hören.
scripter
Beiträge: 55
Registriert: Sa 10. Sep 2016, 16:14
Hat sich bedankt: 14 Mal
Danksagung erhalten: 5 Mal

Re: CrawlerNG - Update 26.11.2016

Beitrag von scripter »

Guten tag,
also nach dem update finde ich die log datei wieder, und bei mir crawlt er auch wieder zuverlässig eine große anzahl von spielern.
Während er das macht verbraucht er so gut wie keine system resourcen, deshalb frage ich mich, gibt es eine möglichkeit ihn noch schneller zu machen indem er mehr resourcen nutzt? dies könnte man ja dann über nen power bottun einfügen damit er auch auf schlechteren systemen zuverlässig läuft.
Benutzeravatar
flow84
Beiträge: 32
Registriert: Mo 16. Mär 2015, 17:51
Hat sich bedankt: 9 Mal
Danksagung erhalten: 1 Mal

Re: CrawlerNG - Update 26.11.2016

Beitrag von flow84 »

hmm theoretisch könnte man die gengenstandsbilder auch deaktivieren. in der übersicht, wo man sehen kann welcher spieler items hat die einem fehlen, würde auch ein einfaches X in der jeweilgen spalte genügen.
Wsxobylydob
Beiträge: 311
Registriert: So 27. Jul 2014, 15:00
Hat sich bedankt: 27 Mal
Danksagung erhalten: 51 Mal

Re: CrawlerNG - Update 26.11.2016

Beitrag von Wsxobylydob »

scripter hat geschrieben:Guten tag,
also nach dem update finde ich die log datei wieder, und bei mir crawlt er auch wieder zuverlässig eine große anzahl von spielern.
Während er das macht verbraucht er so gut wie keine system resourcen, deshalb frage ich mich, gibt es eine möglichkeit ihn noch schneller zu machen indem er mehr resourcen nutzt? dies könnte man ja dann über nen power bottun einfügen damit er auch auf schlechteren systemen zuverlässig läuft.
Wie schnell der Bot ist, hängt nur minimal mit den Systemressourcen zusammen, da keine komplizierten Berechnungen gemacht werden, sondern der Bot hauptsächlich beim Crawlen die Daten ja nur im Arbeitsspeicher behält. Dass was am längsten dauert, sind die Requests und je nach dem wie gut deine Internetleitung ist, umso schneller ist der Bot auch.
eu-police
Core Developer
Beiträge: 154
Registriert: Di 15. Mär 2016, 09:16
Hat sich bedankt: 2 Mal
Danksagung erhalten: 158 Mal

Re: CrawlerNG - Update 26.11.2016

Beitrag von eu-police »

Wsxobylydob hat geschrieben:
scripter hat geschrieben:Guten tag,
also nach dem update finde ich die log datei wieder, und bei mir crawlt er auch wieder zuverlässig eine große anzahl von spielern.
Während er das macht verbraucht er so gut wie keine system resourcen, deshalb frage ich mich, gibt es eine möglichkeit ihn noch schneller zu machen indem er mehr resourcen nutzt? dies könnte man ja dann über nen power bottun einfügen damit er auch auf schlechteren systemen zuverlässig läuft.
Wie schnell der Bot ist, hängt nur minimal mit den Systemressourcen zusammen, da keine komplizierten Berechnungen gemacht werden, sondern der Bot hauptsächlich beim Crawlen die Daten ja nur im Arbeitsspeicher behält. Dass was am längsten dauert, sind die Requests und je nach dem wie gut deine Internetleitung ist, umso schneller ist der Bot auch.
Korrekt. Die Abfragen sind schon weitestgehend parallelisiert, so wie es erlaubt und möglich ist.
robot
Spender
Beiträge: 23
Registriert: Mo 11. Aug 2014, 13:20
Hat sich bedankt: 4 Mal
Danksagung erhalten: 8 Mal

Re: CrawlerNG - Update 26.11.2016

Beitrag von robot »

Hallo,

bei mir bricht der neue Crawler leider beim Start gleich ab. - Anbei Auszug aus dem LOG
SPOILER
2016-11-29 17:41:19 | DEBUG: [Login] Saving settings (Checkbox checked).
2016-11-29 17:41:19 | INFO: [SaveSettings] Saving settings.
2016-11-29 17:41:19 | INFO: [SaveSettings] Saved flag: True.
2016-11-29 17:41:19 | INFO: [SaveSettings] Country: International.
2016-11-29 17:41:19 | INFO: [SaveSettings] Server: w12.sfgame.net.
2016-11-29 17:41:19 | INFO: [SaveSettings] Username: ***.
2016-11-29 17:41:19 | INFO: [SaveSettings] Password: ***.
2016-11-29 17:41:19 | DEBUG: [Login] Showing main window.
2016-11-29 17:41:20 | ERROR: [UnhandledException] Newtonsoft.Json.JsonSerializationException: Cannot deserialize the current JSON array (e.g. [1,2,3]) into type 'System.Collections.Generic.Dictionary`2[System.Int32,CrawlerNGLib.models.Player]' because the type requires a JSON object (e.g. {"name":"value"}) to deserialize correctly.
To fix this error either change the JSON to a JSON object (e.g. {"name":"value"}) or change the deserialized type to an array or a type that implements a collection interface (e.g. ICollection, IList) like List<T> that can be deserialized from a JSON array. JsonArrayAttribute can also be added to the type to force it to deserialize from a JSON array.
Path '', line 1, position 1.
bei Newtonsoft.Json.Serialization.JsonSerializerInternalReader.EnsureArrayContract(JsonReader reader, Type objectType, JsonContract contract)
bei Newtonsoft.Json.Serialization.JsonSerializerInternalReader.CreateList(JsonReader reader, Type objectType, JsonContract contract, JsonProperty member, Object existingValue, String id)
bei Newtonsoft.Json.Serialization.JsonSerializerInternalReader.CreateValueInternal(JsonReader reader, Type objectType, JsonContract contract, JsonProperty member, JsonContainerContract containerContract, JsonProperty containerMember, Object existingValue)
bei Newtonsoft.Json.Serialization.JsonSerializerInternalReader.Deserialize(JsonReader reader, Type objectType, Boolean checkAdditionalContent)
bei Newtonsoft.Json.JsonSerializer.DeserializeInternal(JsonReader reader, Type objectType)
bei Newtonsoft.Json.JsonConvert.DeserializeObject(String value, Type type, JsonSerializerSettings settings)
bei Newtonsoft.Json.JsonConvert.DeserializeObject[T](String value, JsonSerializerSettings settings)
bei CrawlerNGLib.JsonHandler..MoveNext()
--- Ende der Stapelüberwachung vom vorhergehenden Ort, an dem die Ausnahme ausgelöst wurde ---
bei System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
bei System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
bei (TaskAwaiter`1& )
bei A..(TaskAwaiter`1& )
bei CrawlerNG.MainWindow..MoveNext()
--- Ende der Stapelüberwachung vom vorhergehenden Ort, an dem die Ausnahme ausgelöst wurde ---
bei System.Runtime.CompilerServices.AsyncMethodBuilderCore.<>c.<ThrowAsync>b__6_0(Object state)
bei System.Windows.Threading.ExceptionWrapper.InternalRealCall(Delegate callback, Object args, Int32 numArgs)
bei System.Windows.Threading.ExceptionWrapper.TryCatchWhen(Object source, Delegate callback, Object args, Int32 numArgs, Delegate catchHandler)
bei System.Windows.Threading.DispatcherOperation.InvokeImpl()
bei System.Windows.Threading.DispatcherOperation.InvokeInSecurityContext(Object state)
bei System.Threading.ExecutionContext.RunInternal(ExecutionContext executionContext, ContextCallback callback, Object state, Boolean preserveSyncCtx)
bei System.Threading.ExecutionContext.Run(ExecutionContext executionContext, ContextCallback callback, Object state, Boolean preserveSyncCtx)
bei System.Threading.ExecutionContext.Run(ExecutionContext executionContext, ContextCallback callback, Object state)
bei MS.Internal.CulturePreservingExecutionContext.Run(CulturePreservingExecutionContext executionContext, ContextCallback callback, Object state)
bei System.Windows.Threading.DispatcherOperation.Invoke()
bei System.Windows.Threading.Dispatcher.ProcessQueue()
bei System.Windows.Threading.Dispatcher.WndProcHook(IntPtr hwnd, Int32 msg, IntPtr wParam, IntPtr lParam, Boolean& handled)
bei MS.Win32.HwndWrapper.WndProc(IntPtr hwnd, Int32 msg, IntPtr wParam, IntPtr lParam, Boolean& handled)
bei MS.Win32.HwndSubclass.DispatcherCallbackOperation(Object o)
bei System.Windows.Threading.ExceptionWrapper.InternalRealCall(Delegate callback, Object args, Int32 numArgs)
bei System.Windows.Threading.ExceptionWrapper.TryCatchWhen(Object source, Delegate callback, Object args, Int32 numArgs, Delegate catchHandler)
bei System.Windows.Threading.Dispatcher.LegacyInvokeImpl(DispatcherPriority priority, TimeSpan timeout, Delegate method, Object args, Int32 numArgs)
bei MS.Win32.HwndSubclass.SubclassWndProc(IntPtr hwnd, Int32 msg, IntPtr wParam, IntPtr lParam)
bei MS.Win32.UnsafeNativeMethods.DispatchMessage(MSG& msg)
bei System.Windows.Threading.Dispatcher.PushFrameImpl(DispatcherFrame frame)
bei System.Windows.Threading.Dispatcher.PushFrame(DispatcherFrame frame)
bei System.Windows.Application.RunDispatcher(Object ignore)
bei System.Windows.Application.RunInternal(Window window)
bei System.Windows.Application.Run(Window window)
bei (Object )
bei A..(Object )
bei CrawlerNG.App.Main()
Zuletzt geändert von Baaam am Do 1. Dez 2016, 06:40, insgesamt 1-mal geändert.
Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast