Sicherung auf FTP

[Thomas]

Huch, ok ... im Hilfe-Menü hätte ich das jetzt nicht erwartet ... werde das dann in der nächsten Woche 'mal probieren ....

[Thomas]

Hallo Alex,

voller Freude und mit großen Erwartungen habe ich die neue Version heruntergeladen und gehofft, dass die FTP-Performance nun deutlich besser ist ....

... was tatsächlich der Fall ist. Aber leider nur, wenn große Dateien gesichert werden. Hier komme ich auf eine Auslastung von 10-12 % auf meinem Gigabit Netz, was in etwa 10-12 MB/s entspricht. Per SMB bekomme ich zwar Werte zwischen 20 und 30 %, aber damit könnte ich leben.

Leider bricht die Übertragungsrate bei vielen kleinen Dateien drastisch ein. Ich habe mir mit wireshark 'mal angesehen, was da so auf der Leitung passiert. Dabei ist mir aufgefallen, dass für jede Datei die FTP-Verbindung neu geöffnet wird. Also TCP Handshake, FTP Login, Verzeichnisauswahl, Übertragen der Datei, Verbindung schließen. Hier wäre es doch sicher möglich, die Verbindung nur einmal aufzubauen und dann alle Dateien zu übertragen, sodass der Overhead für das Verbindungsmanagement nicht ständig erneut anfällt.

Weiterhin sind mir noch ein paar Ungereimtheiten aufgefallen. Scheinbar wird immer versucht, häppchenweise den gesamten Verzeichnisbaum anzulegen, obwohl er schon existiert:

220 NASFTPD Turbo station 2.x 1.3.1rc2 Server (ProFTPD) [192.168.116.xxx]
USER srvBackupUser
331 Password required for srvBackupUser
PASS xxxxxxx
230 User srvBackupUser logged in
OPTS utf8 on
451 Unable to accept OPTS UTF8
PWD
257 "/" is the current directory
CWD /Backup/nb.thomas/
250 CWD command successful
MKD 07-04-2010 20-54-19
550 07-04-2010 20-54-19: File exists

220 NASFTPD Turbo station 2.x 1.3.1rc2 Server (ProFTPD) [192.168.116.xxx]
USER srvBackupUser
331 Password required for srvBackupUser
PASS xxxxxxx
230 User srvBackupUser logged in
OPTS utf8 on
451 Unable to accept OPTS UTF8
PWD
257 "/" is the current directory
CWD /Backup/nb.thomas/07-04-2010 20-54-19/
250 CWD command successful
MKD Documents
550 Documents: File exists

Vielleicht kannst Du Dir einfach 'mal den wireshark schnappen und selbst einen Blick auf den Transfer werfen. Und auch noch einmal auf Deinen Code. Ich denke, dass man über die Ansteuerung des von Dir verwendeten FTP-Clients sicherlich einiges an Performance für kleine Dateien holen kann .....

Viele Grüße
Thomas

[Alex]

Habe mir nun auch Wireshark heruntergeladen und werde sehen, was sich herausfinden lässt, wo der die Verbindung neu aufbaut. Das sollte eigentlich nicht mehr passieren (gerade deswegen habe ich die FTP Engine gewechselt, weil die genau das tun sollte).

Melde mich wieder, wenn es Neuigkeiten gibt.
Danke für die detailierten Informationen und die Mühe die du für die Analyse aufbringst.

[Alex]

Ich hab mal das ganze untersucht:
Bei mir wird keine neue Verbindung aufgebaut  ???

Das mit dem Verzeichniserzeugen hab ich allerdings behoben. Im Anhang mal eine optimiertere Version.

[Thomas]

Hallo Alex,

schon 'mal vielen Dank für die schnelle Reaktion. Ich denke, etwas Mühe in die Analyse zu stecken ist es wert, da ich Deine Software gerne verwenden möchte und mir die restlichen Features sehr gut gefallen.

Wann hast Du den Verbindungsaufbau beim Übertragen der Dateien analysiert? Vor oder nachdem Du das redundante Anlegen der Verzeichnisse ausgebaut hast? Falls es danach war, hätte ich als Erklärung, dass die Verbindung nach dem Anlegen des Verzeichnisses getrennt wurde und somit für den Dateitransfer neu aufgebaut werden musste. Da das Verzeichnisanlegen ja nun die Verbindung nicht mehr trennt, muss diese für das Übertragen der Datei auch nicht mehr erneut aufgebaut werden. Falls Du den Traffic zuvor analysiert hast, hätte ich nur die Erklärung, dass ich nicht genau genug hingesehen habe und den Verbindungsaufbau für das Verzeichnisanlegen und Übertragen der Dateien zusammengewürfelt habe. Oder aber mein Server ist so ungeschickt und trennt die Verbindung nach dem Übertragen einer Datei, so dass BSH sie immer neu aufbauen muss. Dann kannst Du das natürlich nicht reproduzieren. Aber das hoffe ich 'mal nicht....

Probiere heute abend gerne die von Dir bereitgestellte Version aus und schaue dann noch 'mal genau auf den Traffic.

Schöne Grüße
Thomas

[Thomas]

So, ich wollte mich ja noch einmal melden. Habe Deinen Fix heruntergeladen, bekomme ihn aber nicht zum laufen. Backup Service Home hat immer ein Problem festgestellt und muss beendet werden.

Habe schon einmal komplett deinstalliert, neu gestartet, Verzeichnis gelöscht, wieder installiert, Service gestoppt, Dateien aus ZIP extrahiert auf dem Desktop extrahiert und in den Eigenschaften auf "zulassen" geklickt (damit nicht immer die Sicherheitsabfrage kommt, dass die Datei ein potentielles Sicherheitsrisiko darstellt), dann in das Programme-Verzeichnis kopiert, Dienst wieder gestartet ... und auch danach noch einmal neu gestartet ... aber die von Dir zum Testen bereitgestellte Version mag nicht mit mir spielen :/

Irgendwelche Ideen? In den Ereignisprotokollen findet sich auch nichts hilfreiches ... außer im Anwendungsprotokoll:

Fehlerhafte Anwendung Alexosoft.BackupService.MainApp.exe, Version 3.3.0.0, Zeitstempel 0x4bbdbabb, fehlerhaftes Modul KERNEL32.dll, Version 6.0.6002.18005, Zeitstempel 0x49e037dd, Ausnahmecode 0xe0434f4d, Fehleroffset 0x0003fbae, Prozess-ID 0x%9, Anwendungsstartzeit %10.

[Alex]

Interessant... finde aber das Wochenende keine Zeit, eine neue Version zu posten.

Ich poste wenn ich sie fertig habe, sobald ich Zeit habe.

[Alex]

Hab die Änderungen bereits in ein Update einfließen lassen.
Dieses steht bereits zum Download bereit.

[Thomas]

Hallo Alex,

so, das Installationspaket habe ich ans laufen bekommen. Und er sichert in einem Affenzahn ... unglaublich dachte ich mir, so schnell kann das doch gar nicht gehen ... und komischerweise lag die Netzauslastung noch bei nicht einmal einem Prozent. Also habe ich 'mal ins AppLog geschaut. Da gibt's für jede Datei zwei Einträge:

"C:\Users\Thomas\Music\iTunes\iTunes Music\Podcasts\Rhetorik und Kommunikation\Umgang mit Konfliktstoff - 1.m4a" aufgrund Fehler (/Backup/nb.Thomas/12-04-2010 18-39-35/Music\iTunes\iTunes Music\Podcasts\Rhetorik und Kommunikation\: No such file or directory (code=550)) nicht kopiert werden. Zweiter Versuch mit Volume Shadow Copy Service.

und

"C:\Users\Thomas\Music\iTunes\iTunes Music\Podcasts\Rhetorik und Kommunikation\Umgang mit Konfliktstoff - 1.m4a" aufgrund Fehler (Das System kann die angegebene Datei nicht finden. (Ausnahme von HRESULT: 0x80070002)) ignoriert

Sieht so aus, als würde er nicht korrekt auf den FTP-Server schreiben. Die Quelldatei befindet sich exakt unter dem angegebenen Pfad. Nur bei dem Zielverzeichnis auf dem FTP-Server sieht es so aus, als wären die Verzeichnistrenner nicht sauber gesetzt. FTP erwartet den Slash, Du scheinst ihm den Backslash aus dem Pfad zu geben. Wenn ich mir den Wireshark Trace ansehe, scheint das anlegen der Verzeichnisse zu klappen. Das bestätigt auch ein Blick ins Sicherungszielverzeichnis. Dann macht er einen CD in das Verzeichnis auf dem FTP-Server und hier sind die Verzeichnistrenner schon vertauscht. Ich weiß jetzt nicht, ob das implizit beim store passiert, oder ob Du zuvor wechselst. Eigentlich müsste ein direktes Store reichen. Auf jeden Fall findet der FTP-Server das Verzeichnis nicht, was dann wohl in der Fehlermeldung in Deinem AppLog mündet.

Das CWD wird wohl auch für jede Datei aufgerufen, hier nochmal ein Auszug aus meinem Wireshark:

MKD /Backup/nb.Thomas/12-04-2010 18-39-35/Documents/My fc-prints Files/files/products/

257 "/Backup/nb.Thomas/12-04-2010 18-39-35/Documents/My fc-prints Files/files/products" - Directory successfully created

CWD /Backup/nb.Thomas/12-04-2010 18-39-35/Documents\My fc-prints Files\files\products\

550 /Backup/nb.Thomas/12-04-2010 18-39-35/Documents\My fc-prints Files\files\products\: No such file or directory

CWD /Backup/nb.Thomas/12-04-2010 18-39-35/Documents\My fc-prints Files\files\products\

550 /Backup/nb.Thomas/12-04-2010 18-39-35/Documents\My fc-prints Files\files\products\: No such file or directory

CWD /Backup/nb.Thomas/12-04-2010 18-39-35/Documents\My fc-prints Files\files\products\

550 /Backup/nb.Thomas/12-04-2010 18-39-35/Documents\My fc-prints Files\files\products\: No such file or directory

CWD /Backup/nb.Thomas/12-04-2010 18-39-35/Documents\My fc-prints Files\files\products\

550 /Backup/nb.Thomas/12-04-2010 18-39-35/Documents\My fc-prints Files\files\products\: No such file or directory

Wäre schön, wenn Du noch einmal danach schauen könntest..........

Viele Grüße
Thomas

[Alex]

Hab das Problem auch reproduzieren können.

Irgendwie scheint er da durcheinander zu kommen und dann wird der Fehler geworfen. Ich arbeite bereits an einer Lösung, auch mit Verzicht auf das CWD Kommando, was noch ein wenig mehr Performance bringen sollte.

[Thomas]

Darf ich das Thema noch einmal nach oben schieben?!?!!?

[Alex]

Gut, dass du mich daran erinnerst. Ich wollte schon eine Version hochladen, das hab ich dann wohl vergessen.

Ich hab dich einfach mal als Betatester freigeschaltet, dann hast du Zugriff auf das entsprechende Forum, wo der Download zu finden ist (mir ist es immer zu umständlich, die Dateien als Anhang zu posten, ebenso soll nicht jeder Zugriff darauf haben  )