Re: tar: Buffer vergrößern
On Friday 21 December 2012, Peter Funk wrote:
> Hallo Michael,
>
> Michael Schuerig schrieb am Freitag, den 21.12.2012 um 12:37:
> > On Friday 21 December 2012, Matthias Böttcher wrote:
> > > Am 21. Dezember 2012 10:49 schrieb Martin Steigerwald
> > > <Martin@lichtvoll.de>: [...]
> > >
> > > > Vermute aber, dass auch pv nicht wartet, bis der Puffer voll
> > > > ist.
> > > >
> > > > Soweit dürfte sich aber relativ leicht selbst schreiben lassen.
> > > >
> > > > Wundert mich aber, würde denken, dass es sowas schon gibt.
> > >
> > > buffer
> >
> > Das hatten wir schon. Mit buffer kann man nicht erreichen, dass nur
> > abwechselnd große Blöcke an Daten gelesen und geschrieben werden.
> > Das ist in diesem Fall wichtig, weil sowohl Quelle als auch Ziel
> > auf der selben rotierenden Platte liegen.
>
> Normalerweise sollte es heute im Allgemeinen nicht mehr nötig sein,
> so eine Pufferung der in Anwendungsebene "zu Fuss" zu machen. Der
> Linux-Kernel enthält einiges, was solche Aktivitäten (paralleles
> Lesen und Schreiben auf derselben Plattenspindel) zu optimieren
> versucht.
Das funktioniert aber hier nicht sehr gut.
Die Verzeichnisse, die ich tar-ren möchte, liegen auf einer SSD und,
gelegentlich mit rsync gespiegelt, auf einer HD. Eigentlich möchte ich
die gespiegelte Version auf derselben(!) HD in ein TAR verpacken. Dabei
komme ich aber max. auf einen Durchsatz von 2MB/s. Wenn ich von der SSD
auf die HD tar-re, liegt der Durchsatz bei 80 bis 100MB/s.
Natürlich ist die SSD viel schneller als die HD, aber auch die HD
erreicht nur-schreibend eine gute Geschwindigkeit. Wenn aber
gleichzeitig von der HD gelesen wird, bricht die Geschwindigkeit ein.
> Bist Du sicher, dass Verlangsamungen nicht durch das
> ecryptfs (Entschlüsseln/Verschlüsseln) verursacht werden?
Das ist ein Missverständnis, es wird nichts ver-/entschlüsselt. Ich
sichere die verschlüsselten Dateien.
>
> Wieviel Hauptspeicher besitzt der Rechner?
16GB.
> Hast Du schon mal andere "Scheduling"-Strategien
> für die Festplatten ausprobiert? :
Nein, ich glaube auch nicht, dass es etwas bringen würde. Egal, welche
Strategie verwendet wird, sie basieren alle auf der Annahme, dass I/O-
Aufträge eines Anwendungsprogramms möglichst schnell bearbeitet werden
müssen. In diesem Fall verhält sich aber das Anwendungsprogramm nicht
sinnvoll, weil es parallel hier ein bisschen liest und dort ein bisschen
schreibt. Es sollte stattdessen abwechselnd viel lesen und viel
schreiben.
Michael
--
Michael Schuerig
mailto:michael@schuerig.de
http://www.schuerig.de/michael/
Reply to: