scp加速传输

7月 29, 2019 发布在 network

今天有15G的资料需要先传递到服务器上，琢磨着怎么能更快的上传完成，最后总结了一下方法，确实比直接scp传递效率高很多,从直接scp速度是40M/s，到参照参考文章利用lz4变成93M，最后换成zstd变成了152M,效果很棒，语句如下

1 2	tar -c gh/ \|pv\| zstd -9 -T0 \|ssh -c chacha20-poly1305@openssh.com -o "MACs umac-64@openssh.com" clickhouse "zstd -d \| tar -xC /tmp/xx"

反向

1 2	ssh -c chacha20-poly1305@openssh.com -o "MACs umac-64@openssh.com" remote "cat /data/filename \| zstd -T0" \| pv \| zstd -d > filename

阅读全文