Linux如何提高大文件的拷贝效率以节省时间

Linux如何提高大文件的拷贝效率以节省时间
当你直接复制机器时,你会在遇到大文件时浪费时间。提高大文件拷贝效率的最佳方法是什么下面的方法,你可以试试下
在Linux系统操作中,当您直接复制机器时,遇到大文件时会浪费时间。特别是当您同时将文件复制到多台机器时,提高大文件复制效率的最佳方法是什么聚在一起学习

您可以一个接一个地从源机器复制到目标机器,但时间通常是两倍,或者您可以同时从源机器复制到多个目标机,但源机的速度并不是很快,因为源机的带宽和其他因素。

用一些UNIX工具做得更好是很好的,三通和FIFO的结合可以形成一个快速的文件分发链:分发链中的每一台机器都会保存文件并分发给下一个循环。

首先,选择目标机作为配送链的最后一环。在本机上,我们只需要监控与NC(假设端口是1234),然后解压管道pigZ,继续将数据分解焦油管道。

数控1234 | pigZ维tar xvf–|

然后,从分配链的末端上,设置目标机器,也要通过监测、减压、分解,但在减压前我们通过tee命令将数据输出到命名管道(FIFO),外壳管道也将这些解压后根据同时分布数字分销链的下一环:

mkfifo myfifo

数控hostname_of_next_box 1234数控1234 | TEE myfifo pigZ维tar xvf–| |

最后,在源机器上启动分发链,并将数据传送到分发链的第一环:

焦油CV some_files pigZ数控hostname_of_first_box 1234 | |

在我的测试中,分发链中的每台机器都可能丢失3% - 10%的性能(与1到1个拷贝相比),但拷贝率被一个一个地复制,或者单个机器同时分配给多台机器。效率明显提高。

以上就是linux提高大文件拷贝效率的方法。介绍了一种利用UNIX工具形成的快速文件分发链,实现了大文件的快速复制,提高了效率。
免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。
相关文章
返回顶部