当你直接
复制机器时,你会在遇到大
文件时浪费时间。提高大文件拷贝效率的最佳
方法是什么下面的方法,你可以试试下
在Linux
系统操作中,当您直接复制机器时,遇到大文件时会浪费时间。特别是当您同时将文件复制到多台机器时,提高大文件复制效率的最佳方法是什么聚在一起
学习。
您可以一个接一个地从源机器复制到
目标机器,但时间通常是两倍,或者您可以同时从源机器复制到多个目标机,但源机的
速度并不是很快,因为源机的带宽和其他因素。
用一些UNIX
工具做得更好是很好的,三通和FIFO的结合可以形成一个快速的文件分发链:分发链中的每一台机器都会
保存文件并分发给下一个循环。
首先,选择目标机作为配送链的最后一环。在本机上,我们只需要监控与NC(假设端口是1234),然后解压管道pigZ,继续将数据分解焦油管道。
数控1234 | pigZ维tar xvf–|
然后,从分配链的末端上,
设置目标机器,也要通过监测、减压、分解,但在减压前我们通过tee
命令将数据输出到命名管道(FIFO),外壳管道也将这些解压后根据同时分布数字分销链的下一环:
mkfifo myfifo
数控hostname_of_next_box 1234数控1234 | TEE myfifo pigZ维tar xvf–| |
最后,在源机器上
启动分发链,并将数据传送到分发链的第一环:
焦油CV some_files pigZ数控hostname_of_first_box 1234 | |
在我的测试中,分发链中的每台机器都可能丢失3% - 10%的
性能(与1到1个拷贝相比),但拷贝率被一个一个地复制,或者单个机器同时分配给多台机器。效率明显提高。
以上就是linux提高大文件拷贝效率的方法。
介绍了一种利用UNIX工具形成的快速文件分发链,实现了大文件的快速复制,提高了效率。