博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Linux命令之md5sum
阅读量:6086 次
发布时间:2019-06-20

本文共 4142 字,大约阅读时间需要 13 分钟。

1. 背景

   在网络传输、设备之间转存、复制大文件等时,可能会出现传输前后数据不一致的情况。这种情况在网络这种相对更不稳定的环境中,容易出现。那么校验文件的完整性,也是势在必行的。

    md5sum命令用于生成和校验文件的md5值。它会逐位对文件的内容进行校验。是文件的内容,与文件名无关,也就是文件内容相同,其md5值相同。md5值是一个128位的二进制数据,转换成16进制则是32(128/4)位的进制值。

    md5校验,有很小的概率不同的文件生成的md5可能相同。比md5更安全的校验算法还有SHA*系列的。

    在网络传输时,我们校验源文件获得其md5sum,传输完毕后,校验其目标文件,并对比如果源文件和目标文件md5 一致的话,则表示文件传输无异常。否则说明文件在传输过程中未正确传输。

2. 重要的选项

  • -b 以二进制模式读入文件内容
  • -t 以文本模式读入文件内容
  • -c 根据已生成的md5值,对现存文件进行校验
  • --status 校验完成后,不生成错误或正确的提示信息,可以通过命令的返回值来判断。

3. 使用举例

  •     生成文件md5值
md5sum file   1: [root@master lianxi]# md5sum data       2: 0a6de444981b68d6a049053296491e49  data
1: [root@master lianxi]# md5sum * 2: 0a6de444981b68d6a049053296491e49  data 3: 13df384c47dd2638fd923f60c40224c6  data2

     md5sum校验的是文件内容,与文件名无关

  • 以文本模式或二进制模式读入文件并对其进行校验

        -b 以二进制模式读入内容

        -t 以文本模式读入文件内容进行校验
        虽然是不同的读入模式,但是在进行求md5的时候,是一样的,因为是逐位校验的。
        如下文本文件,无论通过哪种模式读取md5都一致。

 

 

1: [root@master lianxi]# file data   2: data: ASCII text   3: [root@master lianxi]# md5sum data   4: 0a6de444981b68d6a049053296491e49  data   5: [root@master lianxi]# md5sum -b data   6: 0a6de444981b68d6a049053296491e49 *data   7: [root@master lianxi]# md5sum -t data   8: 0a6de444981b68d6a049053296491e49  data

 

  • md5值重定向

        将生成md5值重定向到指定的文件,通常文件的扩展名我们会命为.md5

1: [root@master lianxi]# md5sum data > data.md5   2: [root@master lianxi]# md5sum data   3: 0a6de444981b68d6a049053296491e49  data   4: [root@master lianxi]# cat data.md5   5: 0a6de444981b68d6a049053296491e49  data
  • 将多个文件的md5重定向到指定的文件

        每个文件的md5生成为一行

1: [root@master lianxi]# ls   2: data  data.bak  data.md5  d.md5   3: [root@master lianxi]# md5sum data* > d.md5   4: [root@master lianxi]# cat d.md5   5: 0a6de444981b68d6a049053296491e49  data   6: 0a6de444981b68d6a049053296491e49  data.bak   7: 0bd94658869c53cdcdf35a0f7de93e01  data.md5
  • 重定向追加

        这里新增文件ls,单独求其md5,将其md5追加到文件中

1: [root@master lianxi]# cp /bin/ls .   2: [root@master lianxi]# ls   3: data  data.bak  data.md5  d.md5  ls   4: [root@master lianxi]# md5sum ls >> d.md5 5: [root@master lianxi]# cat d.md5 6: 0a6de444981b68d6a049053296491e49 data 7: 0a6de444981b68d6a049053296491e49 data.bak 8: 0bd94658869c53cdcdf35a0f7de93e01 data.md5 9: c6337b20f3c159544bff5cf622391f9e ls
  •  md5校验

         -c选项来对文件md5进行校验。校验时,根据已生成的md5来进行校验。生成当前文件的md5,并和之前已经生成的md5进行对比,如果一致,则返回OK,否则返回错误信息

         md5sum –c d.md5

1: [root@master lianxi]# md5sum -c d.md5   2: data: OK   3: data.bak: OK   4: data.md5: OK    5: ls: OK

        修改文件后,文件md5变化

1: [root@master lianxi]# ls   2: data   3: [root@master lianxi]# md5sum data   4: 2360752c3368ca4f89169f5ecc06e383  data   5: [root@master lianxi]# md5sum data  > data.md5   6: [root@master lianxi]# echo "lwg" >> data   7: [root@master lianxi]# md5sum data   8: 287d237083a42f09785daa46a5fa3afe  data   9: [root@master lianxi]# md5sum -c data.md5   10: data: FAILED   11: md5sum: WARNING: 1 of 1 computed checksum did NOT match

         --status,不显示校验信息,以命令返回值来判断

         校验一致返回0,不一致返回1

1: [root@master lianxi]# md5sum -c data.md5   2: data: FAILED   3: md5sum: WARNING: 1 of 1 computed checksum did NOT match   4: [root@master lianxi]# md5sum -c --status data.md5   5: [root@master lianxi]# echo $?   6: 1
  • 多个文件文件校验和grep连用

        通过grep将正确的信息过滤掉

1: [root@master lianxi]# md5sum -c ../value.md5   2: acpid: OK   3: acpid.1: OK   4: anaconda.log: OK   5: anaconda.syslog: OK   6: anaconda.xlog: OK   7: boot.log: OK   8: boot.log.1: OK   9: ...   10: ...   11: 省略中间部分  12: ...   13: ...   14: yum.log.2: OK  15: md5sum: WARNING: 1 of 56 computed checksums did NOT match     1: [root@master lianxi]# md5sum -c ../value.md5 | grep -v OK     2: md5sum: WARNING: 1 of 56 computed checksums did NOT match     3: cron.1: FAILED

特殊说明

1)md5sum 是校验文件内容,与文件名是否相同无关

2)md5sum值逐位校验,所以文件越大,校验时间越长。

总结

通过md5sum来校验生成文件校验码,来发现文件传输(网络传输、复制、本地不同设备间的传输)异常造成的文件内容不一致的情况。

工作 实践应用场景:

需要比较2个rc1.tar.gz 包和rc2.tar.gz两个包,变更是不是和开发说的一致

1.获取包,确保包正确无误

   获取包后,验证包的MD5值:md5sum rc*.tar.gz

2. 解压缩到指定目录

    确保对应的目录存在

    tar -zxvf  rc1.tar.gz -C ./test_rc1

     tar -zxvf  rc2.tar.gz -C ./test_rc2

3. 递归生成各文件的的MD5值

    find ./test_rc1 -type f -print0| xargs -0 md5sum >> rc1_md5.txt

    find ./test_rc2 -type f -print0| xargs -0 md5sum >> rc2_md5.txt

4. 比较两文件的MD5值

    diff -c rc1_md5.txt  rc2_md5.txt

     或者用UltraCompare Professional比对结果

转载于:https://www.cnblogs.com/zhuxiaohou110908/p/5786893.html

你可能感兴趣的文章
WPF 降低.net framework到4.0
查看>>
搭建一个通用的脚手架
查看>>
开年巨制!千人千面回放技术让你“看到”Flutter用户侧问题
查看>>
开源磁盘加密软件VeraCrypt教程
查看>>
本地vs云:大数据厮杀的最终幸存者会是谁?
查看>>
阿里云公共镜像、自定义镜像、共享镜像和镜像市场的区别 ...
查看>>
shadowtunnel v1.7 发布:新增上级负载均衡支持独立密码
查看>>
Java线程:什么是线程
查看>>
mysql5.7 创建一个超级管理员
查看>>
【框架整合】Maven-SpringMVC3.X+Spring3.X+MyBatis3-日志、JSON解析、表关联查询等均已配置好...
查看>>
要想成为高级Java程序员需要具备哪些知识呢?
查看>>
带着问题去学习--Nginx配置解析(一)
查看>>
onix-文件系统
查看>>
java.io.Serializable浅析
查看>>
我的友情链接
查看>>
多线程之线程池任务管理通用模板
查看>>
CSS3让长单词与URL地址自动换行——word-wrap属性
查看>>
CodeForces 580B Kefa and Company
查看>>
开发规范浅谈
查看>>
Spark Streaming揭秘 Day29 深入理解Spark2.x中的Structured Streaming
查看>>