s3 bigfile

应该是去年,下班路上的一个想法,一直记在备忘录,没来的及去求证。如今答案应该很清晰了。

我们内部把S3通过工具,mount 在ec2上,当成本地磁盘,用于写入备份数据库文件。于是我便产生了一个疑问,如果这个“磁盘”中,一个数据库备份sql 文件,假设100G,现在我用sed替换其中一个字符串,会产生什么影响呢。按照下文的说法,预计会导致重新上传这个文件。通过监控磁盘流量,或者存盘的时间,应该也可以观测出。

image-20200601225024881

ref: https://books.google.com.hk/books?id=xIauw5xWTO8C&pg=PA52&lpg=PA52&dq=modified+big+file+s3&source=bl&ots=8VrRX-UgCc&sig=ACfU3U1SYvGMkzYZQIGCfAMgP4wT7dce1A&hl=zh-CN&sa=X&redir_esc=y#v=onepage&q&f=false

Author: Chandler Kwok
Link: http://yoursite.com/2020/06/01/s3-bigfile/
Copyright Notice: All articles in this blog are licensed under CC BY-NC-SA 4.0 unless stating additionally.