了解最新公司动态及行业资讯
信息化平台生产上线以后,除了一些日常的功能、服务器运维工作,最核心的工作是对数据安全的管理,特别是业务存储数据。一般情况下我们可以通过一种数据备份与恢复的设计方案来约定。设计方案中包含备份的策略。比如每天增量备份,3天全量备份等。
先看一下全量备份某个数据库的备份命令,如下:
mysqldump -h 127.0.0.1 -P 8899 -u root -p123456 test --default-character-set=utf8mb4 ---flush-logs > backup.sqlh 代表当前数据库服务连接的地址,可根据实际情况修改,127.0.0.1 表示通过数据库本机进行访问;P 代表数据库服务的访问端口,注意这里的P一定是大写字母;u 代表数据库服务访问用户名,可通过数据库服务搭建完成后进行设置;p 代表数据库服务访问密码,通过数据库服务搭建完成后进行设置。注意这里的p一定是小写字母;test 代表需要备份的数据库名称,可根据实际情况修改;default-character-set 代表默认备份数据表及数据的格式,示例中是utf8mb4;flush-logs 代表的是在备份时,使用新的日志文件来记录接下来的数据变动记录信息;可根据实际情况加入。以上为备份命令的描述信息,接下来我们通过编写shell脚本实现完整的备份。如下:
#!/bin/bash # 获取当前时间 date_now=$(date "+%Y%m%d-%H%M%S") # 备份目录 backUpFolder=/data/database_backup/ # 数据库连接用户名 username="root" # 数据库连接密码 password="123456" # 需要备份的数据库名 dbname="test" # 需保留备份数据库文件数量 count=3 #定义备份文件名 fileName="${dbname}_${date_now}.sql" #定义备份文件目录 backUpFileName="${backUpFolder}/${fileName}" echo "starting database backup ${dbname} at ${date_now}." mysqldump -h "${host}" -u "${username}" -p"${password}" ${dbname} --default-character-set=utf8mb4 ---flush-logs > ${backUpFileName} #进入到备份文件目录 cd ${backUpFolder} #压缩备份文件 tar -zcvf ${fileName}.tar.gz ${fileName} date_end=$(date "+%Y%m%d-%H%M%S") #删除源文件 rm -rf $backup_path/$database_name-$date_time.sql echo "$date_time 压缩后删除原文件 delete $backup_path/$database_name-$date_time.sql" >> $backup_path/dump.log #找出需要删除的备份 delfile=`ls -l -crt ${backUpFolder}/*.tar.gz | awk {print $9 } | head -1` #判断现在的备份数量是否大于阈值 number=`ls -l -crt ${backUpFolder}/*.tar.gz | awk {print $9 } | wc -l` if [ $number -gt $count ] then #删除最早生成的备份,只保留count数量的备份 rm $delfile #更新删除文件日志 echo "$date_time 删除 $count 前的文件 $delfile" >> $backUpFolder/dump.log fi echo "backup mysql database finish ${dbname} at ${date_end}."恢复全量备份通常情况下有两种方式,一种通过mysql命令进行备份,另外一种通过连接登录数据库服务以后,通过source命令进行恢复。
具体命令参数可以参考备份章节的详解。
首先在进行增量备份之前需要查看一下配置文件,查看 log_bin 是否开启,因为要做增量备份首先要开启 log_bin 。首先,进入到 myslq 命令行,如下:
show variables like %log_bin%;输出的内容为:
mysql> show variables like %log_bin%; +---------------------------------+-------+ | Variable_name | Value | +---------------------------------+-------+ | log_bin | OFF | | log_bin_basename | | | log_bin_index | | | log_bin_trust_function_creators | OFF | | log_bin_use_v1_row_events | OFF | | sql_log_bin | ON | +---------------------------------+-------+这里看到,log_bin选项并没有被打开,这个时候需要通过修改配置文件进行开启。一般mysql配置文件是在/etc/my.cnf 目录下。修改内容为:
[mysqld] pid-file = /data/mysql/run/mysqld/mysqld.pid socket = /data/mysql/run/mysqld/mysqld.sock datadir = /data/mysql/data #binlog setting,开启增量备份的关键 log-bin=/data/mysql/data/mysql-bin server-id=1修改完成以后,重新启动服务。再次查看开启状态,如下:
mysql> show variables like %log_bin%; +---------------------------------+------------------------------------+ | Variable_name | Value | +---------------------------------+------------------------------------+ | log_bin | ON | | log_bin_basename | /data/mysql/data/mysql-bin | | log_bin_index | /data/mysql/data//mysql-bin.index | | log_bin_trust_function_creators | OFF | | log_bin_use_v1_row_events | OFF | | sql_log_bin | ON | +---------------------------------+------------------------------------+这个时候发现已经开启了,接下来我们就开始学习增量备份的原理吧。首先需要查看当前使用的
mysql_bin.000***.log,通过一下命令查看如下: show master status;打印结果如下:
mysql> show master status; +------------------+----------+--------------+------------------+-------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +------------------+----------+--------------+------------------+-------------------+ | mysql-bin.000015 | 610 | | | | +------------------+----------+--------------+------------------+-------------------+当前正在记录日志的文件名为 mysql-bin.000015 。再查看一下当前数据库中用户表的数据情况。查询看一下:
mysql> select * from users; +-------+------+----+ | name | sex | id | +-------+------+----+ | zone | 0 | 1 | | zone1 | 1 | 2 | | zone2 | 0 | 3 | +-------+------+----+紧接着我们插入一条数据:
insert into `zone`.`users` ( `name`, `sex`, `id`) values ( zone3, 0, 4);再次查询users表,如下:
mysql> select * from users; +-------+------+----+ | name | sex | id | +-------+------+----+ | zone | 0 | 1 | | zone1 | 1 | 2 | | zone2 | 0 | 3 | | zone3 | 0 | 4 | +-------+------+----+紧接着执行一下命令,刷新日志文件如下:
mysqladmin -u root -p123456 flush-logs此时发生的结果是日志文件从 mysql-bin.000015 变为 mysql-bin.000016,而 mysql-bin.000015 则记录着刚刚 insert 命令的日志。那么到现在为止,其实已经完成了增量备份了。
现在将备份章节描述的用户表插入的数据删除,效果如下:
delete from `zone`.`users` where `id`=4 mysql> select * from users; +-------+------+----+ | name | sex | id | +-------+------+----+ | zone | 0 | 1 | | zone1 | 1 | 2 | | zone2 | 0 | 3 | +-------+------+----+执行再次查询发现数据已经被删除了。那么重点来了,想从从 mysql-bin.000015 中恢复刚刚删除的数据:
mysqlbinlog /data/mysql/data/mysql-bin.000015 | mysql -uroot -p123456 zone;上述命令指定了需要恢复的 mysql_bin 文件,指定了用户名:root 、密码:123456 、数据库名:zone。效果如下:
mysql> select * from users; +-------+------+----+ | name | sex | id | +-------+------+----+ | zone | 0 | 1 | | zone1 | 1 | 2 | | zone2 | 0 | 3 | | zone3 | 0 | 4 | +-------+------+----+整个增量备份的操作流程都在这里了。