hexo中插入图片通常使用相对网站根的路径，例如将图片放在source/images下，那么插入图片的src如下
1 | <img src="/images/saber.jpg"/> |
而这种方式在typora中编辑时无法正常查看
其实可以在 md文件头部的配置项中，添加 typora-root-url: 来指定根目录
hexo source的结构是
1 | source |
我们的博文.md文件在_posts目录下，所以我们可以设置typora-root-url: ../，把根设成source目录
例如这篇blog的md头部是
1 | title: 兼容hexo和typora的图片插入方式 |
插入下面图片的代码是
1 | <img src="/images/saber.jpg" style="zoom: 25%;" /> |
可以在 scaffolds/post.md 中加入 typora-root-url: ../ 以便执行hexo new命令时自动生成
想从家里访问公司局域网内的服务器，最直接的方式就是搭建VPN，我尝试过Ubuntu下使用PPTPD搭建VPN，实际使用下来并不稳定，经常断线，后来有类似需求的时候我都是通过SSH Tunnel完成的。
先说一下环境，公司服务器在局域网192.168.1.0/24网段，公司网关路由器192.168.1.1上通过端口映射暴露了192.168.1.99的22端口：
<公司公网IP>:20742 ->192.168.1.99:22
我要从家里访问公司局域网内的 192.168.1.99:5432 和 192.168.1.166:6379
我们可以通过
1 | autossh -M 0 -CNg -L 5432:192.168.1.99:5432 root@<公司公网IP> -p 20742 |
可以先开通本地对跳板机192.168.1.99的密钥登录，然后增加-f参数直接在后台运行，详请搜索SSH密钥登录，使用密码登录时不能加-f
这样就建立了端口转发
localhost:5432 -> （公司局域网）192.168.1.99:5432
localhost:6379 -> （公司局域网）192.168.1.166:6379
我有一些程序和脚本里写好了访问的服务器地址就是192.168.1.99 和192.168.1.166，我不想修改成localhost或者127.0.0.1，
我们可以通过
1 | ifconfig enp1s0:0 192.168.1.99 netmask 255.255.255.255 up |
创建虚拟网卡并把IP设置为192.168.1.99和192.168.1.166，这样这两个IP都指向了本地。
至此需求就解决了。
但是更进一步，如果我想访问的两个服务器上的相同端口，例如 192.168.1.99:6379 和 192.168.1.166:6379 怎么办呢？
我想到了做两个容器分别去建立SSH Tunnel，并把两个容器的IP设置分别设置为 192.168.1.99和192.168.1.166
首先我们创建一个docker network在 192.168.1.0/24网段
1 | docker network create --gateway=192.168.1.1 --subnet=192.168.1.0/24 company |
创建一个ubuntu容器加入company网络并指定IP地址为192.168.1.99，同时暴露6379端口
1 | docker run -dit --name proxy99 -h proxy99 --net company --ip 192.168.1.99 --expose 6379 daimingzhuang/ubuntu:18.04 bash |
连上去
1 | docker exec -it proxy99 bash |
和前面一样建立SSH Tunnel
1 | autossh -M 0 -CNg -L 6379:192.168.1.99:6379 root@<公司公网IP> -p 20742 |
在宿主机上通过redis-cli连接192.168.1.99:6379
1 | redis-cli -h 192.168.1.99 |
成功
192.168.1.166:6379 也同样操作
总结起来就是用docker创建跳板机容器，用ssh tunnel做端口映射。
我做了一个docker镜像(daimingzhuang/ssh_proxy)来方便进行上面的操作
Dockerfile
1 | FROM ubuntu:18.04 |
/root/setup.sh
1 | #!/bin/bash |
1 | CREATE USER binlog2sql@'%' IDENTIFIED BY 'binlog2sql'; |
1 | GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO binlog2sql@'%' identified by 'binlog2sql'; |
默认配置文件路径
1 | /etc/mysql/mysql.conf.d/mysqld.cnf |
查找server-id，附近的选项按如下设置
1 | server_id = 1 |
重启mysql
1 | service mysql restart |
1 | git clone https://github.com/danfengcao/binlog2sql.git /opt/binlog2sql |
1 | pip install -r /opt/binlog2sql/requirements.txt |
为了方便使用binlog2sql.py脚本，可以把别名设置写在~/.bash_aliases文件中
1 | alias binlog2sql='python /opt/binlog2sql/binlog2sql/binlog2sql.py -h 127.0.0.1 -u binlog2sql -p binlog2sql' |
1 | mysqlbinlog -v mysql-bin.000010|tail -n 100|less |
输出
1 | …… |
其中的 #at 后面的数字就是position，文件首个和最后一个position就是这个binlog记录的position的范围。
另外，举例来说，如果我们要解析出的insert语句，需要从4356362解析到4356766，从BEGIN上面的position到COMMIT上面的position，至于update或delete应该是类似的。
1 | binlog2sql -d gogoal_v2 --start-file=mysql-bin.000010 --start-position=4356362 --stop-position=4356766 |
输出
1 | INSERT INTO `gogoal_v2`.`rpt_target_price_adjust`(`id`, `report_id`, `stock_code`, `stock_name`, `title`, `report_type`, `organ_id`, `organ_name`, `author`, `current_create_date`, `previous_create_date`, `current_target_price`, `previous_target_price`, `current_price`, `price_adjust_mark`, `entrytime`, `updatetime`, `tmstamp`, `UTSUPTIME`, `UTSFIRSTTIME`) VALUES (1370397, 1432860, '000002', '万科A', '万科A：利润率压力释放，新业务兑现增长', 22, 61, '广发证券', '郭镇,乐加栋,邢莘', '2022-04-01', '2022-02-11', 28.41, 25.45, 19.15, 2, '2022-04-02 12:42:00', '2022-04-02 12:42:00', 5863306050, NULL, NULL); #start 4356439 end 4356766 time 2022-04-02 14:12:19 |
有两种形式，一种是通过mysqldump把数据库导出成sql，正常应该通过这种形式
1 | mysqldump --master-data=2 gogoal_v2> /data/dbbackup/20220406/gogoal_v2.sql |
这里的–master-data=2选项会在生成的sql中生成被注释掉的 CHANGE MASTER 命令，里面有binlog文件编号和位置编号
另一种是直接备份数据库目录，我们的mysql中只有一个数据库gogoal_v2，所以备份目录是最方便的。
那么我们就要手动确定备份下来截止的binlog编号和位置编号，为了防止一边备份数据库一边在变，我们需要先停止数据库，而恰好我们操作的这个数据库又不是生产环境使用的，可以随时停止
首先停止数据库
1 | service mysql stop |
查看/data/mysql-binlog下最新的binlog文件和最新的position并记录下来，可以写在后面的备份目录下
1 | mysql-bin.000012 5055197 |
备份/var/lib/mysql下的全部文件
1 | cp -rp /var/lib/mysql /data/dbbackup/20220406/ |
最后在恢复启动数据库
1 | service mysql start |
我们将备份还原到一个新的mysql容器中
首先创建一个mysql容器
1 | docker run --name mysql -Pdit daimingzhuang/mysql |
daimingzhuang/mysql和官方mysql容器的区别是按原mysql的配置做了字符编码、大小写相关的设置，允许root远程访问，设置了默认密码
1 | lower_case_table_names=1 |
实际使用的命令还包含了资源使用限制
1 | docker run --name mysql -Pdit \ |
然后连到容器停止mysql服务
1 | docker exec -it mysql bash |
把备份文件复制到容器中
1 | docker cp /data/dbbackup/20220406/mysql mysql:/var/lib/ |
还需要复制debian.cnf解决服务控制权限问题（里面有debian-sys-maint用户的密码）
1 | docker cp /etc/mysql/debian.cnf mysql:/etc/mysql/debian.cnf |
再到容器中修改目录权限并启动mysql
1 | chown -R mysql:mysql /var/lib/mysql |
下面将在前面已经还原了全量备份的基础上，继续利用binlog还原到指定时间点
我们先看一下当前binlog文件
1 | ll /var/log/mysql |
输出
1 | total 1221304 |
我们可以估计需要还原到的数据点在哪个binlog文件中，比如我想还原到20220407 0点，那就应该在这里 Apr 7 06:25 mysql-bin.000013 ，事实上我们把000014或更多的binlog包含进来不要紧，只是浪费了执行命令的过滤时间
在原mysql上从binlog解析出全量备份后的增量sql
1 | binlog2sql -d gogoal_v2 --start-file=mysql-bin.000013 --stop-file=mysql-bin.000014 --stop-datetime='2022-04-07 00:00:00' > inc_20220407000000.sql |
–start-file和–start-position根据全量备份时记录的位置设置，我们全量备份时候记录的是mysql-bin.000012 5055197 ，而事实上因为我们在做全量备份的时候停止了mysql服务，重启后会写入新的binlog，所以我们可以从mysql-bin.000013开始还原，–stop-datetime 指定了还原到的时间点
把增量sql复制到容器内
1 | docker cp ./inc_20220407000000.sql mysql:/root/ |
在容器内执行还原
1 | docker exec -it mysql bash |
当前时间 2022-04-12 13:38:00
假设我们想退回到 2022-04-11 15:00:00
在有全量备份的情况下我们可以通过上面的方法先还原全量备份再叠加通过binlog导出的增量sql来还原，但在没有全量备份或者全量备份比较久远的情况下，我们也可以通过binlog2sql导出基于当前数据的回退sql来还原。
首先停止数据库
1 | service mysql stop |
还是先看一下当前binlog文件
1 | ll /var/log/mysql |
输出
1 | total 1732017 |
我们可以估计需要还原到的时间点 2022-04-11 15:00:00 应该在 mysql-bin.000018 中，那么回退需要用到的binlog就是从000018到000019，导出回退sql的命令如下
1 | binlog2sql --flashback -d gogoal_v2 --start-file=mysql-bin.000018 --stop-file=mysql-bin.000019 --start-date="2022-04-11 15:00:00" > flashback.sql |
和之前命令的区别就是–flashback选项，表示导出符合指定条件内的回退sql语句。
之后创建一个新的mysql容器，把当前数据的/var/lib/mysql复制到容器中，修正权限。不要忘了重新启动前面停止的mysql服务。再把flashback.sql导入到容器数据库中即可实现回退。具体语句参照前面已经讲过的内容。
1 | docker run -h 容器主机名 --name 容器名 -Pdit 镜像名 |
1 | docker exec -it 容器名 bash |
默认会按照容器启动的用户打开bash，如果想以root身份打开bash需要执行
1 | docker exec -it -u root 容器名 bash |
| 镜像 | 容器 | |
|---|---|---|
| 创建 | build -t/commit | create/run |
| 删除 | rmi | rm |
| 重命名 | tag+rmi | rename |
| 查看列表 | images | ps/ps -a/ps -l -q |
| 运行状态 | stats | top |
| 查看日志 | history --no-trunc | logs |
| 登录 | login | |
| 拉取 | pull | |
| 推送 | push | |
| 查找 | search | |
| 查看容器信息 | inspect | |
| 发信号 | kill | |
| 附到主进程 | attach | |
| 执行新进程 | exec |
1 | -d # 后台运行 |
1 | --cpuset-cpus="1,3" # 限制在核1、3上运行 |
1 | create [--gateway=192.168.1.1] [--subnet=192.168.1.0/24] <网络名> # 创建一个新的网络 |
--format format的用法比较复杂，用几个逐级深入的例子演示，事实上我通常把docker_ip, docker_volume设成Linux别名方便使用
docker_id 查看容器的Id
1 | docker inspect --format='{{.Id}}' 容器名 |
docker_ip 查看容器在所有网络中分配的所有的ip
1 | docker inspect --format='{{range .NetworkSettings.Networks}}{{println .IPAddress}}{{end}}' 容器名 |
docker_volume 查看容器的卷
1 | docker inspect --format='{{range .Mounts}}{{.Source}}:{{.Destination}}{{println}}{{end}}' 容器名 |
docker_port 查看容器所有的端口映射情况，用docker inspect实现 docker port命令
1 | docker inspect --format='{{range $p, $conf := .NetworkSettings.Ports}}{{range $conf}}{{$p}} -> {{.HostIp}}:{{.HostPort}}{{println}}{{end}}{{end}}' 容器名 |
1 | create [卷名] # 创建一个卷，一般不用这个命令，因为在docker run -v [卷名:]容器路径 会自动创建 |
1 | usermod -aG docker <username> |
如果容器以非root用户启动，卷中的文件在宿主机设置怎么样的权限可以被容器内的普通用户访问呢，一般容器内的普通用户的UID是1000，在宿主机上可以对UID是1000的用户授权，无论容器内和宿主机的UID是1000的用户名是否相同。
在Dockerfile中使用CMD指定容器启动时执行的脚本
1 | CMD ["bash", "/root/setup.sh"] |
如果容器提供是一个服务器，则脚本不应结束，一旦脚本结束则容器也会结束，如果服务后台运行，需要把前台卡住，可以使用
1 | tail -f /dev/null |
放在setup.sh的结尾。
另外我们可以选择启动脚本发生错误是直接退出，还是带着错误继续运行而不让容器退出。
在setup.sh的开始执行
1 | set +e |
表示脚本将无视错误继续执行，这也是默认行为
而
1 | set -e |
表示脚本将在遇到错误时立即退出，同时容器也将停止（即启动失败）
1 | FROM daimingzhuang/ubuntu:18.04 |
1 | !/bin/bash |
1 | docker build <imagename>:<tag> . |
注意最后的. 表示存放Dockerfile的目录
1 | apt purge golang-docker-credential-helpers |
查看并记录容器的运行参数，主要包括name/user/卷映射/端口映射
1 | docker inspect <container-name-or-id> |
上面步骤如果不清楚要记录什么，也可以用工具自动生成run命令
1 | pip install runlike |
停止需要增加卷或端口映射的容器
1 | docker container stop <container-name-or-id> |
将现有容器制成镜像
1 | docker commit <container-name-or-id> <new-image-name> |
重命名旧容器（如果新容器希望沿用旧名字，并且不想立刻删除旧容器，以便新容器有问题时重新启用旧容器）
1 | docker rename <container-name> <container-new-name> |
用新镜像启动容器，用之前生成的run命令并带上需要新增的卷映射或端口映射
1 | docker run -v xxx:xxx -p xx:xx <new-image-name> |
确认无误后删除旧容器
1 | docker rm <container-name-or-id> |
/etc/docker/daemon.json
默认是空的配置，可以自己增加项目，例如修改docker的根路径和修改镜像源。
1 | { |
docker-compose可以把多个相互配合容器（通过网络或共享卷）的启动参数写在一个yml文件里。或者只是把一个容器的启动参数固定在yml文件里。
1 | version: '3' |
1 | docker-compose up -d |
1 | docker-compose down |
在Shell脚本中输入密码的几种情况
首先在Shell脚本中使用sudo不是一个好主意。
可以考虑的替代方案有，
在确定要在Shell中sudo的情况下可以使用如下方式
1 | echo '密码' | sudo -S 命令 |
考虑用SSH密钥登录来避免使用密码
例如我们要从 hostA 通过ssh密钥登录 hostB
我们现在 hostA 上生成密钥
1 | ssh-keygen -t rsa |
会询问将密钥放在何处，默认即可。然后是输入密码，留空(否则你登录不仅需要私钥还要输入密码)。
完成后在~/.ssh目录下会生成两个文件id_rsa和id_rsa.pub，一个私钥一个公钥。
把公钥追加到 hostB 某个用户的 ~/.ssh/authorized_keys 就代表 hostB 的这个用户允许持有相应私钥登录
ssh-copy-id命令可以帮我们完成追加公钥的操作
命令格式：ssh-copy-id [-p SSH端口默认22] [user@]hostname
在 hostA 上执行
1 | ssh-copy-id root@hostB |
按提示输出密码即可
还需要确保 hostB 的sshd服务配置允许使用公钥授权
配置文件路径 /etc/ssh/sshd_config
确认
1 | PubkeyAuthentication yes |
如果修改过配置需要重启sshd服务
1 | service sshd restart |
在hostA上现在可以验证登录hostB不再需要输入密码
1 | ssh root@hostB |
可以用expect工具，事实上这种方法也可以应对上面的几种情况
使用autossh+expect建立ssh tunnel的用法举例
1 | #!/bin/bash |
expect更详细的说明自行搜索 linux expect
1 | git clone --mirror <原地址> # 会取得 项目名.git 的目录，里面是包含了提交历史、分支等的完整项目库 |
告知其他合作开发者修改远程库路径到新地址
1 | git remote set-url origin <新地址> |
1 | git remote -v # 可以查看当前设置的地址 |
df.to_excel底层默认优先用的是xlsxwriter，sheet对象的类型是 xlsxwriter.worksheet.Worksheet，它没有column_dimensions属性。
可以通过在创建ExcelWriter的时候指定engine="openpyxl"让底层使用openpyxl，sheet对象的类型会变成openpyxl.worksheet.worksheet.Worksheet，它是有column_dimensions属性的。
需要安装过 openpyxl 库
1 | with pd.ExcelWriter(f"xxx.xlsx", |
周末办公楼电力系统维护停电3小时，服务器关机，电力恢复后服务器启动失败，现象是启动报错，提示让输入密码进入紧急模式。
看到主要的错误描述是：
CIFS VFS: ioctl error in smb2_get_dfs_refer rc=-5
怀疑和mount有关。
输入密码进入紧急模式，输入命令
1 | mount -a |
即根据配置文件/etc/fstab进行挂载(正常启动时也是根据此文件进行挂载)
其中/etc/fstab的内容如下
1 | ……省略若干 |
执行后看到了具体的挂载错误条目是找不到设备 /dev/sdd1
使用命令
1 | fdisk -l |
可以看到存在/dev/sdd和/dev/sdd1
1 | Disk /dev/sdd: 3.7 TiB, 4000787030016 bytes, 7814037168 sectors |
使用命令
1 | lsblk |
列出块设备信息
1 | NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT |
发现sdd下面是md126 md126p1，想起来有一块盘做成了raid0，挂载时不能按照sda、sdb、sdc的命名方式挂载，需要用/dev/md126p1，但这不是问题，因为fstab文件中确实使用了/dev/md126p1，但不应该挂载/dev/sdd1了啊，其实是这次重启之后原来的sdd1变成了现在的sdc1，可能因为上次的磁盘是热插入的，重启之后根据插入口的顺序重新分配了设备名，把fstab文件中的sdd1改成sdc1，重新mount -a成功，进入/data2查看文件，确实是之前sdd1上的。
重启会重新分配设备名导致挂载失败的问题，根据linux下磁盘sda,Linux下磁盘设备文件（sda,sdb,sdc….）变化问题_林声飘扬的博客-CSDN博客这篇博文的说法，目前没有办法直接解决，但是可以通过指定id和uuid的方式挂载而不使用sda、sdb这种名称来绕过这个问题
使用
1 | ls -la /dev/disk/by-id |
可以看到这些id和uuid就是指向sda、sdb之类的软连接，而id和uuid每次启动是固定的，那么这些软连接应该是在启动过程中生成的。
最后保险起见，我将fstab文件中的挂载设备改成了id表示
1 | # /dev/sdc1 /data2 ext4 defaults 0 0 |
SSH Tunnel解决的问题是让原本不能被访问的端口（通常是因为在不同局域网）可以被访问。
SSH Tunne按监听端口是本地还是远程分为两种命令，格式分别如下：
在本地端口(bind_address:port，指定bind_address是因为本机可能有多个网络接口，缺省在localhost上监听，只接受来自本机的链接，接受任意需指定为*)上开启监听，将收到的数据通过tunnel转发到(hostname:22)，在由hostname转发到host:hostport
1 | ssh [-L [bind_address:]port:host:hostport] [user@]hostname -p 22 |
在远程端口(bind_address:port)上开启监听，将收到的数据通过tunnel转发到本机，再由本机转发到(host:hostport)
1 | ssh [-R [bind_address:]port:host:hostport] [user@]hostname -p 22 |
假设A要访问D:6379，A、D在不同局域网，最简单方法是在D所在的局域网网关上配置端口映射把D:6379映射到公网，但是很多时候出于某些因素（例如：安全考量、没有配置网关的权限、服务本身配置了只允许本地访问），不希望或无法通过把D:6379映射到公网解决，就可以考虑使用SSH Tunnel。
D所在的局域网有主机C的22端口是被映射到公网的，不妨假设映射成了X:30022，X是C和D所在局域网网关在公网的IP地址，那么可以在主机A上通过命令
1 | HostA$ ssh -L 36379:D:6379 root@X -p 30022 |
把D:6379映射成了A:36379，特别情况C和D是同一台主机，D可以写成localhost。
A所在的局域网有主机B的22端口是被映射到公网的，不妨假设映射成了X:30022，X是A和B所在局域网网关在公网的IP地址，那么可以在主机D上通过命令
1 | HostD$ ssh -g -R 36379:D:6379 root@X -p 30022 |
把D:6379映射成了B:36379，而A和B是同一局域网的，因此A可以访问到B:36379。
按理说上面的命令加了-g参数，B:36379应该被绑定在0.0.0.0:36379，但实际测试发现绑定在了127.0.0.1:36379，导致无法在A上访问，原因暂时未知（确定不是因为redis配置了保护模式），不过可以通过类似情形1的方式再把B:36379映射成A:36379，这样A就可以访问了。
1 | HostA$ ssh -L 36379:localhost:36379 root@B |
A和D所在局域网都没有主机的ssh端口被映射到公网，但我有另一台具有公网IP的主机，不妨假设为X开启着22端口，类似情形2通过命令
1 | HostD$ ssh -R 36379:D:6379 root@X |
1 | HostA$ ssh -L 46379:localhost:36379 root@X |
之后让A访问A:46379即可。
通过命令建立SSH Tunnel之后会登录到作为跳板的机器，通常我们是不需要使用这个控制台的，因此可以通过-f参数让ssh在后台运行，需要关闭tunnel时直接杀死进程。
C表示压缩数据传输
f表示后台用户验证,这个选项很有用,没有shell的不可登陆账号也能使用.
N表示不执行脚本或命令
g表示允许远程主机连接转发端口
例如情形1中的命令可以写成
1 | ssh -CfNg -L 36379:D:6379 root@X -p 30022 |
通过
1 | ps -ef|grep ssh -CfNg |
可以查看打开的tunnel。
在客户端设置/etc/ssh/ssh_config
1 | Host * |
当网络不稳定时还可以使用autossh工具来帮助自动重连。
只需要把ssh命令中的ssh换成autossh -M
例如情形1中的命令可以写成
1 | autossh -M 46379 -CfNg -L 36379:D:6379 root@X -p 30022 |
-M 后面的端口号是用来监视连接状态的，允许指定为0，这里指定为0是否可以正常监视重连以及如何监视有待研究。
另外如果autossh带了-f参数则不支持输入密码，可以配合expect脚本自动输入密码或者通过SSH密钥登录，更推荐使用密钥方式。
1 | ssh-keygen -t rsa |
会询问将密钥放在何处，默认即可。然后是输入密码，留空(否则你登录不仅需要私钥还要输入密码)。
完成后在~/.ssh目录下会生成另个文件id_rsa和id_rsa.pub，一个私钥一个公钥。
然后将公钥写入远程用户家目录下的~/.ssh/authorized_keys文件中，通过ssh-copy-id命令可以帮我们实现这一操作（相当于把公钥复制过去再追加到authorized_keys的尾部）
1 | ssh-copy-id [-p SSH端口默认22] [user@]hostname |
https://blog.csdn.net/wxqee/article/details/49234595
假设后端服务器跑在backend-server:30101，跑在本地就是localhost:30101
开发环境下通过 config/index.js 配置代理
1 | // see http://vuejs-templates.github.io/webpack for documentation. |
生产环境下通过前端所在服务器上的Nginx配置代理在
/etc/nginx/sites-enabled/default
中添加 location ^~/api/ 对应的块
1 | server { |
