LiteServer Project Minecraft 主站
LiteServer Project Minecraft 国际站
友链: 白天的小站
TrueNAS SCALE 22.04.3 运行一直很稳定, 有一天开始突然报错CRITIAL:
1 | Error: (401) Reason: Unauthorized HTTP response headers: < CIMultiDictProxy('Audit-Id': '7b4e8f99-ae3e-415e-b80b-d5ab72dadd85', 'Cache-Control': 'no-cache, private', 'Content-Type': 'application/json', 'Date': 'Sun, 28 May 2023 07:27:45 GMT', 'Content-Length': '129') > HTTP response body: {"kind":"Status","apiVersion":"v1","metadata":{},"status":"Failure","message":"Unauthorized","reason":"Unauthorized","code":401} |
当时没太当回事, 以为是官方仓库挂了. 一个多月后再检查还是这样, 进shell看了一下journal发现是x509证书过期了:
1 | May 29 03:23:29 truenas k3s[11305]: E0529 03:23:29.178174 11305 authentication.go:63] "Unable to authenticate the request" err="[x509: certificate has expired or is not yet valid: current time 2023-05-29T03:23:29+08:00 is after 2023-04-16T16:35:58Z, verifying certificate SN=..., SKID=, AKID=... failed: x509: certificate has expired or is not yet valid: current time 2023-05-29T03:23:29+08:00 is after 2023-04-16T16:35:58Z]" |
shell直接运行k3s kubectl get node
也会报错提示 Unauthorized
.
解决方法很简单, 重启k3s和docker服务就行 (当然重启主机也可以, 只是会中断当前的读写):
1 | systemctl stop k3s docker |
卸载主机安全、监控等组件
1 | /usr/local/qcloud/stargate/admin/uninstall.sh |
卸载自动化助手, 参考 下载之后运行uninstall.sh
卸载新的一键登录等组件 (参考用, 主要需要识别出哪些是腾讯的组件)
1 | #!/bin/bash |
需求: 对某个network下的全部容器执行特殊流量策略, 例如调整默认gateway
一种朴素的方式是在容器启动后, 服务启动前, 通过在host侧使用ip netns
或在容器中使用ip route
命令调整默认gateway. 但这些方法都比较重, 对容器创建过程有很高的要求, 而且需要保证容器内服务能够配合改造.
我们决定采用另一种方式, 首先通过sudo podman network create mustredirect
创建一个network. 可以看到提示CNI配置文件在这里 /etc/cni/net.d/mustredirect.conflist
配置文件如下:
1 | { |
我们需要编辑这个文件, 调整 ipMasq
为 false
, 这样能够阻止CNI生成iptables MASQUERADE规则, 从而保证我们的流量在打到网关的时候, 源IP为容器的IP而不是节点的IP, 这样可以方便我们在网关层做流量拆分.
之所以需要手动编辑是因为podman v3.4.4目前还不支持在创建的时候指定ipMasq
选项, 直接用--opt
指定会报错.
接下来创建iptables规则, 因为CNI组件默认调整的是filter和nat表, 为了保证我们的流量策略优先级更高, 我们会把如下流量策略加入到raw表:
sudo iptables -t raw -A PREROUTING -s 10.89.4.0/24 -j MARK --set-mark 0x888
然后添加ip rule规则:
sudo ip rule add fwmark 0x888 lookup 0x888
然后为table 0x888添加默认网关
sudo ip route add default via <独立网关IP> table 0x888
在网关服务器上, 先给10.89.4.0/24
的流量添加路由:
sudo ip route add 10.89.4.0/24 via <运行容器的NodeIP>
接下来添加流量策略:
sudo ip rule add 10.89.4.0./24 lookup table 0x888
为table 0x888添加默认网关, 此处假设要求流量必须从gre0
发送给上游
sudo ip route add default gre0 ens18 table 0x888
最后, 在网关层添加iptables规则, 保证上游收到的IP不再是容器的IP. 当然这里如果是和上游一起组网, 也可以考虑不添加MASQUERADE, 而是直接用OSPF协议同步路由
sudo iptables -t nat -A POSTROUTING -o gre0 -j MASQUERADE
这样, 我们就能保证来自mustredirect
网络下的容器的流量, 全部经过这个新的网关发往上游gre0
对端, 且不需要单独配置回程. 所有挂在mustredirect
网络下的容器不需要再单独设置即可满足需求. 而且这里完全不再需要再有一层类似ipip/gre/vxlan的封装.
注: 编辑CNI网络文件时请保证没有容器连接到这个网络, 即Podman不会调用CNI创建这个interface.
这个配置流程的流程受到了 K8S Cilium BGP 路由的启发.
How Container Networking Works: Practical Explanation
podman - cmd/podman/networks/create.go 可以看到目前还无法支持ipMasq
选项
内网dns服务器可以参考的一些配置
1 | # Never forward plain names (without a dot or domain part) |
Wildcard subdomains with dnsmasq
Stop DNSMasq From Forwarding Local Hostnames
Assign multiple IPs to 1 Entry in hosts file
Is there a way to use a specific DNS for a specific domain?
有个简短的视频可以参考 Configuring DNS With Dnsmasq and Ubuntu Server
需求是将服务的UDP流量从机器A切换到机器B. 路由器操作前机器A和机器B相关服务已准备就绪. 切换期间上游会一直有流量过来.
路由器设置端口转发, UDP协议, 外部端口保持不变的情况下改变内部IP, 保存后不生效, UDP包仍然会发送到原来的内网IP.
在机器A上运行tcpdump
:
1 | 06:13:05.130930 IP (tos 0x28, ttl 61, id 60828, offset 0, flags [none], proto UDP (17), length 176) |
注意此时机器A上已没有服务监听在目标端口, 已通过iptables
DROP来源包, 否则会有ICMP不可达报文
1 | 05:48:51.052956 IP (tos 0xc8, ttl 64, id 24675, offset 0, flags [none], proto ICMP (1), length 204) |
在机器B(新的目标机)运行tcpdump
接收不到包.
机器A和B本地排查无果, 登录路由器进行排查.
运行conntrack -L
:
1 | udp 17 47 src=[远端机器的IP] dst=[路由器公网侧IP] sport=51820 dport=53820 src=[机器A的IP] dst=[远端机器的IP] sport=51820 dport=51820 [ASSURED] mark=0 use=1 |
运行iptables -t nat -vnL
1 | 0 0 DNAT udp -- * * 0.0.0.0/0 0.0.0.0/0 udp dpt:53820 to:192.168.50.3:53820 |
可以看到端口转发配置是生效的, 但是因为有conntrack规则的存在所以后续来的包并没有被当成”新的链接”走iptables, 而是继续按照conntrack中的规则进行转发.
这里比较怀疑这个特定版本的conntrack可能经过魔改, 查到的标准是180秒内如果没有回包, conntrack规则就应该被移除. 但实际上在路由器上可以看到:
1 | udp 17 1 src=##.##.##.## dst=##.##.##.## sport=51820 dport=53820 src=##.##.##.## dst=##.##.##.## sport=51820 dport=51820 [ASSURED] mark=0 use=1 |
很明显, 规则定时归0时没有被删除而是重置了倒计时.
在路由器上, 使用命令删除这条规则: conntrack -D -p udp --dport 53820
删除后马上在机器B的tcpdump上就可以看到来自远端机器的UDP流量了.
portmap: delete UDP conntrack entries on teardown · Issue #123 · containernetworking/plugins
在CNI github issue里找到了一个类似的问题, 带udp端口转发的pod移除的时候需要手动调conntrack删除掉NAT规则, 否则流量将无法分配到新的pod上. 但这种场景里路由器(上层NAT设备)一般是不在控制范围内的, 可能除了在远端发起换端口之外没有任何办法了…
netfilter: Kill unreplied conntracks by ICMP errors
这里有一个patch提议说可以用ICMP错误回包来剔除掉netfilter conntrack里无效的规则, 但应该没有被merge到linux kernel里.
Linux Packet Filtering and iptables - 7.5. UDP connections
Iptables Tutorial 1.2.1 - 7.5. UDP connections
The conntrack-tools user manual
Conntrack tales - one thousand and one flows
Connection Tracking (conntrack): Design and Implementation Inside Linux Kernel
軟硬為Eason打做麥當勞新廣告歌 麦当劳无限好完整版
【抖音热歌】越南神曲See Tình 叮叮当当 中文字幕 无损音质 | See Tình (Cucak Remix DJ抖音版) - Hoàng Thùy Linh『叮叮当当 Tình tình tình tang tang tính。』【動態歌詞】♪ 抖音 waywayway 叮叮当当
Funkytown 鸡块旋转一分钟BGM
Illusionary Daytime (抖音 Tiktok Remix FKhouse 2022) || Hot Tiktok Douyin 抖音热播 坤坤摇BGM
ブルーアーカイブ Blue Archive OST 7. Unwelcome School
兔裹煎蛋捲 - 覓紅【歌詞字幕 / 完整高清音質】♫「不愁無處覓紅去 尋香自相見…」Tuguo Jiandan Juan - Seek Red 某个水浒传混剪用的BGM
Sunseting Billows 惊涛落日 昊京变身BGM
Lycoris Recoil ED - Tower of Flower Remix v2
Sad Eye, Chris Kilroy - California Crush (feat. Swedish Red Elephant)
BENEE - Supalonely ft. Gus Dapperton
【maimai】花と、雪と、ドラムンベース。/kanone feat. せんざい 据说是maimai圈的梗曲
Mike Williams X Curbi - Take Me There (Official Music Video)
Dimitri Vegas, Martin Garrix, Like Mike - Tremor (Official Music Video)
Hardwell, KAAZE & Jonathan Mendelsohn - We Are Legends (Full Video)
Darren Styles - The Dragon (Official Video) | 致 命 节 奏
Imagine Dragons - Thunder (Lyrics)
Brooks & GRX - Boomerang (Official Video)
Don’t Care - S3RL & IC3MANIA ft Kayliana
Aiobahn feat. KOTOKO - INTERNET OVERDOSE (Official Music Video) [Theme for NEEDY GIRL OVERDOSE]
Calvin Harris - Outside (Official Video) ft. Ellie Goulding
KSHMR - Wildcard (ft. Sidnie Tipton) 结尾有特殊变化的Wildcard KSHMR - The Lion Across The Field EP
「补档」理塘金曲:I Got Smoke(1376届格莱美说唱钻石单曲)1080P 新的大山
蔡健雅-紅色高跟鞋『你像窝在被子里的舒服』【動態歌詞Lyrics】 红色高跟鞋
【香蜜沉沉燼如霜】左手指月–薩頂頂《自製歌詞MV》 左手指月
Snow Halation - µ’s [FULL ENG/ROM LYRICS + COLOR CODED] | Love Live!