积少成多, 聚沙成塔

Kiritow's Homepage

Posted on Disqus:

局域网内Linux机器间如何快速传文件? ssh过于繁琐, 转而采用 nc(netcat)

TL;DR:

先在接收端监听端口: nc -l 12345 > filename

在发送端写入文件: nc -w 3 <ip> 12345 < sourcefile

其中-w 3的含义是输入数据到达末尾三秒后, 关闭socket. 针对openbsd.nc实现也可以改用 nc -N <ip> 12345 < sourcefile. 不加这个参数会导致接收端一直等待数据而无法退出.

注意 nc 是 netcat. Ubuntu上预装的是openbsd实现. 和nmap套件中的 ncat 要区分开.

传输完成后可通过hash校验判断文件是否完整传输:

sha256sum filname

sha256sum sourcefile

需要注意的是, nc是基于明文传输的, 因此只适用于受信任的局域网环境. 公网环境下还是老实用ssh/scp/sftp吧.

参考

Using Netcat for File Transfers

nc(1) - OpenBSD manual pages

ncat(1) - Linux manual page

Posted on Edited on Disqus:

tcpdump -nnvvXSs 1514 -i <device> <filters>

举例: sudo tcpdump -nnvvXSs 1514 -i eth0 src host 1.2.3.4

-nn 不解析协议和端口号.

-vv 输出更多详细信息.

-X 除了输出包头部信息外, 还以十六进制和ASCII码的格式输出payload

-S 输出绝对TCP报文序号. (默认是相对的)

-s <size> 设置抓取包长度为size, 默认为65535字节. 当包长度超过此设置时将出现截断. 若出现截断则输出中会出现[|tcp](以tcp协议举例). 处理时间随长度增加而增加.

参考

See entire packet payload using tcpdump.

tcpdump(8) - Linux man page

tcpdump详细教程

A tcpdump Tutorial with Examples — 50 Ways to Isolate Traffic

Posted on Edited on Disqus:

Linux bash下未配置git ssh, 使用http clone时反复弹出用户名密码输入框

使用内存缓存(cache), 默认超时时间是15分钟.

git config --global credential.helper cache

可配置超时时间为1小时, 单位是秒

git config --global credential.helper 'cache --timeout=3600'

配置了git ssh, 但远程地址是http协议

配置git使用ssh来替代http

git config --global --add url."git@github:".insteadOf https://github.com/

修改了 .gitmodules 但是没有生效

需要先同步submodule变更到git, 再执行其他命令

git submodule sync

参考

Git Tools - Credential Storage

Git - git-submodule Documentation

Posted on Edited on Disqus:

SSH使用HTTP代理

一句话命令行形式:

ssh -o "ProxyCommand=nc -X connect -x 代理主机:代理端口 %h %p" 目标主机 -p 目标SSH端口

配置文件形式 ~/.ssh/config

1
2
3
4
5
Host 目标机名称
    HostName 目标机IP
    Port 22
    User 登录用户名
    ProxyCommand nc -X connect -x 代理主机:代理端口 %h %p

通过跳板机登录SSH (多跳登录)

一句话命令行形式

ssh -J user@<JumpHost:JumpPort> user@<TargetHost:TargetPort>

配置文件形式

1
2
3
4
5
6
7
8
9
10
Host 跳板机
    HostName 跳板机IP
    Port 22
    User 跳板机登录用户名

Host 目标机名称
    HostName 目标机IP, 如果登录跳板机后目标机在内网则写内网IP.
    Port 22
    User 登录用户名
    ProxyJump 跳板机

端口转发 (SSH隧道)

端口转发会引起安全问题, 企业IT部门可能会禁止使用.

正向端口转发: listen在本地, 请求本地相当于请求远程接口

ssh -fNL 本地端口:转发目标IP:转发目标端口 user@<host:port>

注意, 转发目标IP是相对远程主机而言的. 如果想请求远程主机本身, 使用127.0.0.1

反向端口转发: listen在远端, 请求远端相当于请求本地接口. 服务器的sshd配置(/etc/ssh/sshd_config)需包含GatewayPorts yes或GatewayPorts clientspecified才能监听在0.0.0.0上, 否则只能监听在127.0.0.1上.

ssh -fNR [允许的远端来源IP:]远端监听端口:转发目标IP:转发目标端口 user@<host:port>

注意, 此处转发目标IP是相对本地主机而言的. 如果想请求本地主机, 使用127.0.0.1

-f 运行在后台

-N 不执行任何命令, 仅用于转发数据.

利用SSH搭建Socks5代理

ssh -D 本地代理监听端口 -fCN user@<host:port>

-C 进行数据压缩

SSH Agent

ForwardAgent生效时, 本机的root用户和目标机上的root用户均有权限使用此agent, 因此确保仅在可信的目标主机上启用此功能.

启动ssh-agent: eval `ssh-agent`

停止ssh-agent: eval `ssh-agent -k` , 直接kill掉对应的进程也可以. 注意清除环境变量中的SSH_AUTH_SOCK 和 SSH_AGENT_PID.

添加私钥到agent: ssh-add 不带参数则添加默认的私钥到agent. 若要添加其他私钥, 则直接将文件名作为参数即可.

查看agent中包含的key公钥: ssh-add -L

查看agent中包含的key私钥: ssh-add -l

锁定agent: ssh-add -x

解锁agent: ssh-add -X

登录到其他主机, 并允许在对应主机上使用本机的agent:

一句话: ssh -A user@<host:port>

配置文件:

1
2
3
4
5
Host 目标机名称
    HostName 目标机IP
    Port 22
    User 登录用户名
    ForwardAgent yes

查看本机的SSH Host Key

1
sudo ssh-keygen -l -f /etc/ssh/ssh_host_rsa_key

参考

SSH port forwarding - Example, command, server config

ssh(1) - Linux man page

ssh-add(1) - Linux man page

ssh-agent(1) - Linux man page

Using SSH agent forwarding

About the SSH host key fingerprint

Posted on Disqus:

无法为Docker添加SWAP使用限制? 报错 WARNING: No swap limit support

TL;DR: vim /etc/default/grub

添加这一行 GRUB_CMDLINE_LINUX_DEFAULT="cgroup_enable=memory swapaccount=1" (如果已经有了就追加在后面)

sudo update-grub && sudo reboot 必须重启才能生效.

参考

Runtime options with Memory, CPUs, and GPUs

moby/moby #4250: “WARNING: No {swap,memory} limit support” Ubuntu LTS (Precise)

How does kernel support swap limit?

Posted on Edited on Disqus:

搜了一下，如果是传统的那种基于线程+阻塞IO的方式，有配置参数可以控制最大线程并发数量，另外还有线程池的做法. 参见: Spring @Async limit number of threads

如果是非阻塞IO的做法，需要使用 Spring 5. 一种是 Spring MVC (Servlet)模式, 另一种是 Spring WebFlux模式.

参见 Understanding Spring Reactive: Servlet 3.1/Spring MVC Non-Blocking IO

Understanding Spring Reactive: Introducing Spring WebFlux

一文带你了解Spring 5.0 WebFlux应用场景

Java Mono, Flux相关知识: Java反应式框架Reactor中的Mono和Flux

Webflux中可以用WebClient异步发起对其他服务的请求: Spring5 Webflux之Webclient使用

Java里的Promise: CompletableFuture. 参见Promise

Promise回调的写法和Mono很像, 但是Java Promise是可以有Async/Await的. 例如: Async Await in Java. 可以尝试 electronicarts/ea-async

那Mono是否也可以有async/await呢?

看这种链式调用, 脑壳痛: How do I wait for a List to get resolved?

也许…换门语言, 比如Kotlin里的Corotine就很棒!

Kotlin的异步编程（基于协程）: Asynchronous programming techniques

但很可惜，Java编译器不支持这种操作，所以在不动bytecode/编译链的情况下，基本上没可能在Java里实现协程了。Can I take advantage of Kotlin’s Coroutines by using them in Java code?

Posted on Edited on Disqus:

老三样

HMCL 启动器

BlessingSkinServer, 推荐使用 LiteServer Project皮肤站

authlib-injector 登录验证

服务端

Arclight

支持MC 1.16.5和高版本Forge (36.2.0+). 目前看和一些mod之间有冲突. 但仍属于比较好的选择.

Mohist

支持MC 1.16.5, 但历史上曾有过再发布和未经告知即删除mod的举动, 有较大安全隐患.

LoliServer

支持MC 1.16.5. 但没能成功安装, 排查是从loliserver指定的服务器下载资源文件失败.

运行时

AdoptOpenJDK 11 LTS / 16

NodeJS 14 LTS / 16

或者使用面板 (镜像中已包含推荐的环境):

LiteServerProject/MCSManager

Podman

服务端插件

EssentialsX 常用命令 (tpa, home, back等)

LuckPerms 权限管理

Vault 经济前置插件

BanItem 禁用物品

ServerRestorer 服务器自动备份

Tips

禁用Mod版本检查缩短启动时间

修改 .minecraft/config/fml.toml 文件, 将 versionCheck 设为 false.

注: 某些mod可能内置了版本更新检测/赞助者列表拉取逻辑, 这些是不能通过此项设置关闭的.

1
2
3
4
5
6
7
# Enable forge global version checking
versionCheck = false
# does the splashscreen run
splashscreen = true
defaultConfigPath = "defaultconfigs"
# max threads for parallel loading : -1 uses Runtime#availableProcessors
maxThreads = -1

祖传启动参数

参考 JVM Tuning: Optimized G1GC for Minecraft - Aikar’s Thoughts

1
2
3
#!/bin/bash
java -Xms8G -Xmx8G -XX:+UseG1GC -XX:+ParallelRefProcEnabled -XX:MaxGCPauseMillis=200 -XX:+UnlockExperimentalVMOptions -XX:+DisableExplicitGC -XX:+AlwaysPreTouch -XX:G1NewSizePercent=30 -XX:G1MaxNewSizePercent=40 -XX:G1HeapRegionSize=8M -XX:G1ReservePercent=20 -XX:G1HeapWastePercent=5 -XX:G1MixedGCCountTarget=4 -XX:InitiatingHeapOccupancyPercent=15 -XX:G1MixedGCLiveThresholdPercent=90 -XX:G1RSetUpdatingPauseTimePercent=5 -XX:SurvivorRatio=32 -XX:+PerfDisableSharedMem -XX:MaxTenuringThreshold=1 -javaagent:authlib-injector-1.1.38.jar=https://mc.kiritow.com/api/yggdrasil -jar arclight-forge-1.16.5-1.0.20.jar nogui

Posted on Edited on Disqus:

参考 https://git-scm.com/docs/partial-clone

与git clone --depth 1这样的浅拷贝方案不同, partial clone可以做到获取某次提交中只与某个文件子树相关的提交内容. 大部分场景下应该都用不到这种功能, 一般都是那种Monorepo(Monolithic repository)因为把所有项目都放到同一个仓库的不同文件夹下才有的特殊需求.