网络与端口

控制台「我的集群」只给 跳板机 IP。用户名、端口、内网节点、防火墙细节在机内。本节按镜像实况说明;个别代际镜像若有差异,以登录欢迎语与 ss -lntp 为准。

#默认登录

等到状态为 运行中,复制跳板机 IP,用创建时绑定的私钥:

ssh -i ~/.ssh/你的私钥 -p 22 ubuntu@<跳板机IP>

默认 Linux 用户为 ubuntu。首次连接确认主机指纹。长任务用 tmux/screen;断线不等于停费。

跳板机往往比计算节点更早能 SSH;控制台显示运行中后,若登录欢迎语仍提示 NOT READY,说明校验还没结束——见 校验,先等再投大作业。

#Slinky:22 与 2222

新一代 Slinky 镜像常见布局:

端口落到哪里适合做什么
22Slurm login Pod日常:sinfo / sbatch / srun;无 sudo;装在非 /home 的东西会随 Pod 重启丢失
2222登录节点 主机 shell管理:sudo、kubectl、加用户等
# 日常作业(login pod)
ssh -i ~/.ssh/你的私钥 ubuntu@<跳板机IP>

# 管理面(登录节点主机)
ssh -i ~/.ssh/你的私钥 -p 2222 ubuntu@<跳板机IP>

纯 Kubernetes 镜像一般只用 22 进登录节点(主机上已配好 kubectl),没有「22=login pod」这一层。

更早部署的 Slinky 集群可能是相反布局(22=主机、2222=login pod)。以欢迎语或下列探测为准:

ssh -p 22 ubuntu@<IP> 'hostname; which sbatch; sudo -n true 2>&1 | head -1'
ssh -p 2222 ubuntu@<IP> 'hostname; which kubectl; sudo -n true 2>&1 | head -1'

#从跳板机进计算节点

ssh <节点名>          # 例如 hostname-1;常支持 Tab 补全

控制台列表不展开 worker 表;节点名在跳板机上用 hostname、sinfo(Slinky)或 kubectl get nodes(K8s)查看。

#登录节点默认开放端口

公网入口默认只放行少量端口(其余入站丢弃;内网与 ICMP 通常放行):

端口用途
22 TCPSSH(Slinky 上多为 login pod)
80 TCPHTTP(证书申请 / 跳转到 443)
443 TCPHTTPS → 机内 Grafana(Nginx)
2222 TCPSlinky:登录节点管理 shell;纯 K8s 一般不用

Grafana 用法见 监控。

#按源 IP 收紧访问(可选)

登录节点上通常有一份 iptables 相关默认配置(路径形如 /etc/default/*iptables*,以机内 ls 为准)。可设置仅允许办公出口访问 SSH / Grafana。改防火墙前:

  1. 1. 保持当前 SSH 会话不要断
  2. 2. 先备份配置,并设一个短时自动回滚(例如 5 分钟后恢复旧文件并重载),再改规则
  3. 3. 用另一终端、禁用 ControlMaster 复用(如 ssh -S none)测新连接是否还能进
  4. 4. 确认没把自己锁死后,再取消回滚定时器

限制 80 可能导致证书续期失败,一般保持开放。具体变量名与服务名以机内文件注释为准。

#可选:公网直连 worker SSH

默认 worker 不从公网进。若必须从外网直连某 worker 的 sshd,可在登录节点防火墙配置里打开 worker SSH DNAT(常见:<跳板机IP>:1000N → hostname-N:22)。这会把 worker SSH 暴露到公网——务必确认 worker 只接受密钥登录。需要时再开,用完考虑关掉。

#InfiniBand 与 NCCL

计算节点经分区后的 InfiniBand 互联。ibhosts 一类发现命令可能不可用,但 MPI / NCCL 多机通信正常。

容器内使用 NCCL 时:

GPU 代际建议
H200 / B200容器环境加 NCCL_IB_PKEY=1
B300分区键在 index 0,一般不要设 NCCL_IB_PKEY(保持 NCCL 默认即可)

登录节点 /home/ubuntu/ 下常有按本集群硬件渲染好的 NCCL / MPIJob 示例 YAML,优先照抄其中的环境变量块。排障时可临时加 NCCL_DEBUG=INFO。

#相关