网络与端口
控制台「我的集群」只给 跳板机 IP。用户名、端口、内网节点、防火墙细节在机内。本节按镜像实况说明;个别代际镜像若有差异,以登录欢迎语与 ss -lntp 为准。
#默认登录
等到状态为 运行中,复制跳板机 IP,用创建时绑定的私钥:
ssh -i ~/.ssh/你的私钥 -p 22 ubuntu@<跳板机IP>
默认 Linux 用户为 ubuntu。首次连接确认主机指纹。长任务用 tmux/screen;断线不等于停费。
跳板机往往比计算节点更早能 SSH;控制台显示运行中后,若登录欢迎语仍提示 NOT READY,说明校验还没结束——见 校验,先等再投大作业。
#Slinky:22 与 2222
新一代 Slinky 镜像常见布局:
| 端口 | 落到哪里 | 适合做什么 |
|---|---|---|
| 22 | Slurm login Pod | 日常:sinfo / sbatch / srun;无 sudo;装在非 /home 的东西会随 Pod 重启丢失 |
| 2222 | 登录节点 主机 shell | 管理:sudo、kubectl、加用户等 |
# 日常作业(login pod)
ssh -i ~/.ssh/你的私钥 ubuntu@<跳板机IP>
# 管理面(登录节点主机)
ssh -i ~/.ssh/你的私钥 -p 2222 ubuntu@<跳板机IP>
纯 Kubernetes 镜像一般只用 22 进登录节点(主机上已配好 kubectl),没有「22=login pod」这一层。
更早部署的 Slinky 集群可能是相反布局(22=主机、2222=login pod)。以欢迎语或下列探测为准:
ssh -p 22 ubuntu@<IP> 'hostname; which sbatch; sudo -n true 2>&1 | head -1'
ssh -p 2222 ubuntu@<IP> 'hostname; which kubectl; sudo -n true 2>&1 | head -1'
#从跳板机进计算节点
ssh <节点名> # 例如 hostname-1;常支持 Tab 补全
控制台列表不展开 worker 表;节点名在跳板机上用 hostname、sinfo(Slinky)或 kubectl get nodes(K8s)查看。
#登录节点默认开放端口
公网入口默认只放行少量端口(其余入站丢弃;内网与 ICMP 通常放行):
| 端口 | 用途 |
|---|---|
22 TCP | SSH(Slinky 上多为 login pod) |
80 TCP | HTTP(证书申请 / 跳转到 443) |
443 TCP | HTTPS → 机内 Grafana(Nginx) |
2222 TCP | Slinky:登录节点管理 shell;纯 K8s 一般不用 |
Grafana 用法见 监控。
#按源 IP 收紧访问(可选)
登录节点上通常有一份 iptables 相关默认配置(路径形如 /etc/default/*iptables*,以机内 ls 为准)。可设置仅允许办公出口访问 SSH / Grafana。改防火墙前:
- 1. 保持当前 SSH 会话不要断
- 2. 先备份配置,并设一个短时自动回滚(例如 5 分钟后恢复旧文件并重载),再改规则
- 3. 用另一终端、禁用 ControlMaster 复用(如
ssh -S none)测新连接是否还能进 - 4. 确认没把自己锁死后,再取消回滚定时器
限制 80 可能导致证书续期失败,一般保持开放。具体变量名与服务名以机内文件注释为准。
#可选:公网直连 worker SSH
默认 worker 不从公网进。若必须从外网直连某 worker 的 sshd,可在登录节点防火墙配置里打开 worker SSH DNAT(常见:<跳板机IP>:1000N → hostname-N:22)。这会把 worker SSH 暴露到公网——务必确认 worker 只接受密钥登录。需要时再开,用完考虑关掉。
#InfiniBand 与 NCCL
计算节点经分区后的 InfiniBand 互联。ibhosts 一类发现命令可能不可用,但 MPI / NCCL 多机通信正常。
容器内使用 NCCL 时:
| GPU 代际 | 建议 |
|---|---|
| H200 / B200 | 容器环境加 NCCL_IB_PKEY=1 |
| B300 | 分区键在 index 0,一般不要设 NCCL_IB_PKEY(保持 NCCL 默认即可) |
登录节点 /home/ubuntu/ 下常有按本集群硬件渲染好的 NCCL / MPIJob 示例 YAML,优先照抄其中的环境变量块。排障时可临时加 NCCL_DEBUG=INFO。
#相关
- - 架构(路径与角色)
- - Slinky / Kubernetes
- - SSH 连接(账号公钥管理;集群勿与单机实例混用)