二稿核验说明(2026-10-15):已按文末官方文档与原始材料修订概念、适用条件和示例解读。一稿声称的Debian/工具版本及输出作为来源记录保留,不等于本次Windows/Python 3.12.14执行证明;本次运行范围以随稿核验日志为准。示例产品、账号、数据与凭据均为虚构。
一句话定义
Linux 命令行用 Shell 组织命令、文件描述符与管道来操作系统;本文聚焦 GNU/Linux 上的文本处理、查找和模式权限,命令并不都同时读取标准输入、写入标准输出。
适用边界与判断方法
先确认输入格式,再选工具:示例日志以空白分隔且字段不含空格,才适合 awk 按列取值。JSON 日志、带引号的 CSV 或含换行的字段应交给相应解析器。uniq 只合并相邻行;find -print0 与 xargs -0 解决文件名分隔问题,不能代替执行参数与目标目录审核。排序还受 locale 影响,需复现字节序时显式使用 LC_ALL=C。 对应依据:GNU Coreutils 手册;Bash set 内建命令。
为什么重要
- 服务器、GPU 机器、容器几乎都跑 Linux;排查线上问题时,往往只有一个终端可用。
- 日志分析、批量处理文件、检查磁盘与权限,用命令行比写程序快得多。
- 审核 AI 助手生成的命令(尤其是
rm、chmod -R、find -delete)需要读得懂它们(安全组织命令见 k6.ops.shell-script)。
原理 / 图解
GNU Coreutils 手册:https://www.gnu.org/software/coreutils/manual/;GNU Awk 手册:https://www.gnu.org/software/gawk/manual/;POSIX 工具规范:https://pubs.opengroup.org/onlinepubs/9799919799/idx/utilities.html
| 任务 | 命令 |
|---|---|
| 看文件 | head、tail、less、wc -l |
| 过滤 | grep 'pattern'、grep -v(反选)、grep -c(计数) |
| 取列/计算 | awk '{print $2}'、cut -d' ' -f1 |
| 排序计数 | sort、sort -n(按数值)、uniq -c(只合并相邻行,所以先 sort) |
| 替换 | sed 's/旧/新/g'、tr |
| 找文件 | find . -name '*.log' -size +10k -mtime +7 |
| 批量执行 | xargs(配合 find -print0 / xargs -0 处理带空格的文件名) |
| 磁盘 | df -h、du -sh * |
| 权限 | ls -l、chmod、chown |
可运行示例
示例版本与验证口径
以下代码与输出保留一稿的教学设计。涉及Linux、工具链、容器、集群或模型的分支须在满足前提的环境单独运行;不将静态核验写作运行成功。 修订脚本见examples/22_linux_commands.sh。
用 Python 生成 2000 行虚构的 LLM 网关日志(固定随机种子),然后只用命令行回答问题(Debian 13,GNU coreutils / gawk):
#!/usr/bin/env bash
# Linux 常用命令实战:用一份(虚构的)LLM 网关访问日志,回答几个运维问题。
set -euo pipefail
W=$(mktemp -d); cd "$W"
"${PY:-python3}" - <<'P'
import random; random.seed(6)
paths = ["/v1/chat"] * 7 + ["/v1/embed"] * 2 + ["/health"]
with open("gateway.log", "w") as f:
for i in range(2000):
p = random.choice(paths); code = random.choices([200, 429, 500, 401], [90, 6, 2, 2])[0]
ms = int(random.lognormvariate(5.5 if p == "/v1/chat" else 3.5, 0.6)); user = f"u{random.randint(1, 40):02d}"
f.write(f"2026-10-14T{8 + i * 12 // 2000:02d}:{(i * 7) % 60:02d}:00+08:00 {user} POST {p} {code} {ms}ms\n")
P
echo "== 先看一眼:head / wc"
head -3 gateway.log; wc -l gateway.log; ls -lh gateway.log | awk '{print "大小:", $5}'
echo "== ① 状态码分布:awk 取第 5 列 → sort → uniq -c → 按次数倒序"
awk '{print $5}' gateway.log | sort | uniq -c | sort -rn
echo "== ② 被限流(429)最多的 3 个用户"
grep ' 429 ' gateway.log | awk '{print $2}' | sort | uniq -c | sort -rn | head -3
echo "== ③ /v1/chat 的延迟 P50 / P95 / 最大值(ms)"
grep ' /v1/chat ' gateway.log | awk '{gsub("ms","",$6); print $6}' | sort -n > lat.txt
n=$(wc -l < lat.txt); echo "样本数 $n P50=$(sed -n "$(((n*50+99)/100))p" lat.txt) P95=$(sed -n "$(((n*95+99)/100))p" lat.txt) max=$(tail -1 lat.txt)"
echo "== ④ 按小时统计 5xx 错误数"
awk '$5 ~ /^5/ {print substr($1, 12, 2) "时"}' gateway.log | sort | uniq -c | tr '\n' ' '; echo
echo "== ⑤ 实时追踪:tail -f + grep --line-buffered(这里用 timeout 让它 1 秒后结束)"
( sleep 0.3; echo "2026-10-14T21:00:00+08:00 u99 POST /v1/chat 500 9999ms" >> gateway.log ) &
timeout 1 tail -n 0 -f gateway.log | grep --line-buffered ' 500 ' || true
echo "== ⑥ find + xargs:找出大于 10KB 的日志并压缩"
for i in 1 2 3; do head -c $((i * 5000)) /dev/urandom | base64 > "old-$i.log"; done
find . -name 'old-*.log' -size +10k -print0 | sort -z | xargs -0 -n1 gzip -v 2>&1 | sed 's/^/ /'
ls old-* | tr '\n' ' '; echo
echo "== ⑦ 权限:脚本没有执行权限时"
printf '#!/bin/sh\necho 运行成功\n' > run.sh; ls -l run.sh | cut -d' ' -f1
./run.sh 2>&1 || true; chmod u+x run.sh; ls -l run.sh | cut -d' ' -f1; ./run.sh
rm -rf "$W"
一稿留存输出(原环境记录,非本次复跑结果):
== 先看一眼:head / wc
2026-10-14T08:00:00+08:00 u01 POST /health 200 32ms
2026-10-14T08:07:00+08:00 u24 POST /v1/chat 200 215ms
2026-10-14T08:14:00+08:00 u27 POST /v1/chat 200 75ms
2000 gateway.log
大小: 106K
== ① 状态码分布:awk 取第 5 列 → sort → uniq -c → 按次数倒序
1777 200
128 429
51 401
44 500
== ② 被限流(429)最多的 3 个用户
8 u13
7 u17
6 u30
== ③ /v1/chat 的延迟 P50 / P95 / 最大值(ms)
样本数 1405 P50=247 P95=617 max=2144
== ④ 按小时统计 5xx 错误数
5 08时 2 09时 4 10时 4 11时 5 12时 3 13时 3 14时 5 15时 4 16时 1 17时 3 18时 5 19时
== ⑤ 实时追踪:tail -f + grep --line-buffered(这里用 timeout 让它 1 秒后结束)
2026-10-14T21:00:00+08:00 u99 POST /v1/chat 500 9999ms
== ⑥ find + xargs:找出大于 10KB 的日志并压缩
./old-2.log: 23.9% -- replaced with ./old-2.log.gz
./old-3.log: 24.0% -- replaced with ./old-3.log.gz
old-1.log old-2.log.gz old-3.log.gz
== ⑦ 权限:脚本没有执行权限时
-rw-r--r--
22_linux_commands.sh: line 34: ./run.sh: Permission denied
-rwxr--r--
运行成功
- ① 一行管道得到状态码分布:200 有 1777 次,429(限流)128 次,401 有 51 次,500 有 44 次。
- ② 被限流最多的是
u13(8 次)。 - ③
/v1/chat共 1405 个样本,P50=247ms、P95=617ms、最大 2144ms——平均值会掩盖长尾,看延迟要看分位数。这里用sort -n+sed -n 'Np'取第 N 行,是旧稿的行号近似,原脚本对很小样本可能得到0行号;二稿改最近秩ceil(p*n)并至少取第1行。分位数须明确采用哪一定义。 - ④
awk '$5 ~ /^5/'按条件筛选 5xx,再用substr截取小时,得到每小时错误数。 - ⑤
tail -f实时跟踪新写入的行;grep --line-buffered让 grep 每行立即输出,否则在管道中会攒满缓冲区才输出,看起来像“没反应”。 - ⑥
find -size +10k只选中了 old-2、old-3(old-1 约 6.7KB 未达标)并用 gzip 压缩;随机数据的 base64 只能压缩约 24%,真实日志通常能压缩得多。 - ⑦ 新建的脚本权限是
-rw-r--r--,直接运行报Permission denied;chmod u+x后变成-rwxr--r--,可以运行。
常见误区
- “
uniq能去掉所有重复行”:它只合并相邻的重复行,必须先sort。 - “
sort默认按数字排”:默认按字符串,10会排在9前;数值要sort -n。 - “
chmod 777能解决权限问题”:它让所有用户可读写执行,是安全隐患;应只授予需要的权限(k6.sec.access-control)。 - “变量未核对也能递归删除”:变量未定义或为空时可能指向错误位置;
set -u只处理未定义,双引号只处理拆词与通配。应要求非空并核对解析后的绝对路径,GNU rm 默认保护根目录也不能保护所有错误目标(见 k6.ops.shell-script)。
与 AI 开发的关系
- GPU 机器上的常用命令:
nvidia-smi(显存与利用率,一稿记录环境无 GPU,未实跑)、df -h(模型缓存常把磁盘写满)、du -sh ~/.cache/huggingface、free -h。 - 评测日志、调用日志的快速分析:
grep+awk足够应付大部分临时问题,复杂分析再导入 SQL 或 pandas(k6.lang.sql)。 - 让 Agent 执行命令时,优先给只读命令(
ls、cat、grep)白名单,写操作需确认(k6.sec.sandbox)。
自测与答案
题目: 给 "$DIR/" 加引号,是否已能安全地递归删除?
答案: 不能。引号避免拆词与通配展开,却不会拒绝空值、根目录或越出工作区的路径;须要求变量非空,解析并核对绝对目标,再对允许目录操作。GNU rm 默认保护根目录,也不能据此认为其他错误目标会被保护。
核验来源与对应结论
- GNU Coreutils 手册:uniq 相邻去重、数值排序、rm 的根目录保护。
- Bash set 内建命令:nounset 处理未定义变量而不处理已定义空字符串。
未验证与后续检查
- GNU/Linux脚本未在本次Windows环境执行;BSD/macOS参数兼容需另验。
- 文中一稿具体版本、耗时、IP、PID与生成文本均非普遍保证;需要复现时同时记录平台、依赖、输入和本次日志。
本次示例运行范围
2026-10-15:未复跑。按所列资料及代码审阅修订;未执行完整示例。GNU/Linux脚本未在本次Windows环境执行;BSD/macOS参数兼容需另验。
“一稿留存输出”保留原字,不是二稿代码新生成的结果;其原结论须结合二稿修订与边界阅读。
配套代码与核验资料