Linux 命令(文本处理、查找与权限)

Linux 命令行用 Shell 组织命令、文件描述符与管道来操作系统;本文聚焦 GNU/Linux 上的文本处理、查找和模式权限,命令并不都同时读取标准输入、写入标准输出。

二稿核验说明(2026-10-15):已按文末官方文档与原始材料修订概念、适用条件和示例解读。一稿声称的Debian/工具版本及输出作为来源记录保留,不等于本次Windows/Python 3.12.14执行证明;本次运行范围以随稿核验日志为准。示例产品、账号、数据与凭据均为虚构。

一句话定义

Linux 命令行用 Shell 组织命令、文件描述符与管道来操作系统;本文聚焦 GNU/Linux 上的文本处理、查找和模式权限,命令并不都同时读取标准输入、写入标准输出。

适用边界与判断方法

先确认输入格式,再选工具:示例日志以空白分隔且字段不含空格,才适合 awk 按列取值。JSON 日志、带引号的 CSV 或含换行的字段应交给相应解析器。uniq 只合并相邻行;find -print0 与 xargs -0 解决文件名分隔问题,不能代替执行参数与目标目录审核。排序还受 locale 影响,需复现字节序时显式使用 LC_ALL=C。 对应依据:GNU Coreutils 手册;Bash set 内建命令。

为什么重要

  • 服务器、GPU 机器、容器几乎都跑 Linux;排查线上问题时,往往只有一个终端可用。
  • 日志分析、批量处理文件、检查磁盘与权限,用命令行比写程序快得多。
  • 审核 AI 助手生成的命令(尤其是 rm、chmod -R、find -delete)需要读得懂它们(安全组织命令见 k6.ops.shell-script)。

原理 / 图解

GNU Coreutils 手册:https://www.gnu.org/software/coreutils/manual/;GNU Awk 手册:https://www.gnu.org/software/gawk/manual/;POSIX 工具规范:https://pubs.opengroup.org/onlinepubs/9799919799/idx/utilities.html

图 1
任务 命令
看文件 head、tail、less、wc -l
过滤 grep 'pattern'、grep -v(反选)、grep -c(计数)
取列/计算 awk '{print $2}'、cut -d' ' -f1
排序计数 sort、sort -n(按数值)、uniq -c(只合并相邻行,所以先 sort)
替换 sed 's/旧/新/g'、tr
找文件 find . -name '*.log' -size +10k -mtime +7
批量执行 xargs(配合 find -print0 / xargs -0 处理带空格的文件名)
磁盘 df -h、du -sh *
权限 ls -l、chmod、chown

可运行示例

示例版本与验证口径

以下代码与输出保留一稿的教学设计。涉及Linux、工具链、容器、集群或模型的分支须在满足前提的环境单独运行;不将静态核验写作运行成功。 修订脚本见examples/22_linux_commands.sh。

用 Python 生成 2000 行虚构的 LLM 网关日志(固定随机种子),然后只用命令行回答问题(Debian 13,GNU coreutils / gawk):

#!/usr/bin/env bash
# Linux 常用命令实战:用一份(虚构的)LLM 网关访问日志,回答几个运维问题。
set -euo pipefail
W=$(mktemp -d); cd "$W"
"${PY:-python3}" - <<'P'
import random; random.seed(6)
paths = ["/v1/chat"] * 7 + ["/v1/embed"] * 2 + ["/health"]
with open("gateway.log", "w") as f:
    for i in range(2000):
        p = random.choice(paths); code = random.choices([200, 429, 500, 401], [90, 6, 2, 2])[0]
        ms = int(random.lognormvariate(5.5 if p == "/v1/chat" else 3.5, 0.6)); user = f"u{random.randint(1, 40):02d}"
        f.write(f"2026-10-14T{8 + i * 12 // 2000:02d}:{(i * 7) % 60:02d}:00+08:00 {user} POST {p} {code} {ms}ms\n")
P
echo "== 先看一眼:head / wc"
head -3 gateway.log; wc -l gateway.log; ls -lh gateway.log | awk '{print "大小:", $5}'
echo "== ① 状态码分布:awk 取第 5 列 → sort → uniq -c → 按次数倒序"
awk '{print $5}' gateway.log | sort | uniq -c | sort -rn
echo "== ② 被限流(429)最多的 3 个用户"
grep ' 429 ' gateway.log | awk '{print $2}' | sort | uniq -c | sort -rn | head -3
echo "== ③ /v1/chat 的延迟 P50 / P95 / 最大值(ms)"
grep ' /v1/chat ' gateway.log | awk '{gsub("ms","",$6); print $6}' | sort -n > lat.txt
n=$(wc -l < lat.txt); echo "样本数 $n  P50=$(sed -n "$(((n*50+99)/100))p" lat.txt)  P95=$(sed -n "$(((n*95+99)/100))p" lat.txt)  max=$(tail -1 lat.txt)"
echo "== ④ 按小时统计 5xx 错误数"
awk '$5 ~ /^5/ {print substr($1, 12, 2) "时"}' gateway.log | sort | uniq -c | tr '\n' ' '; echo
echo "== ⑤ 实时追踪:tail -f + grep --line-buffered(这里用 timeout 让它 1 秒后结束)"
( sleep 0.3; echo "2026-10-14T21:00:00+08:00 u99 POST /v1/chat 500 9999ms" >> gateway.log ) &
timeout 1 tail -n 0 -f gateway.log | grep --line-buffered ' 500 ' || true
echo "== ⑥ find + xargs:找出大于 10KB 的日志并压缩"
for i in 1 2 3; do head -c $((i * 5000)) /dev/urandom | base64 > "old-$i.log"; done
find . -name 'old-*.log' -size +10k -print0 | sort -z | xargs -0 -n1 gzip -v 2>&1 | sed 's/^/   /'
ls old-* | tr '\n' ' '; echo
echo "== ⑦ 权限:脚本没有执行权限时"
printf '#!/bin/sh\necho 运行成功\n' > run.sh; ls -l run.sh | cut -d' ' -f1
./run.sh 2>&1 || true; chmod u+x run.sh; ls -l run.sh | cut -d' ' -f1; ./run.sh
rm -rf "$W"

一稿留存输出(原环境记录,非本次复跑结果):

== 先看一眼:head / wc
2026-10-14T08:00:00+08:00 u01 POST /health 200 32ms
2026-10-14T08:07:00+08:00 u24 POST /v1/chat 200 215ms
2026-10-14T08:14:00+08:00 u27 POST /v1/chat 200 75ms
2000 gateway.log
大小: 106K
== ① 状态码分布:awk 取第 5 列 → sort → uniq -c → 按次数倒序
   1777 200
    128 429
     51 401
     44 500
== ② 被限流(429)最多的 3 个用户
      8 u13
      7 u17
      6 u30
== ③ /v1/chat 的延迟 P50 / P95 / 最大值(ms)
样本数 1405  P50=247  P95=617  max=2144
== ④ 按小时统计 5xx 错误数
      5 08时       2 09时       4 10时       4 11时       5 12时       3 13时       3 14时       5 15时       4 16时       1 17时       3 18时       5 19时 
== ⑤ 实时追踪:tail -f + grep --line-buffered(这里用 timeout 让它 1 秒后结束)
2026-10-14T21:00:00+08:00 u99 POST /v1/chat 500 9999ms
== ⑥ find + xargs:找出大于 10KB 的日志并压缩
   ./old-2.log:	 23.9% -- replaced with ./old-2.log.gz
   ./old-3.log:	 24.0% -- replaced with ./old-3.log.gz
old-1.log old-2.log.gz old-3.log.gz 
== ⑦ 权限:脚本没有执行权限时
-rw-r--r--
22_linux_commands.sh: line 34: ./run.sh: Permission denied
-rwxr--r--
运行成功
  • ① 一行管道得到状态码分布:200 有 1777 次,429(限流)128 次,401 有 51 次,500 有 44 次。
  • ② 被限流最多的是 u13(8 次)。
  • ③ /v1/chat 共 1405 个样本,P50=247ms、P95=617ms、最大 2144ms——平均值会掩盖长尾,看延迟要看分位数。这里用 sort -n + sed -n 'Np' 取第 N 行,是旧稿的行号近似,原脚本对很小样本可能得到0行号;二稿改最近秩 ceil(p*n) 并至少取第1行。分位数须明确采用哪一定义。
  • ④ awk '$5 ~ /^5/' 按条件筛选 5xx,再用 substr 截取小时,得到每小时错误数。
  • ⑤ tail -f 实时跟踪新写入的行;grep --line-buffered 让 grep 每行立即输出,否则在管道中会攒满缓冲区才输出,看起来像“没反应”。
  • ⑥ find -size +10k 只选中了 old-2、old-3(old-1 约 6.7KB 未达标)并用 gzip 压缩;随机数据的 base64 只能压缩约 24%,真实日志通常能压缩得多。
  • ⑦ 新建的脚本权限是 -rw-r--r--,直接运行报 Permission denied;chmod u+x 后变成 -rwxr--r--,可以运行。

常见误区

  • “uniq 能去掉所有重复行”:它只合并相邻的重复行,必须先 sort。
  • “sort 默认按数字排”:默认按字符串,10 会排在 9 前;数值要 sort -n。
  • “chmod 777 能解决权限问题”:它让所有用户可读写执行,是安全隐患;应只授予需要的权限(k6.sec.access-control)。
  • “变量未核对也能递归删除”:变量未定义或为空时可能指向错误位置;set -u 只处理未定义,双引号只处理拆词与通配。应要求非空并核对解析后的绝对路径,GNU rm 默认保护根目录也不能保护所有错误目标(见 k6.ops.shell-script)。

与 AI 开发的关系

  • GPU 机器上的常用命令:nvidia-smi(显存与利用率,一稿记录环境无 GPU,未实跑)、df -h(模型缓存常把磁盘写满)、du -sh ~/.cache/huggingface、free -h。
  • 评测日志、调用日志的快速分析:grep + awk 足够应付大部分临时问题,复杂分析再导入 SQL 或 pandas(k6.lang.sql)。
  • 让 Agent 执行命令时,优先给只读命令(ls、cat、grep)白名单,写操作需确认(k6.sec.sandbox)。

自测与答案

题目: 给 "$DIR/" 加引号,是否已能安全地递归删除?

答案: 不能。引号避免拆词与通配展开,却不会拒绝空值、根目录或越出工作区的路径;须要求变量非空,解析并核对绝对目标,再对允许目录操作。GNU rm 默认保护根目录,也不能据此认为其他错误目标会被保护。

核验来源与对应结论

未验证与后续检查

  • GNU/Linux脚本未在本次Windows环境执行;BSD/macOS参数兼容需另验。
  • 文中一稿具体版本、耗时、IP、PID与生成文本均非普遍保证;需要复现时同时记录平台、依赖、输入和本次日志。

本次示例运行范围

2026-10-15:未复跑。按所列资料及代码审阅修订;未执行完整示例。GNU/Linux脚本未在本次Windows环境执行;BSD/macOS参数兼容需另验。

“一稿留存输出”保留原字,不是二稿代码新生成的结果;其原结论须结合二稿修订与边界阅读。

配套代码与核验资料

继续浏览基础 返回知识 →返回顶部 ↑
本篇目录
教程图解100%
教程图解