组合使用 grep、sed 与 awk

Begindev 编辑部 March 30, 2026

将 grep、sed 和 awk 结合起来使用，才能真正展现 Bash 文本处理的威力。虽然这些工具在各自特定的任务上都极其强大——grep 用于模式匹配，sed 用于流编辑，awk 用于数据提取和转换——但当它们被串联在一起时，其真正的力量才得以显现。

通过利用组合小型专用工具的 Unix 哲学，你可以构建复杂的流水线来执行多阶段的文本操作。这允许你进行高度精确的过滤、错综复杂的数据重新格式化，以及那些使用单一命令很难甚至不可能完成的高级分析任务。本章将深入探讨整合这三个不可或缺的工具的实际应用和方法论，以高效地解决复杂的文本处理挑战。

1. 管道符 (`|`) 的威力

组合 grep、sed 和 awk（实际上也包括大多数 Unix 命令行工具）的基础机制是管道运算符 (|)。管道获取一个命令的标准输出 (stdout)，并将其直接作为下一个命令的标准输入 (stdin) 馈送进去。这创造了一个顺序的工作流，数据被一步步处理，每个命令对其接收到的数据执行专门的操作。

核心概念： 当你使用管道时，Bash 会在内存中创建一个临时缓冲区。第一个命令将其输出写入此缓冲区，而第二个命令从同一个缓冲区读取其输入。这消除了对中间文件的需求，使得处理大型数据集的过程极为高效。

语法：

命令1 | 命令2 | 命令3

示例： 假设你有一个文件列表，并想找到今天修改过的所有 .txt 文件。虽然没有使用 grep、sed 或 awk，但这个常见的例子清晰地说明了管道的概念。

# 列出当前目录中的所有文件及其详细信息
# 然后将输出通过管道传递给 'grep'
ls -l | grep "txt"

在这个简单的例子中，ls -l 生成了文件的长列表，然后 grep "txt" 过滤该输出，仅显示包含 "txt" 的行。每个命令完成其特定的工作，而管道促进了它们的协作。

2. 结合 grep 和 sed 进行精确过滤与转换

当你需要先识别特定的文本行，然后仅对这些行执行精确修改时，经常会组合使用 grep 和 sed。grep 充当初始过滤器，将数据集减少到仅包含相关行，然后由 sed 进行处理。

2.1 场景一：过滤并替换

当你想仅在匹配特定模式的行内替换或修改文本时，此组合非常理想。grep 确保 sed 仅作用于所需的数据子集。

执行逻辑：

grep 过滤输入，仅将包含特定模式的行传递给 sed。
然后，sed 对它接收到的行（这些行保证匹配初始的 grep 模式）执行替换（或其他流编辑操作，如删除或插入）。

实战案例（日志文件）：修改特定的错误消息
假设你有一个日志文件，你想找到所有明确标记为 ERROR 的行，然后仅在这些 ERROR 行内专门将短语 DB_CONN_FAILED 更改为 CRITICAL_DATABASE_ERROR。

# 为演示目的，将示例日志数据存储在变量中
LOG_DATA="
2023-10-27 10:00:01 INFO: User login success for user123
2023-10-27 10:00:05 ERROR: Database connection failed. Reason: DB_CONN_FAILED on server A
2023-10-27 10:00:10 INFO: Data sync complete
2023-10-27 10:00:12 ERROR: File not found: app.log on server B
2023-10-27 10:00:15 WARNING: Low disk space on /var
2023-10-27 10:00:20 ERROR: Another issue with DB_CONN_FAILED.
"

# 1. `grep "ERROR"`: 过滤包含 "ERROR" 的行。
# 2. `sed 's/DB_CONN_FAILED/CRITICAL_DATABASE_ERROR/g'`:
#    在它接收到的每一行（仅限于 ERROR 行）上全局替换字符串。
echo "${LOG_DATA}" | grep "ERROR" | sed 's/DB_CONN_FAILED/CRITICAL_DATABASE_ERROR/g'

输出：

2023-10-27 10:00:05 ERROR: Database connection failed. Reason: CRITICAL_DATABASE_ERROR on server A
2023-10-27 10:00:12 ERROR: File not found: app.log on server B
2023-10-27 10:00:20 ERROR: Another issue with CRITICAL_DATABASE_ERROR.

注意 sed 是如何仅作用于 grep 识别为 ERROR 消息的行上的，而保持其他日志级别原封不动。

2.2 场景二：过滤并提取/精简信息

这种组合对于隔离相关行，然后在进一步处理或显示之前清理或简化这些行的特定部分非常有用。

执行逻辑：

grep 基于模式选择行。
然后，sed 使用正则表达式提取这些行的特定部分或删除不需要的样板文本，从而使输出更干净。

实战案例（日志文件）：从特定服务的错误日志中删除时间戳
考虑这样一种情况，日志行带有时间戳，而你希望在查看特定服务的错误消息时没有时间戳的干扰。

# 示例日志数据（带有时间戳和服务名称）
LOG_DATA="
2023-10-27 10:00:01 INFO: [auth_service] User login success
2023-10-27 10:00:05 ERROR: [webapp_service] Database connection failed.
2023-10-27 10:00:10 INFO: [data_service] Data processing complete
2023-10-27 10:00:12 ERROR: [webapp_service] File not found: app.log
2023-10-27 10:00:15 WARNING: [system_monitor] Low disk space on /var
"

# 1. `grep "ERROR: \[webapp_service\]"`: 专门过滤来自 'webapp_service' 的错误行。
# 2. `sed -E 's/^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2} //g'`:
#    使用扩展正则 (`-E`) 删除初始的时间戳模式 (YYYY-MM-DD HH:MM:SS) 及后面的空格。
echo "${LOG_DATA}" | grep "ERROR: \[webapp_service\]" | sed -E 's/^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2} //g'

输出：

ERROR: [webapp_service] Database connection failed.
ERROR: [webapp_service] File not found: app.log

现在，输出仅包含 webapp_service 的错误消息，没有了前导时间戳，使其更易于阅读或传递给另一个工具。

3. 结合 awk 与 grep/sed 进行高级数据处理

在处理结构化数据时（数据被组织成由分隔符隔开的字段/列），awk 尤其强大。当与 grep 和 sed 结合使用时，它允许进行高度具体的提取、重组，甚至基于数据进行计算。

3.1 场景一：grep 后接 awk（先过滤后提取/格式化字段）

这是一个非常常见且强大的模式。grep 缩小行的范围，然后 awk 接管这些行，将它们解析为字段并根据这些字段执行操作。

执行逻辑：

grep 充当粗略的过滤器，仅传递包含特定字符串或模式的行。
awk 接收这些预过滤的行。然后它可以将它们分成字段（默认情况下，空白是分隔符）并执行操作，如打印特定字段、条件逻辑或计算。

实战案例（日志文件）：提取时间戳和特定的错误详细信息
让我们增强之前的日志示例。我们想找到错误行，然后提取时间戳、错误级别和冒号后的具体消息。

# LOG_DATA（与上述类似，假设字段以空格分隔）
LOG_DATA="
2023-10-27 10:00:01 INFO  main.py: Application started.
2023-10-27 10:00:05 ERROR database.py: Database connection failed.
2023-10-27 10:00:12 ERROR worker.py: Task 'process_data' failed.
2023-10-27 10:00:15 INFO  auth.py: User 'admin' logged in.
"

# 1. `grep "ERROR"`: 过滤包含 "ERROR" 的行。
# 2. `awk '{print $1, $2, $3, $4, substr($0, index($0,$5))}'`:
#    - `$1`, `$2`: 日期和时间字段。
#    - `$3`: 日志级别 (ERROR)。
#    - `$4`: 源文件/模块。
#    - `substr($0, index($0,$5))`: 提取从第 5 个字段开始的所有内容。这捕获了整个消息，包括空格。
echo "${LOG_DATA}" | grep "ERROR" | awk '{print $1, $2, $3, $4, substr($0, index($0,$5))}'

输出：

2023-10-27 10:00:05 ERROR database.py: Database connection failed.
2023-10-27 10:00:12 ERROR worker.py: Task 'process_data' failed.

这显示了 grep 如何快速识别错误行，然后 awk 通过选择相关字段和剩余消息内容精确地格式化输出。

3.2 场景二：sed 后接 awk（预处理后提取/格式化字段）

当数据结构不一致或需要进行初始清理/规范化，以便 awk 能够按字段可靠地处理它时，这种组合非常有用。sed 充当 awk 的数据准备步骤。

执行逻辑：

sed 执行初始转换，例如将不一致的分隔符更改为单个分隔符、删除不需要的字符，或重新排序行的某些部分以适应 awk 的字段解析逻辑。
然后，awk 接收经过预处理的、更统一的数据，并可以轻松地将其拆分为字段，以便进行提取、过滤或进一步计算。

实战案例（类似 CSV 的数据）：将混合分隔符转换为单一分隔符，然后提取
假设你有一个文件，其中记录由各种分隔符（空格、分号、制表符）分隔，但 awk 需要一个一致的分隔符（如空格或逗号）才能有效工作。

# 包含混合分隔符的示例数据
DATA="
ID:101 Name:Alice Age:30
ID:102;Name:Bob;Age:25
ID:103	Name:Charlie	Age:35
"

# 1. `sed -E 's/(ID:|Name:|Age:|;)/\1 /g'`: 使用扩展正则 (`-E`) 查找标签或分号
#    并将它们替换为自身后跟一个空格。这实际上将所有不同的分隔符统一转换，
#    使数据一致地以空格分隔。
# 2. `awk '{print "ID:", $2, "| Name:", $4, "| Age:", $6}'`: 处理现在以空格分隔的数据，
#    打印 ID（第 2 个字段）、Name（第 4 个字段）和 Age（第 6 个字段）。
echo "${DATA}" | sed -E 's/(ID:|Name:|Age:|;)/\1 /g' | awk '{print "ID:", $2, "| Name:", $4, "| Age:", $6}'

输出：

ID: 101 | Name: Alice | Age: 30
ID: 102 | Name: Bob | Age: 25
ID: 103 | Name: Charlie | Age: 35

在这里，sed 的模式匹配和替换功能对于规范化输入至关重要，它使得 awk 能够毫不费力地执行其基于字段的提取。

3.3 场景三：grep -> sed -> awk（完整流水线）

这是最全面的组合，允许进行多阶段处理：初始过滤，然后是数据清理/转换，最后是详细的提取和格式化。

执行逻辑：

grep 执行初始粗略过滤，仅从潜在的庞大输入中选择最相关的行。
sed 获取这些行并执行更复杂的文本转换，例如标准化格式、删除不需要的前缀/后缀，或重组行的某些部分以使其准备好被 awk 处理。
awk 接收经过预过滤和预转换的行。然后应用其基于字段的处理功能来提取特定的数据元素、执行计算或根据需要重新格式化输出。

实战案例（Web 服务器日志）：分析特定的 API 请求、清理 URL 并提取详细信息
考虑这样一种 Web 服务器日志，你想要分析对特定 API 版本的 GET 请求，标准化 URL 结构，然后提取客户端 IP 和清理后的 URL。

# 示例的类 Apache 日志数据
LOG_DATA="
192.168.1.1 - - [27/Oct/2023:10:00:00 +0000] \"GET /api/v1/users/profile HTTP/1.1\" 200 1234 \"-\" \"Mozilla/5.0\"
192.168.1.2 - - [27/Oct/2023:10:00:05 +0000] \"POST /admin/login HTTP/1.1\" 401 56 \"-\" \"Chrome/90.0\"
192.168.1.3 - - [27/Oct/2023:10:00:10 +0000] \"GET /api/v1/products/list HTTP/1.1\" 200 4567 \"https://example.com\" \"Firefox/80.0\"
192.168.1.4 - - [27/Oct/2023:10:00:15 +0000] \"GET /images/logo.png HTTP/1.1\" 200 1024 \"-\" \"Edge/88.0\"
192.168.1.5 - - [27/Oct/2023:10:00:20 +0000] \"GET /api/v2/orders/status HTTP/1.1\" 200 890 \"-\" \"Safari/14.0\"
"

# 1. `grep "GET /api/v1/"`: 过滤包含 "GET /api/v1/" 的行，专注于 API v1 GET 请求。
# 2. `sed 's#/api/v1/#/api/current/#g'`: 在过滤后的行中将 `/api/v1/` 替换为 `/api/current/`。
#    这标准化了用于分析的 API 路径，将 v1 视为 'current'。
# 3. `awk '{print "客户端 IP:", $1, "| 请求的 URI:", $7}'`: 提取客户端 IP（第一个字段，`$1`）
#    以及现在被修改过的请求 URI（第七个字段，`$7`）。
echo "${LOG_DATA}" | grep "GET /api/v1/" | sed 's#/api/v1/#/api/current/#g' | awk '{print "客户端 IP:", $1, "| 请求的 URI:", $7}'

输出：

客户端 IP: 192.168.1.1 | 请求的 URI: /api/current/users/profile
客户端 IP: 192.168.1.3 | 请求的 URI: /api/current/products/list

这种多阶段流水线首先隔离相关的日志条目，然后规范化它们的内容，最后提取并格式化特定的信息。这是日志分析和数据报告中的常见模式。

4. 性能考量：何时将逻辑合并到 awk 中

虽然用管道链接命令非常强大，但必须了解，每个管道（|）都涉及启动一个新进程。对于极大的文件或非常频繁的操作，产生多个进程（grep、sed、awk）可能会引入性能开销。

awk 本身具备模式匹配（类似 grep）和替换（类似 sed）的能力。在许多情况下，将这些操作直接合并到一个 awk 脚本中会更高效，而且往往更具可读性。

4.1 awk 类似 grep 的功能

awk 可以像 grep 一样使用模式过滤行。任何以 /pattern/ 为前缀的 awk 动作块都将仅对匹配该模式的行执行。

示例： 与其使用 grep "ERROR" | awk '{print $0}'，不如直接：

# LOG_DATA（如前定义）
echo "${LOG_DATA}" | awk '/ERROR/'

/ERROR/ 模式充当过滤器，默认动作（打印整行，$0）仅对匹配的行执行。

4.2 awk 类似 sed 的功能

awk 提供了 sub(正则表达式, 替换字符串, 目标字符串) 和 gsub(正则表达式, 替换字符串, 目标字符串) 函数用于替换。sub() 替换第一次出现，而 gsub() 替换行上所有出现。如果省略 目标字符串，它默认作用于当前的整行 ($0)。

示例： 回顾前面的 grep | sed 示例：grep "ERROR" | sed 's/DB_CONN_FAILED/CRITICAL_DATABASE_ERROR/g'。
这可以合并为一个 awk 命令：

# LOG_DATA (如场景 1 中定义)
echo "${LOG_DATA}" | awk '/ERROR/ {gsub(/DB_CONN_FAILED/, "CRITICAL_DATABASE_ERROR"); print}'

解析：

/ERROR/: 此模式起 grep 的作用，确保后续动作仅应用于包含 "ERROR" 的行。
{gsub(...); print}: 对于匹配 "ERROR" 的每一行，gsub() 执行全局替换（类似 sed 's/.../.../g'），然后 print 输出修改后的行。

4.3 选择流水线还是合并到 awk？

流水线 (grep | sed | awk)

优点：对于简单任务来说可读性强，易于调试（你可以看到每个阶段的输出），非常适合快速、即席的过滤。在处理大文件进行简单的模式匹配时，grep 通常针对速度进行了高度优化。
缺点：多进程的开销，对于包含复杂多阶段处理的极大文件可能会变慢。

合并到 awk

优点：只有单一进程开销，对于复杂的多阶段处理通常更快，可以在行之间维护状态（变量），对于条件逻辑和计算更加灵活。
缺点：对于不熟悉 awk 语法的人来说，可读性可能较差，尤其是当它只做简单的 grep 或 sed 操作时。

指导原则：

如果你需要在进行任何复杂的处理之前对一个巨大的文件执行非常简单、快速的过滤，流水线开头的 grep 通常仍然是最佳选择。这能快速减少后续命令的数据量。
对于更复杂的转换和提取，特别是那些涉及字段操作、条件逻辑或聚合的任务，通常首选将类似 grep 和 sed 的操作直接整合到 awk 中，以提高性能和脚本连贯性。
始终优先选择清晰和可维护性的方法，只在必要时才针对性能进行优化。

5. 综合实战演示

让我们探索一个更高级的场景，演示这些工具结合起来的威力。

示例：分析来自特定来源的高频错误日志

你想要找到所有与 network 或 database 问题相关的 ERROR 消息，匿名化所有 IP 地址，然后统计有多少种独特的错误消息，并按出现频率排序。

输入（假设的 server.log 变量片段）：

2023-10-27 11:00:01 INFO auth_service: User login from 192.168.1.10.
2023-10-27 11:00:05 ERROR network_manager: Connection refused from 10.0.0.5: port 8080.
2023-10-27 11:00:10 INFO data_processor: Batch job started.
2023-10-27 11:00:12 ERROR database_service: Query timeout for user 'dev' from 10.0.0.55.
2023-10-27 11:00:15 WARNING system_monitor: High CPU usage.
2023-10-27 11:00:20 ERROR network_manager: DNS resolution failed for host example.com.
2023-10-27 11:00:25 ERROR database_service: Connection pool exhausted.
2023-10-27 11:00:30 ERROR database_service: Query timeout for user 'admin' from 10.0.0.55.

解决方案流水线：

echo "${LOG_DATA}" | \
grep -E 'ERROR (network_manager|database_service)' | \
sed -E 's/([0-9]{1,3}\.){3}[0-9]{1,3}/[ANONYMIZED_IP]/g' | \
awk '{
    # 重构消息部分，从第 5 个字段开始
    message_start_index = index($0, $5);
    error_message = substr($0, message_start_index);
    # 删除时间戳和日志级别，仅保留独特的错误文本
    sub(/^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2} ERROR /, "", error_message);
    print error_message
}' | \
sort | uniq -c | sort -nr

流水线解析：

grep -E ...: 使用扩展正则过滤输入，仅包含 ERROR 消息且来源于 network_manager 或 database_service 的行。
sed -E ...: 对过滤后的行执行全局替换。它找到任何常见的 IPv4 地址模式并将其替换为 [ANONYMIZED_IP]。
awk '{...}':

使用 index 和 substr 截取从第 5 个字段（模块名称）开始之后的完整子串，这处理了消息本身包含空格的情况。
使用内置的 sub() 函数删除前导的日期时间戳和 "ERROR " 级别。
打印清理后的错误消息。

sort | uniq -c | sort -nr: 这是 Unix 中用于统计唯一出现次数的黄金组合：

sort: 按字母顺序排序清理后的错误消息，将相同的消息分组在一起。
uniq -c: 计算每个唯一的、连续的行的出现次数。
sort -nr: 将最终输出按数值 (-n) 倒序 (-r) 排序，最频繁的错误排在最前面。

输出结果：

2 database_service: Query timeout for user 'dev' from [ANONYMIZED_IP].
1 network_manager: DNS resolution failed for host example.com.
1 network_manager: Connection refused from [ANONYMIZED_IP]: port 8080.
1 database_service: Connection pool exhausted.

这个综合示例说明了将这些工具链接起来进行高级日志分析的威力，涵盖了过滤、数据清洗（脱敏）、自定义提取和数据聚合。

1. 管道符 (|) 的威力

2. 结合 grep 和 sed 进行精确过滤与转换

2.1 场景一：过滤并替换

2.2 场景二：过滤并提取/精简信息

3. 结合 awk 与 grep/sed 进行高级数据处理

3.1 场景一：grep 后接 awk（先过滤后提取/格式化字段）

3.2 场景二：sed 后接 awk（预处理后提取/格式化字段）

3.3 场景三：grep -> sed -> awk（完整流水线）

4. 性能考量：何时将逻辑合并到 awk 中

4.1 awk 类似 grep 的功能

4.2 awk 类似 sed 的功能

4.3 选择流水线还是合并到 awk？

5. 综合实战演示

1. 管道符 (`|`) 的威力