Linux Shell 文本过滤神器：正则表达式从入门到实战
概述
在 Linux 里搞文本处理，「正则表达式」是绕不开的核心工具——它不是一个具体命令，而是一套自定义文本匹配模板，能让 sed、gawk、grep 这些工具精准地「筛」出或「定位」数据流里的内容。
1. 核心定义：用 “模式” 过滤数据
说白了，正则表达式（简称「正则」）的干活逻辑是这样的：
- 你先定义一个「模式」（比如「以 da 开头的字符串」「包含数字的行」）；
- Linux 工具（sed、gawk 这种）读数据时，拿这个模式去「扫」每一行；
- 匹配上了：工具就对该行动手（比如打印、修改）；
- 没匹配上：工具跳过这行，啥也不干。
它的价值就在于解决「文本不固定」的匹配问题——比如你想找「所有以 log 结尾的文件」「日志里带错误码 404 的行」，这些用死板固定文本搞不定，正则却能轻松拿下。
2. 类比理解：正则与通配符的区别
很多人把正则和「通配符」（如 *、?）搞混，其实俩完全不是一回事：
- 通配符：用来「匹配文件名」，是 shell 自己解释的符号（比如 ls da* 列出以 da 开头的文件）；
- 正则表达式：用来「匹配文本内容」，是工具（sed、gawk）解释的模式（比如 sed -n ‘/test/p’ 打印带 test 的行）。
举个直观例子：
# 通配符：匹配文件名（shell 处理）
ls da* # 列出所有以 "da" 开头的文件
# -rw-rw-r-- 1 roger roger 94 Jun 21 00:08 data12.txt
# -rw-rw-r-- 1 roger roger 180 Jun 19 22:37 data1.txt
# 正则表达式：匹配文本内容（sed 处理）
cat data1.txt | sed -n '/da/p' # 打印 data1.txt 中包含 "da" 的行3. 正则表达式的 “门派”：两种核心引擎
不同工具对正则的支持不一样，根子在「正则引擎」（解释正则模式的底层软件）有差别。Linux 里最主流的就下面两种：
| 引擎类型 | 简称 | 支持工具 | 核心特点 |
|---|---|---|---|
| POSIX 基础正则表达式 | BRE | sed、grep（默认） | 语法基础，部分特殊字符需转义（如 +、?） |
| POSIX 扩展正则表达式 | ERE | gawk、grep -E | 语法更丰富，支持更多高级模式（无需转义） |
关键区别：BRE 对部分特殊字符（如 {}、()）支持有限，得加反斜线 \ 转义；而 ERE 能直接认这些字符，不用转义。后面会用例子细讲。
一、基础正则（BRE）实战：从普通文本到特殊字符
BRE 是 Linux 工具的「标配」，先把它的基础用法吃透，再进阶到 ERE 会顺很多。
1. 匹配普通文本：精准匹配字符 / 单词 / 空格
最基础的正则模式就是「普通文本」——直接用具体字符定义匹配规则，工具会严格按照「大小写、字符顺序」来匹配。
示例 1：匹配包含指定单词的行
用 sed -n ‘/模式/p’（-n 抑制默认输出，/p 打印匹配行）或 gawk ‘/模式/{print $0}’ 演示：
# 1. 匹配包含 "test" 的行（成功）
echo "This is a test" | sed -n '/test/p'
# 输出：This is a test
# 2. 匹配包含 "trial" 的行（失败，无输出）
echo "This is a test" | sed -n '/trial/p'
# 3. gawk 用法类似
echo "This is a test" | gawk '/test/{print $0}'
# 输出：This is a test示例 2：正则区分大小写
正则默认「大小写敏感」，匹配时严格区分字母大小写：
# 1. 匹配 "this"（小写 t，失败，无输出）
echo "This is a test" | sed -n '/this/p'
# 2. 匹配 "This"（大写 T，成功）
echo "This is a test" | sed -n '/This/p'
# 输出：This is a test示例 3：匹配部分字符（无需完整单词）
正则不要求匹配「完整单词」，只要文本里包含「模式的子串」就行：
# 匹配包含 "book" 的行（即使文本是 "books"，也能匹配）
echo "The books are expensive" | sed -n '/book/p'
# 输出：The books are expensive
# 反过来：用 "books" 匹配 "book"（失败，无输出）
echo "The book is expensive" | sed -n '/books/p'示例 4：匹配空格（含多个连续空格）
空格在正则里就是个「普通字符」，得严格匹配——你定义几个空格，文本里就得对应找到几个：
# 准备测试文件 data1.txt
cat data1.txt
# This is a normal line of text. # 单词间1个空格
# This is a line with too many spaces. # 单词间2个空格
# 匹配包含 "两个连续空格" 的行
sed -n '/ /p' data1.txt
# 输出：This is a line with too many spaces.2. 匹配特殊字符：需转义的 “特殊符号”
正则里有一批「特殊字符」（如 $、*、\），它们本身有特别含义，想匹配这些字符本体，得用反斜线 \ 转义（告诉引擎「这是普通字符，不是特殊符号」）。
常见需转义的特殊字符清单：.*[]^${}+?|()
示例 1：匹配美元符号 $
$ 在正则里默认表示「行尾」，要匹配文本里的 $（比如价格 $4.00），得转义成 $：
# 准备测试文件 data2.txt
cat data2.txt
# The cost is $4.00
# 匹配包含 "$" 的行（必须转义）
sed -n '/\$/p' data2.txt
# 输出：The cost is $4.00示例 2：匹配反斜线 \
反斜线 \ 本身就是「转义符」，要匹配它，得用两个反斜线 \（第一个转义第二个）：
# 匹配包含 "\" 的行
echo "\ is a special character" | sed -n '/\\/p'
# 输出：\ is a special character示例 3：匹配正斜线 /
正斜线 / 不是正则的特殊字符，但在 sed/gawk 里，/ 是用来裹正则模式的，要匹配文本里的 /，得转义成 /：
# 错误用法：未转义，sed 无法识别模式
echo "3 / 2" | sed -n '///p'
# 报错：sed: -e expression #1, char 2: No previous regular expression
# 正确用法：转义 /
echo "3 / 2" | sed -n '/\//p'
# 输出：3 / 23. 基础元字符：匹配 “不确定” 的文本
除了普通字符，BRE 还提供「元字符」——用来匹配「不确定的内容」（比如任意字符、多个字符），这才是正则真正值钱的地方。
（1）.：匹配任意单个字符（除换行符）
.（点）代表「任意一个字符」，比如 /t.st/ 能匹配 test、tast、t1st 这些：
# 匹配 "t + 任意字符 + st" 的行
echo "test" | sed -n '/t.st/p' # 匹配，输出 test
echo "tast" | sed -n '/t.st/p' # 匹配，输出 tast
echo "t1st" | sed -n '/t.st/p' # 匹配，输出 t1st
echo "txst" | sed -n '/t.st/p' # 匹配，输出 txst（2）*：匹配 “0 个或多个” 前导字符
（星号）不单独用，得跟在「前导字符」后面，表示「前导字符出现 0 次或多次」。比如 /a/ 能匹配：
- 0 个 a（空字符串，那所有行都匹配）；
- 1 个 a（a）；
- 多个 a（aa、aaa 等）。
示例：匹配 “以 b 开头，后面跟任意个 a，最后是 d” 的行：
echo "bad" | sed -n '/ba*d/p' # 匹配（a 出现1次）
echo "bd" | sed -n '/ba*d/p' # 匹配（a 出现0次）
echo "baad" | sed -n '/ba*d/p' # 匹配（a 出现2次）
echo "baaad" | sed -n '/ba*d/p' # 匹配（a 出现3次）（3）^：匹配行首
^（脱字符）放在模式开头，表示「匹配行首的字符」。比如 /^This/ 只匹配「以 This 开头的行」：
# 准备测试文件 data3.txt
cat data3.txt
# This is line 1
# That is line 2
# This is line 3
# 匹配以 "This" 开头的行
sed -n '/^This/p' data3.txt
# 输出：
# This is line 1
# This is line 3（4）$：匹配行尾
$（美元符）放在模式结尾，表示「匹配行尾的字符」。比如 /end$/ 只匹配「以 end 结尾的行」：
# 准备测试文件 data4.txt
cat data4.txt
# Start here and end
# This line doesn't finish with end
# Another line that ends
# 匹配以 "end" 结尾的行
sed -n '/end$/p' data4.txt
# 输出：Start here and end经典用法：匹配空行（行首到行尾之间啥都没有）：
# 匹配 data5.txt 中的空行
sed -n '/^$/p' data5.txt（5）[]：匹配 “字符集合” 中的任意一个字符
[]（方括号）用来定义「字符集合」，匹配时只要文本对应位置是集合里任意一个字符，就算匹配上。
常见用法：
- /[Tt]his/：匹配 This 或 this（T 不区分大小写）；
- /[0-9]/：匹配任意一个数字（0-9）；
- /[a-z]/：匹配任意一个小写字母（a-z）；
- /[A-Z]/：匹配任意一个大写字母（A-Z）；
- /[^0-9]/：匹配「非数字」（^ 在 [] 里表示「取反」）。
示例 1：匹配包含 “数字” 的行：
echo "Line 1: 123" | sed -n '/[0-9]/p' # 匹配，输出 Line 1: 123
echo "Line 2: abc" | sed -n '/[0-9]/p' # 不匹配，无输出示例 2：匹配 “非数字” 的行：
echo "Line 1: 123" | sed -n '/[^0-9]/p' # 匹配（包含字母和空格）
echo "12345" | sed -n '/[^0-9]/p' # 不匹配（全是数字）示例 3：匹配 “以 T 或 t 开头” 的行：
cat data3.txt | sed -n '/^[Tt]/p'
# 输出：
# This is line 1
# That is line 2
# This is line 3二、进阶：BRE 中的特殊场景与避坑指南
实际用的时候有些细节容易踩坑，比如「匹配单词边界」「转义特殊字符的注意点」，得特别留神。
1. 匹配单词边界：\b（避免部分匹配）
默认情况下，正则会「部分匹配」（比如 /book/ 能匹配 books、bookstore）。要只匹配「完整单词」（比如只认 book，不认 books），就得用 \b 表示「单词边界」（单词跟非单词字符的分隔，像空格、标点、行首 / 行尾）。
示例：精准匹配完整单词
# 准备测试文件 data6.txt
cat data6.txt
# The book is on the table # 包含完整单词 "book"
# He likes reading books # 包含 "books"（非完整单词）
# This is a bookstore # 包含 "bookstore"（非完整单词）
# book: the main subject # 包含完整单词 "book"（后跟冒号）
# 匹配完整单词 "book"（用 \b 限定前后边界）
sed -n '/\bbook\b/p' data6.txt
# 输出：
# The book is on the table
# book: the main subject原理：\bbook\b 要求 book 前后必须是「非单词字符」（空格、冒号、行首 / 行尾），所以把 books（后面跟着 s，属于单词字符）和 bookstore（后面跟着 s）都排除了。
2. BRE 中需转义的特殊字符：{}、()
BRE 对「重复次数限定」和「分组」的支持，得靠反斜线转义才能生效（这是 BRE 跟 ERE 的核心区别之一）。
（1）{n}：限定前导字符 “恰好出现 n 次”
{n} 表示「前导字符必须连续出现 exactly n 次」，常用来匹配固定长度的内容（比如身份证号、手机号里的固定位）。
示例：匹配 “连续 3 个数字” 的行：
# 准备测试数据
echo "abc123def" | sed -n '/[0-9]\{3\}/p' # 匹配（123 是 3 个数字）
echo "abc12def" | sed -n '/[0-9]\{3\}/p' # 不匹配（12 是 2 个数字）
echo "12345" | sed -n '/[0-9]\{3\}/p' # 匹配（包含 123 或 234 等）（2）{n,m}：限定前导字符 “出现 n 到 m 次”
{n,m} 表示「前导字符连续出现 n 到 m 次」（n ≤ 次数 ≤ m），m 能省略（表示「至少出现 n 次」）。
示例 1：匹配 “连续 2-4 个字母” 的行：
echo "aab" | sed -n '/[a-z]\{2,4\}/p' # 匹配（aa 是 2 个字母）
echo "aaaaa" | sed -n '/[a-z]\{2,4\}/p' # 匹配（包含 4 个连续字母）
echo "a" | sed -n '/[a-z]\{2,4\}/p' # 不匹配（仅 1 个字母）示例 2：匹配 “至少 2 个数字” 的行（省略 m）：
echo "12" | sed -n '/[0-9]\{2,\}/p' # 匹配（2 个数字）
echo "123" | sed -n '/[0-9]\{2,\}/p' # 匹配（3 个数字）
echo "1" | sed -n '/[0-9]\{2,\}/p' # 不匹配（1 个数字）（3）()：分组匹配（将多个字符视为整体）
() 用来把多个字符「打包」成一个「分组」，再对这个分组套重复次数限定（如 {n}），适合匹配有规律的重复字符串。
示例：匹配 “ab 连续出现 2 次” 的行：
echo "abab" | sed -n '/\(ab\)\{2\}/p' # 匹配（ab 重复 2 次）
echo "ab" | sed -n '/\(ab\)\{2\}/p' # 不匹配（仅 1 次）
echo "ababab" | sed -n '/\(ab\)\{2\}/p'# 匹配（包含 2 次 ab）对比：如果不分组，/ab{2}/ 表示「a 后接 2 个 b」（即 abb），跟分组效果完全两码事：
echo "abb" | sed -n '/ab\{2\}/p' # 匹配（a 后接 2 个 b）
echo "abab" | sed -n '/ab\{2\}/p' # 不匹配（无 2 个连续 b）3. 避坑指南：容易混淆的 3 个场景
（1）^ 的两种完全相反的含义
- 场景 1：^ 在 [] 外面 → 匹配「行首」（如 /^Hello/ 匹配以 Hello 开头的行）；
- 场景 2：^ 在 [] 里面 → 匹配「非集合里的字符」（取反），如 /[^0-9]/ 匹配「非数字」字符。
示例：区分两种含义：
# 场景 1：^ 在 [] 外 → 行首匹配
echo "Hello world" | sed -n '/^Hello/p' # 匹配（行首是 Hello）
# 场景 2：^ 在 [] 内 → 取反匹配
echo "123" | sed -n '/[^0-9]/p' # 不匹配（全是数字）
echo "12a3" | sed -n '/[^0-9]/p' # 匹配（包含非数字 a）（2）* 的 “贪婪匹配” 特性
- 是「贪婪元字符」，会尽可能匹配「最长的符合条件的内容」，而不是「最短的」。处理包含多个匹配点的文本时，容易出意料之外的结果。
示例：贪婪匹配的影响：
# 目标：匹配 "a" 到第一个 "b" 之间的内容
echo "a1b2b3" | sed -n '/a.*b/p' # 实际输出：a1b2b（匹配到最后一个 b）原因：a.b 里，. 会从第一个 a 开始，一路匹配到最后一个 b，而不是第一个 b。要「非贪婪匹配」，BRE 直接办不到，得借 ERE 或其他工具（比如 perl）。
（3）转义字符的 “工具差异性”
不同工具对转义的要求不一样：
- sed（BRE）：{}、()、+ 这些得转义（如 {3}、(ab)）；
- gawk（ERE）：不用转义（如 {3}、(ab)）；
- grep：默认是 BRE（得转义），加 -E 后是 ERE（不用转义）。
示例：用不同工具匹配「连续 3 个数字」：
# sed（BRE）：需转义 {}
echo "123" | sed -n '/[0-9]\{3\}/p'
# gawk（ERE）：无需转义 {}
echo "123" | gawk '/[0-9]{3}/{print $0}'
# grep（默认 BRE）：需转义 {}
echo "123" | grep '[0-9]\{3\}'
# grep -E（ERE）：无需转义 {}
echo "123" | grep -E '[0-9]{3}'三、进阶正则（ERE）：更简洁的语法与高级特性
ERE（扩展正则表达式）是 BRE 的「升级版」，语法更简洁（{}、()、+ 这些不用转义），还支持更多高级元字符，是 gawk、grep -E、egrep（等同于 grep -E）的默认引擎。
1. ERE 与 BRE 的核心区别
最大区别就是「特殊字符的转义要求」，ERE 下面这些字符直接写就行，不用转义：
- 重复次数限定：{n}、{n,m}、{n,}；
- 分组：()；
- 逻辑或：|；
- 至少一次匹配：+；
- 零次或一次匹配：?。
下面这张表把两种引擎的语法差异摆清楚：
| 功能需求 | BRE 语法（需转义） | ERE 语法（无需转义） |
|---|---|---|
| 恰好 n 次重复 | \{n\} | {n} |
| n 到 m 次重复 | \{n,m\} | {n,m} |
| 分组 | \(\) | () |
| 逻辑或（匹配 A 或 B） | \| | | |
| 至少 1 次重复 | \+ | + |
| 0 次或 1 次重复 | \? | ? |
2. ERE 高级元字符实战
（1）+：匹配 “至少 1 次” 前导字符
- 表示「前导字符连续出现 1 次或多次」，相当于 BRE 里的 {1,}，但写法更省事。
示例：匹配 “至少 1 个字母” 的行：
# gawk（ERE）：无需转义 +
echo "123a" | gawk '/[a-z]+/{print $0}' # 匹配（有 1 个 a）
echo "123" | gawk '/[a-z]+/{print $0}' # 不匹配（无字母）
echo "abc" | gawk '/[a-z]+/{print $0}' # 匹配（有 3 个字母）（2）?：匹配 “0 次或 1 次” 前导字符
? 表示「前导字符可选」（出现 0 次或 1 次），适合匹配「可能有的字符」（比如美式拼写 color 和英式拼写 colour 里的 u）。
示例：匹配 color 或 colour：
# 匹配两种拼写（u 可选）
echo "color" | gawk '/colou?r/{print $0}' # 匹配（无 u）
echo "colour" | gawk '/colou?r/{print $0}' # 匹配（有 u）
echo "colr" | gawk '/colou?r/{print $0}' # 不匹配（少 o）（3）|：逻辑或（匹配多个模式中的任意一个）
| 用来连接多个模式，表示「匹配任意一个模式就行」，得配分组 () 用（不然 | 会作用到整个正则上）。
示例 1：匹配 “包含 apple 或 banana” 的行：
# 用 () 分组，确保 | 只作用在 apple 和 banana 之间
echo "I like apple" | gawk '/(apple|banana)/{print $0}' # 匹配
echo "I like orange" | gawk '/(apple|banana)/{print $0}' # 不匹配示例 2：匹配 “以 start 开头或 end 结尾” 的行：
echo "start here" | gawk '/^start|end$/{print $0}' # 匹配（以 start 开头）
echo "end here" | gawk '/^start|end$/{print $0}' # 不匹配
echo "here end" | gawk '/^start|end$/{print $0}' # 匹配（以 end 结尾）（4）(…)：分组与反向引用（ERE 增强版）
ERE 里的 () 除了「分组」，还支持「反向引用」——用 \n（n 是分组编号，从 1 开始）引用前面分组匹配到的内容，适合匹配「重复出现的内容」（比如引号、标签对）。
示例：匹配 “成对的双引号”（确保开头结尾都是双引号）：
# 反向引用：\1 表示引用第一个分组（即 "）
echo "\"hello\"" | gawk '/(").*\1/{print $0}' # 匹配（成对双引号）
echo "\"hello" | gawk '/(").*\1/{print $0}' # 不匹配（仅开头双引号）原理：(”).*\1 里，第一个 (”) 是分组 1（匹配双引号），\1 引用分组 1 的内容（也就是双引号），所以整个模式要求「行首有双引号，行尾也有双引号」。
四、实战案例：用正则解决实际问题
正则的价值在于「解决具体场景」，下面挑 Linux 运维里最常见的 3 个实战案例，覆盖日志分析、配置文件提取、数据清洗。
案例 1：提取 Nginx 访问日志中的 404 错误行
Nginx 访问日志格式（示例）：
plaintext 192.168.1.100 - - [20/Jun/2024:14:30:00 +0800] “GET /index.html HTTP/1.1” 200 1234 192.168.1.101 - - [20/Jun/2024:14:35:00 +0800] “GET /missing.html HTTP/1.1” 404 567 192.168.1.100 - - [20/Jun/2024:14:40:00 +0800] “POST /login HTTP/1.1” 302 0 192.168.1.102 - - [20/Jun/2024:14:45:00 +0800] “GET /static/css/main.css HTTP/1.1” 404 890
需求：提取所有 404 错误的行（状态码为 404），并显示访问 IP 和请求路径。
分析：
日志用空格分隔，第 9 个字段是状态码（$9）； 第 1 个字段是访问 IP（$1）； 请求路径在第 7 个字段（$7），格式为 “GET /path HTTP/1.1”，得把 /path 这部分抠出来。
实现命令（用 gawk 结合正则提取路径）：
# -F" "：指定分隔符为空格；
# $9 == 404：筛选状态码为 404 的行；
# match($7, /\/.*? /)：用正则提取 $7 中 "/" 到第一个空格之间的内容（即请求路径）；
# substr(...)：截取匹配到的路径（去掉引号）
gawk -F" " '$9 == 404 {
match($7, /\/.*? /); # 匹配 "/path "（如 "/missing.html "）
path = substr($7, RSTART, RLENGTH-1); # 截取路径，去掉末尾空格
print "IP: " $1 ", 404 路径: " path
}' access.log输出结果：
IP: 192.168.1.101, 404 路径: /missing.html
IP: 192.168.1.102, 404 路径: /static/css/main.css案例 2：从 /etc/passwd 提取 “bash 登录用户”
/etc/passwd 是 Linux 的系统用户配置文件，用 : 分隔字段，格式如下（第 7 个字段是登录 Shell）：
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
roger:x:1000:1000:roger:/home/roger:/bin/bash
alice:x:1001:1001:alice:/home/alice:/bin/bash需求：提取所有「登录 Shell 为 /bin/bash」的用户（也就是能用终端登录的），并输出「用户名 - 家目录」对应关系。
分析：
- 分隔符是 :，用 -F: 指定；
- 第 1 个字段是用户名（$1）；
- 第 6 个字段是家目录（$6）；
- 第 7 个字段是登录 Shell（$7），筛选条件为 $7 == “/bin/bash”。
实现命令（用 gawk 高效筛选）：
# -F:：指定分隔符为冒号；
# $7 == "/bin/bash"：筛选 Shell 为 bash 的用户；
# 格式化输出“用户名-家目录”
gawk -F: '$7 == "/bin/bash" {print $1 " -> " $6}' /etc/passwd输出结果：
root -> /root
roger -> /home/roger
alice -> /home/alice案例 3：清洗 CSV 数据中的 “多余空格”
假设有一份用户数据 CSV 文件 users.csv，部分字段有多余空格（比如姓名后面有空格、年龄前面有空格），格式如下：
姓名,年龄,邮箱
张三 , 25 , zhangsan@example.com
李四, 30 , lisi@example.com
王五 ,28, wangwu@example.com需求：清洗数据，去掉所有字段前后的多余空格，输出标准 CSV 格式。
分析：
- CSV 分隔符是 ,，但部分 , 前后有空格（比如 , 25 ,）；
- 得用正则匹配「, 或 ,」，替换成「纯 ,」，同时把字段首尾空格也去掉。
实现命令（用 sed 或 gawk 清洗）：
# 方法 1：sed（BRE，分两步替换）
# 第一步：替换 ", " 为 ","；第二步：替换 " ," 为 ","
sed -e 's/, */,/g' -e 's/ *,/,/g' users.csv
# 方法 2：gawk（ERE，用正则匹配所有多余空格）
# FPAT：定义字段格式为“可选空格+非逗号字符+可选空格”；
# OFS：定义输出分隔符为 ","；
# 循环去除每个字段的前后空格
gawk '
BEGIN { FPAT = " *[^,]+ *"; OFS = "," } # 定义字段格式和输出分隔符
{
for (i=1; i<=NF; i++) {
gsub(/^ +| +$/, "", $i) # 去除字段首尾空格（^ +：开头空格；+ $：结尾空格）
}
print $0
}
' users.csv清洗后输出：
姓名,年龄,邮箱
张三,25,zhangsan@example.com
李四,30,lisi@example.com
王五,28,wangwu@example.com五、正则表达式工具链：选择合适的工具
Linux 里好几个工具都支持正则，各有侧重，选对工具效率能翻倍。下面把常用工具摆一摆、比一比：
| 工具 | 核心用途 | 正则引擎默认支持 | 优势 | 劣势 |
|---|---|---|---|---|
| grep | 快速筛选 “包含指定模式的行” | BRE（-E 开启 ERE） | 速度快，支持递归搜索（-r）、计数（-c） | 不支持复杂数据处理（如字段提取、修改） |
| sed | 行编辑（修改、删除、替换） | BRE | 适合批量修改文本，支持流处理 | 字段处理能力弱，语法较繁琐 |
| gawk | 结构化数据处理（字段 / 统计） | ERE | 支持字段提取、变量、循环，功能强大 | 简单筛选场景下，比 grep 略慢 |
| perl | 复杂正则与编程结合 | 增强型正则（PCRE） | 支持非贪婪匹配、高级正则特性 | 语法门槛较高，运维场景使用较少 |
选择建议：
- 只筛行（比如找带 error 的日志）→ 用 grep（最快）；
- 批量改文本（比如把所有 old 换成 new）→ 用 sed；
- 提取字段 / 统计（比如从 CSV 取某列、统计 IP 访问次数）→ 用 gawk；
- 复杂正则需求（比如非贪婪匹配、正则分组嵌套）→ 用 perl（或 grep -P，看系统支不支持）。
六、总结：正则学习路径与最佳实践
1. 学习路径建议
- 基础阶段：吃透 BRE 核心元字符（.、*、^、$、[]），能搞定简单文本筛选；
- 进阶阶段：弄懂 ERE 高级特性（+、?、|、()、反向引用），应对复杂匹配场景；
- 实战阶段：结合 grep/sed/gawk 处理实际问题（日志分析、配置提取、数据清洗），把工具差异摸熟。
2. 最佳实践
- 先简单，再复杂：写正则先从「精确匹配」起步（比如先用固定文本 test），再慢慢用元字符替换掉不确定的部分（比如 t.st）；
- 先测再上：用 echo “测试文本” | grep -E “正则” 快速验证模式对不对，别直接在大文件上试；
- 别过度复杂：能拆的正则尽量拆（比如用 sed -e 命令 1 -e 命令 2），别追求「一行正则解决所有问题」，不然以后维护成本极高；
- 攒常用片段：把高频场景的正则（比如匹配 IP、邮箱、日期）记成笔记，下次直接复用（比如匹配 IP：/([0-9]{1,3}.){3}[0-9]{1,3}/）。
3. 常用正则片段速查（收藏备用）
| 需求场景 | 正则表达式（ERE） | 说明 |
|---|---|---|
| 匹配 IP 地址（简单版） | ([0-9]{1,3}.){3}[0-9]{1,3} | 不严格校验 0-255，适合日志筛选 |
| 匹配邮箱 | [a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+.[a-zA-Z]{2,} | 匹配大多数邮箱格式 |
| 匹配日期（YYYY-MM-DD） | [0-9]{4}-[0-9]{2}-[0-9]{2} | 匹配年 - 月 - 日格式（不校验合法性） |
| 匹配整数 / 小数 | ^[+-]?[0-9]+(.[0-9]+)?$ | 匹配正负数、整数、小数 |
| 匹配中文字符 | [\u4e00-\u9fa5] | 需工具支持 Unicode（如 gawk -v FPAT=…） |
七、结语
正则表达式不是「一次学会」的技能，而是「在实战里慢慢练熟」的工具。刚开始可能觉得元字符绕、容易混，但只要结合具体场景（比如每天用 grep 筛日志、用 gawk 提数据），很快就能掌握核心用法。
记住：正则的目标是「解决问题」，不是「炫技」。能用简单正则搞定的，就别整太复杂；工具能配合完成的（比如 gawk 提字段 + sort 排序），就别光靠正则硬扛。
希望这篇能帮你搭起正则的「知识框架」，以后实战里碰到文本处理问题，能马上想到「用正则 + 合适的工具」来高效解决。