|
深入淺出之正則表達(dá)式（一）
1. 什么是正則表達(dá)式 基本說來，正則表達(dá)式是一種用來描述一定數(shù)量文本的模式。Regex代表Regular Express。本文將用<<regex>>來表示一段具體的正則表達(dá)式。 一段文本就是最基本的模式，簡單的匹配相同的文本。
2. 不同的正則表達(dá)式引擎 正則表達(dá)式引擎是一種可以處理正則表達(dá)式的軟件。通常，引擎是更大的應(yīng)用程序的一部分。在軟件世界，不同的正則表達(dá)式并不互相兼容。本教程會(huì)集中討論P(yáng)erl 5 類型的引擎，因?yàn)檫@種引擎是應(yīng)用最廣泛的引擎。同時(shí)我們也會(huì)提到一些和其他引擎的區(qū)別。許多近代的引擎都很類似，但不完全一樣。例如.NET正則庫，JDK正則包。
3. 文字符號 最基本的正則表達(dá)式由單個(gè)文字符號組成。如<<a>>，它將匹配字符串中第一次出現(xiàn)的字符“a”。如對字符串“Jack is a boy”。“J”后的“a”將被匹配。而第二個(gè)“a”將不會(huì)被匹配。 正則表達(dá)式也可以匹配第二個(gè)“a”，這必須是你告訴正則表達(dá)式引擎從第一次匹配的地方開始搜索。在文本編輯器中，你可以使用“查找下一個(gè)”。在編程語言中，會(huì)有一個(gè)函數(shù)可以使你從前一次匹配的位置開始繼續(xù)向后搜索。 類似的，<<cat>>會(huì)匹配“About cats and dogs”中的“cat”。這等于是告訴正則表達(dá)式引擎，找到一個(gè)<<c>>，緊跟一個(gè)<<a>>，再跟一個(gè)<<t>>。 要注意，正則表達(dá)式引擎缺省是大小寫敏感的。除非你告訴引擎忽略大小寫，否則<<cat>>不會(huì)匹配“Cat”。
· 特殊字符 對于文字字符，有11個(gè)字符被保留作特殊用途。他們是： [ ] \ ^ $ . | ? * + ( ) 這些特殊字符也被稱作元字符。 如果你想在正則表達(dá)式中將這些字符用作文本字符，你需要用反斜杠“\”對其進(jìn)行換碼 (escape)。例如你想匹配“1+1=2”，正確的表達(dá)式為<<1\+1=2>>. 需要注意的是，<<1+1=2>>也是有效的正則表達(dá)式。但它不會(huì)匹配“1+1=2”，而會(huì)匹配“123+111=234”中的“111=2”。因?yàn)?#8220;+”在這里表示特殊含義（重復(fù)1次到多次）。 在編程語言中，要注意，一些特殊的字符會(huì)先被編譯器處理，然后再傳遞給正則引擎。因此正則表達(dá)式<<1\+2=2>>在C++中要寫成“1\\+1=2”。為了匹配“C:\temp”，你要用正則表達(dá)式<<C:\\temp>>。而在C++中，正則表達(dá)式則變成了“C:\\\\temp”。
· 不可顯示字符 可以使用特殊字符序列來代表某些不可顯示字符： <<\t>>代表Tab(0x09) <<\r>>代表回車符(0x0D) <<\n>>代表換行符(0x0A) 要注意的是Windows中文本文件使用“\r\n”來結(jié)束一行而Unix使用“\n”。
4. 正則表達(dá)式引擎的內(nèi)部工作機(jī)制 知道正則表達(dá)式引擎是如何工作的有助于你很快理解為何某個(gè)正則表達(dá)式不像你期望的那樣工作。 有兩種類型的引擎：文本導(dǎo)向(text-directed)的引擎和正則導(dǎo)向(regex-directed)的引擎。Jeffrey Friedl把他們稱作DFA和NFA引擎。本文談到的是正則導(dǎo)向的引擎。這是因?yàn)橐恍┓浅Ｓ杏玫奶匦裕?#8220;惰性”量詞(lazy quantifiers)和反向引用(backreferences)，只能在正則導(dǎo)向的引擎中實(shí)現(xiàn)。所以毫不意外這種引擎是目前最流行的引擎。 你可以輕易分辨出所使用的引擎是文本導(dǎo)向還是正則導(dǎo)向。如果反向引用或“惰性”量詞被實(shí)現(xiàn)，則可以肯定你使用的引擎是正則導(dǎo)向的。你可以作如下測試：將正則表達(dá)式<<regex|regex not>>應(yīng)用到字符串“regex not”。如果匹配的結(jié)果是regex，則引擎是正則導(dǎo)向的。如果結(jié)果是regex not，則是文本導(dǎo)向的。因?yàn)檎齽t導(dǎo)向的引擎是“猴急”的，它會(huì)很急切的進(jìn)行表功，報(bào)告它找到的第一個(gè)匹配 。
· 正則導(dǎo)向的引擎總是返回最左邊的匹配 這是需要你理解的很重要的一點(diǎn)：即使以后有可能發(fā)現(xiàn)一個(gè)“更好”的匹配，正則導(dǎo)向的引擎也總是返回最左邊的匹配。 當(dāng)把<<cat>>應(yīng)用到“He captured a catfish for his cat”，引擎先比較<<c>>和“H”，結(jié)果失敗了。于是引擎再比較<<c>>和“e”，也失敗了。直到第四個(gè)字符，<<c>>匹配了“c”。<<a>>匹配了第五個(gè)字符。到第六個(gè)字符<<t>>沒能匹配“p”，也失敗了。引擎再繼續(xù)從第五個(gè)字符重新檢查匹配性。直到第十五個(gè)字符開始，<<cat>>匹配上了“catfish”中的“cat”，正則表達(dá)式引擎急切的返回第一個(gè)匹配的結(jié)果，而不會(huì)再繼續(xù)查找是否有其他更好的匹配。
5. 字符集 字符集是由一對方括號“[]”括起來的字符集合。使用字符集，你可以告訴正則表達(dá)式引擎僅僅匹配多個(gè)字符中的一個(gè)。如果你想匹配一個(gè)“a”或一個(gè)“e”，使用<<[ae]>>。你可以使用<<gr[ae]y>>匹配gray或grey。這在你不確定你要搜索的字符是采用美國英語還是英國英語時(shí)特別有用。相反，<<gr[ae]y>>將不會(huì)匹配graay或graey。字符集中的字符順序并沒有什么關(guān)系，結(jié)果都是相同的。 你可以使用連字符“-”定義一個(gè)字符范圍作為字符集。<<[0-9]>>匹配0到9之間的單個(gè)數(shù)字。你可以使用不止一個(gè)范圍。<<[0-9a-fA-F] >>匹配單個(gè)的十六進(jìn)制數(shù)字，并且大小寫不敏感。你也可以結(jié)合范圍定義與單個(gè)字符定義。<<[0-9a-fxA-FX]>>匹配一個(gè)十六進(jìn)制數(shù)字或字母X。再次強(qiáng)調(diào)一下，字符和范圍定義的先后順序?qū)Y(jié)果沒有影響。
· 字符集的一些應(yīng)用 查找一個(gè)可能有拼寫錯(cuò)誤的單詞，比如<<sep[ae]r[ae]te>> 或 <<li[cs]en[cs]e>>。 查找程序語言的標(biāo)識符，<<A-Za-z_][A-Za-z_0-9]*>>。(*表示重復(fù)0或多次) 查找C風(fēng)格的十六進(jìn)制數(shù)<<0[xX][A-Fa-f0-9]+>>。(+表示重復(fù)一次或多次)
· 取反字符集 在左方括號“[”后面緊跟一個(gè)尖括號“^”，將會(huì)對字符集取反。結(jié)果是字符集將匹配任何不在方括號中的字符。不像“.”，取反字符集是可以匹配回車換行符的。 需要記住的很重要的一點(diǎn)是，取反字符集必須要匹配一個(gè)字符。<<q[^u]>>并不意味著：匹配一個(gè)q，后面沒有u跟著。它意味著：匹配一個(gè)q，后面跟著一個(gè)不是u的字符。所以它不會(huì)匹配“Iraq”中的q，而會(huì)匹配“Iraq is a country”中的q和一個(gè)空格符。事實(shí)上，空格符是匹配中的一部分，因?yàn)樗且粋€(gè)“不是u的字符”。 如果你只想匹配一個(gè)q，條件是q后面有一個(gè)不是u的字符，我們可以用后面將講到的向前查看來解決。
· 字符集中的元字符 需要注意的是，在字符集中只有4個(gè) 字符具有特殊含義。它們是：“] \ ^ -”。“]”代表字符集定義的結(jié)束；“\”代表轉(zhuǎn)義；“^”代表取反；“-”代表范圍定義。其他常見的元字符在字符集定義內(nèi)部都是正常字符，不需要轉(zhuǎn)義。例如，要搜索星號*或加號+，你可以用<<[+*]>>。當(dāng)然，如果你對那些通常的元字符進(jìn)行轉(zhuǎn)義，你的正則表達(dá)式一樣會(huì)工作得很好，但是這會(huì)降低可讀性。 在字符集定義中為了將反斜杠“\”作為一個(gè)文字字符而非特殊含義的字符，你需要用另一個(gè)反斜杠對它進(jìn)行轉(zhuǎn)義。<<[\\x]>>將會(huì)匹配一個(gè)反斜杠和一個(gè)X。“]^-”都可以用反斜杠進(jìn)行轉(zhuǎn)義，或者將他們放在一個(gè)不可能使用到他們特殊含義的位置。我們推薦后者，因?yàn)檫@樣可以增加可讀性。比如對于字符“^”，將它放在除了左括號“[”后面的位置，使用的都是文字字符含義而非取反含義。如<<[x^]>>會(huì)匹配一個(gè)x或^。<<[]x]>>會(huì)匹配一個(gè)“]”或“x”。<<[-x]>>或<<[x-]>>都會(huì)匹配一個(gè)“-”或“x”。
· 字符集的簡寫 因?yàn)橐恍┳址浅３Ｓ?，所以有一些簡寫方式?/p> <<\d>>代表<<[0-9]>>; <<\w>>代表單詞字符。這個(gè)是隨正則表達(dá)式實(shí)現(xiàn)的不同而有些差異。絕大多數(shù)的正則表達(dá)式實(shí)現(xiàn)的單詞字符集都包含了<<A-Za-z0-9_]>>。 <<\s>>代表“白字符”。這個(gè)也是和不同的實(shí)現(xiàn)有關(guān)的。在絕大多數(shù)的實(shí)現(xiàn)中，都包含了空格符和Tab符，以及回車換行符<<\r\n>>。 字符集的縮寫形式可以用在方括號之內(nèi)或之外。<<\s\d>>匹配一個(gè)白字符后面緊跟一個(gè)數(shù)字。<<[\s\d]>>匹配單個(gè)白字符或數(shù)字。<<[\da-fA-F]>>將匹配一個(gè)十六進(jìn)制數(shù)字。 取反字符集的簡寫 <<[\S]>> = <<[^\s]>> <<[\W]>> = <<[^\w]>> <<[\D]>> = <<[^\d]>> · 字符集的重復(fù) 如果你用“?*+”操作符來重復(fù)一個(gè)字符集，你將會(huì)重復(fù)整個(gè)字符集。而不僅是它匹配的那個(gè)字符。正則表達(dá)式<<[0-9]+>>會(huì)匹配837以及222。 如果你僅僅想重復(fù)被匹配的那個(gè)字符，可以用向后引用達(dá)到目的。我們以后將講到向后引用。
6. 使用?*或+ 進(jìn)行重復(fù) ：告訴引擎匹配前導(dǎo)字符0次或一次。事實(shí)上是表示前導(dǎo)字符是可選的。 +：告訴引擎匹配前導(dǎo)字符1次或多次 *：告訴引擎匹配前導(dǎo)字符0次或多次 <[A-Za-z][A-Za-z0-9]*>匹配沒有屬性的HTML標(biāo)簽，“<”以及“>”是文字符號。第一個(gè)字符集匹配一個(gè)字母，第二個(gè)字符集匹配一個(gè)字母或數(shù)字。 我們似乎也可以用<[A-Za-z0-9]+>。但是它會(huì)匹配<1>。但是這個(gè)正則表達(dá)式在你知道你要搜索的字符串不包含類似的無效標(biāo)簽時(shí)還是足夠有效的。
· 限制性重復(fù) 許多現(xiàn)代的正則表達(dá)式實(shí)現(xiàn)，都允許你定義對一個(gè)字符重復(fù)多少次。詞法是：{min,max}。min和max都是非負(fù)整數(shù)。如果逗號有而max被忽略了，則max沒有限制。如果逗號和max都被忽略了，則重復(fù)min次。 因此{(lán)0,}和*一樣，{1，}和+ 的作用一樣。 你可以用<<\b[1-9][0-9]{3}\b>>匹配1000~9999之間的數(shù)字(“\b”表示單詞邊界)。<<\b[1-9][0-9]{2,4}\b>>匹配一個(gè)在100~99999之間的數(shù)字。
· 注意貪婪性 假設(shè)你想用一個(gè)正則表達(dá)式匹配一個(gè)HTML標(biāo)簽。你知道輸入將會(huì)是一個(gè)有效的HTML文件，因此正則表達(dá)式不需要排除那些無效的標(biāo)簽。所以如果是在兩個(gè)尖括號之間的內(nèi)容，就應(yīng)該是一個(gè)HTML標(biāo)簽。 許多正則表達(dá)式的新手會(huì)首先想到用正則表達(dá)式<< <.+> >>，他們會(huì)很驚訝的發(fā)現(xiàn)，對于測試字符串，“This is a <EM>first</EM> test”，你可能期望會(huì)返回<EM>，然后繼續(xù)進(jìn)行匹配的時(shí)候，返回</EM>。 但事實(shí)是不會(huì)。正則表達(dá)式將會(huì)匹配“<EM>first</EM>”。很顯然這不是我們想要的結(jié)果。原因在于“+”是貪婪的。也就是說，“+”會(huì)導(dǎo)致正則表達(dá)式引擎試圖盡可能的重復(fù)前導(dǎo)字符。只有當(dāng)這種重復(fù)會(huì)引起整個(gè)正則表達(dá)式匹配失敗的情況下，引擎會(huì)進(jìn)行回溯。也就是說，它會(huì)放棄最后一次的“重復(fù)”，然后處理正則表達(dá)式余下的部分。 和“+”類似，“?*”的重復(fù)也是貪婪的。
· 深入正則表達(dá)式引擎內(nèi)部 讓我們來看看正則引擎如何匹配前面的例子。第一個(gè)記號是“<”，這是一個(gè)文字符號。第二個(gè)符號是“.”，匹配了字符“E”，然后“+”一直可以匹配其余的字符，直到一行的結(jié)束。然后到了換行符，匹配失敗(“.”不匹配換行符)。于是引擎開始對下一個(gè)正則表達(dá)式符號進(jìn)行匹配。也即試圖匹配“>”。到目前為止，“<.+”已經(jīng)匹配了“<EM>first</EM> test”。引擎會(huì)試圖將“>”與換行符進(jìn)行匹配，結(jié)果失敗了。于是引擎進(jìn)行回溯。結(jié)果是現(xiàn)在“<.+”匹配“<EM>first</EM> tes”。于是引擎將“>”與“t”進(jìn)行匹配。顯然還是會(huì)失敗。這個(gè)過程繼續(xù)，直到“<.+”匹配“<EM>first</EM”，“>”與“>”匹配。于是引擎找到了一個(gè)匹配“<EM>first</EM>”。記住，正則導(dǎo)向的引擎是“急切的”，所以它會(huì)急著報(bào)告它找到的第一個(gè)匹配。而不是繼續(xù)回溯，即使可能會(huì)有更好的匹配，例如“<EM>”。所以我們可以看到，由于“+”的貪婪性，使得正則表達(dá)式引擎返回了一個(gè)最左邊的最長的匹配。
· 用懶惰性取代貪婪性 一個(gè)用于修正以上問題的可能方案是用“+”的惰性代替貪婪性。你可以在“+”后面緊跟一個(gè)問號“?”來達(dá)到這一點(diǎn)。“*”，“{}”和“?”表示的重復(fù)也可以用這個(gè)方案。因此在上面的例子中我們可以使用“<.+?>”。讓我們再來看看正則表達(dá)式引擎的處理過程。 再一次，正則表達(dá)式記號“<”會(huì)匹配字符串的第一個(gè)“<”。下一個(gè)正則記號是“.”。這次是一個(gè)懶惰的“+”來重復(fù)上一個(gè)字符。這告訴正則引擎，盡可能少的重復(fù)上一個(gè)字符。因此引擎匹配“.”和字符“E”，然后用“>”匹配“M”，結(jié)果失敗了。引擎會(huì)進(jìn)行回溯，和上一個(gè)例子不同，因?yàn)槭嵌栊灾貜?fù)，所以引擎是擴(kuò)展惰性重復(fù)而不是減少，于是“<.+”現(xiàn)在被擴(kuò)展為“<EM”。引擎繼續(xù)匹配下一個(gè)記號“>”。這次得到了一個(gè)成功匹配。引擎于是報(bào)告“<EM>”是一個(gè)成功的匹配。整個(gè)過程大致如此。
· 惰性擴(kuò)展的一個(gè)替代方案 我們還有一個(gè)更好的替代方案?？梢杂靡粋€(gè)貪婪重復(fù)與一個(gè)取反字符集：“<[^>]+>”。之所以說這是一個(gè)更好的方案在于使用惰性重復(fù)時(shí)，引擎會(huì)在找到一個(gè)成功匹配前對每一個(gè)字符進(jìn)行回溯。而使用取反字符集則不需要進(jìn)行回溯。 最后要記住的是，本教程僅僅談到的是正則導(dǎo)向的引擎。文本導(dǎo)向的引擎是不回溯的。但是同時(shí)他們也不支持惰性重復(fù)操作。
7. 使用“.”匹配幾乎任意字符 在正則表達(dá)式中，“.”是最常用的符號之一。不幸的是，它也是最容易被誤用的符號之一。 “.”匹配一個(gè)單個(gè)的字符而不用關(guān)心被匹配的字符是什么。唯一的例外是新行符。在本教程中談到的引擎，缺省情況下都是不匹配新行符的。因此在缺省情況下，“.”等于是字符集[^\n\r](Window)或[^\n]( Unix)的簡寫。 這個(gè)例外是因?yàn)闅v史的原因。因?yàn)樵缙谑褂谜齽t表達(dá)式的工具是基于行的。它們都是一行一行的讀入一個(gè)文件，將正則表達(dá)式分別應(yīng)用到每一行上去。在這些工具中，字符串是不包含新行符的。因此“.”也就從不匹配新行符。 現(xiàn)代的工具和語言能夠?qū)⒄齽t表達(dá)式應(yīng)用到很大的字符串甚至整個(gè)文件上去。本教程討論的所有正則表達(dá)式實(shí)現(xiàn)都提供一個(gè)選項(xiàng)，可以使“.”匹配所有的字符，包括新行符。在RegexBuddy, EditPad Pro或PowerGREP等工具中，你可以簡單的選中“點(diǎn)號匹配新行符”。在Perl中，“.”可以匹配新行符的模式被稱作“單行模式”。很不幸，這是一個(gè)很容易混淆的名詞。因?yàn)檫€有所謂“多行模式”。多行模式只影響行首行尾的錨定(anchor)，而單行模式只影響“.”。 其他語言和正則表達(dá)式庫也采用了Perl的術(shù)語定義。當(dāng)在.NET Framework中使用正則表達(dá)式類時(shí)，你可以用類似下面的語句來激活單行模式：Regex.Match(“string”,”regex”,RegexOptions.SingleLine)
· 保守的使用點(diǎn)號“.” 點(diǎn)號可以說是最強(qiáng)大的元字符。它允許你偷懶：用一個(gè)點(diǎn)號，就能匹配幾乎所有的字符。但是問題在于，它也常常會(huì)匹配不該匹配的字符。 我會(huì)以一個(gè)簡單的例子來說明。讓我們看看如何匹配一個(gè)具有“mm/dd/yy”格式的日期，但是我們想允許用戶來選擇分隔符。很快能想到的一個(gè)方案是<<\d\d.\d\d.\d\d>>?？瓷先ニ芷ヅ淙掌?#8220;02/12/03”。問題在于02512703也會(huì)被認(rèn)為是一個(gè)有效的日期。 <<\d\d[-/.]\d\d[-/.]\d\d>>看上去是一個(gè)好一點(diǎn)的解決方案。記住點(diǎn)號在一個(gè)字符集里不是元字符。這個(gè)方案遠(yuǎn)不夠完善，它會(huì)匹配“99/99/99”。而<<[0-1]\d[-/.][0-3]\d[-/.]\d\d>>又更進(jìn)一步。盡管他也會(huì)匹配“19/39/99”。你想要你的正則表達(dá)式達(dá)到如何完美的程度取決于你想達(dá)到什么樣的目的。如果你想校驗(yàn)用戶輸入，則需要盡可能的完美。如果你只是想分析一個(gè)已知的源，并且我們知道沒有錯(cuò)誤的數(shù)據(jù)，用一個(gè)比較好的正則表達(dá)式來匹配你想要搜尋的字符就已經(jīng)足夠。
8. 字符串開始和結(jié)束的錨定 錨定和一般的正則表達(dá)式符號不同，它不匹配任何字符。相反，他們匹配的是字符之前或之后的位置。“^”匹配一行字符串第一個(gè)字符前的位置。<<^a>>將會(huì)匹配字符串“abc”中的a。<<^b>>將不會(huì)匹配“abc”中的任何字符。 類似的，$匹配字符串中最后一個(gè)字符的后面的位置。所以<<c$>>匹配“abc”中的c。
· 錨定的應(yīng)用 在編程語言中校驗(yàn)用戶輸入時(shí)，使用錨定是非常重要的。如果你想校驗(yàn)用戶的輸入為整數(shù)，用<<^\d+$>>。 用戶輸入中，常常會(huì)有多余的前導(dǎo)空格或結(jié)束空格。你可以用<<^\s*>>和<<\s*$>>來匹配前導(dǎo)空格或結(jié)束空格。
· 使用“^”和“$”作為行的開始和結(jié)束錨定 如果你有一個(gè)包含了多行的字符串。例如：“first line\n\rsecond line”(其中\(zhòng)n\r表示一個(gè)新行符)。常常需要對每行分別處理而不是整個(gè)字符串。因此，幾乎所有的正則表達(dá)式引擎都提供一個(gè)選項(xiàng)，可以擴(kuò)展這兩種錨定的含義。“^”可以匹配字串的開始位置(在f之前)，以及每一個(gè)新行符的后面位置(在\n\r和s之間)。類似的，$會(huì)匹配字串的結(jié)束位置(最后一個(gè)e之后)，以及每個(gè)新行符的前面(在e與\n\r之間)。 在.NET中，當(dāng)你使用如下代碼時(shí)，將會(huì)定義錨定匹配每一個(gè)新行符的前面和后面位置：Regex.Match("string", "regex", RegexOptions.Multiline) 應(yīng)用：string str = Regex.Replace(Original, "^", "> ", RegexOptions.Multiline)--將會(huì)在每行的行首插入“> ”。
· 絕對錨定 <<\A>>只匹配整個(gè)字符串的開始位置，<<\Z>>只匹配整個(gè)字符串的結(jié)束位置。即使你使用了“多行模式”，<<\A>>和<<\Z>>也從不匹配新行符。 即使\Z和$只匹配字符串的結(jié)束位置，仍然有一個(gè)例外的情況。如果字符串以新行符結(jié)束，則\Z和$將會(huì)匹配新行符前面的位置，而不是整個(gè)字符串的最后面。這個(gè)“改進(jìn)”是由Perl引進(jìn)的，然后被許多的正則表達(dá)式實(shí)現(xiàn)所遵循，包括Java，.NET等。如果應(yīng)用<<^[a-z]+$>>到“joe\n”，則匹配結(jié)果是“joe”而不是“joe\n”。 |
|
|
