From 3cd7a8f7f2741d966fa9bea2dcaced4376c2e277 Mon Sep 17 00:00:00 2001
From: Peng Huang <shawn.p.huang@gmail.com>
Date: Sun, 16 May 2010 11:45:58 +0800
Subject: Add punct.py

---
 scripts/punct.py | 100 +++++++++++++++++++++++++++++++++++++++++++++++++++++++
 1 file changed, 100 insertions(+)
 create mode 100644 scripts/punct.py

(limited to 'scripts/punct.py')

diff --git a/scripts/punct.py b/scripts/punct.py
new file mode 100644
index 0000000..a40805b
--- /dev/null
+++ b/scripts/punct.py
@@ -0,0 +1,100 @@
+# vim:set et sts=4:
+# -*- coding: utf-8 -*-
+
+punct_map = (
+    (u'', (u'，', u'。', u'「', u'」', u'、', u'：', u'；', u'？', u'！',)),
+    (u'!', (u'！', u'﹗', u'‼', u'⁉',)),
+    (u'"', (u'“', u'”', u'＂',)),
+    (u'#', (u'＃', u'﹟', u'♯',)),
+    (u'$', (u'＄', u'€', u'﹩', u'￠', u'￡', u'￥',)),
+    (u'%', (u'％', u'﹪', u'‰', u'‱', u'㏙', u'㏗',)),
+    (u'&', (u'＆', u'﹠',)),
+    (u'(', (u'（', u'︵', u'﹙',)),
+    (u')', (u'）', u'︶', u'﹚',)),
+    (u'*', (u'＊', u'×', u'※', u'╳', u'﹡', u'⁎', u'⁑', u'⁂', u'⌘',)),
+    (u'+', (u'＋', u'±', u'﹢',)),
+    (u',', (u'，', u'、', u'﹐', u'﹑',)),
+    (u'-', (u'…', u'—', u'－', u'¯', u'﹉', u'￣', u'﹊', u'ˍ', u'–', u'‥',)),
+    (u'.', (u'。', u'·', u'‧', u'﹒', u'．',)),
+    (u'/', (u'／', u'÷', u'↗', u'↙', u'∕',)),
+    (u'0', (u'０',)),
+    (u'1', (u'１',)),
+    (u'2', (u'２',)),
+    (u'3', (u'３',)),
+    (u'4', (u'４',)),
+    (u'5', (u'５',)),
+    (u'6', (u'６',)),
+    (u'7', (u'７',)),
+    (u'8', (u'８',)),
+    (u'9', (u'９',)),
+    (u':', (u'：', u'︰', u'﹕',)),
+    (u';', (u'；', u'﹔',)),
+    (u'<', (u'＜', u'〈', u'《', u'︽', u'︿', u'﹤',)),
+    (u'=', (u'＝', u'≒', u'≠', u'≡', u'≦', u'≧', u'﹦',)),
+    (u'>', (u'＞', u'〉', u'》', u'︾', u'﹀', u'﹥',)),
+    (u'?', (u'？', u'﹖', u'⁇', u'⁈',)),
+    (u'@', (u'＠', u'⊕', u'⊙', u'㊣', u'﹫', u'◉', u'◎',)),
+    (u'A', (u'Ａ',)),
+    (u'B', (u'Ｂ',)),
+    (u'C', (u'Ｃ',)),
+    (u'D', (u'Ｄ',)),
+    (u'E', (u'Ｅ',)),
+    (u'F', (u'Ｆ',)),
+    (u'G', (u'Ｇ',)),
+    (u'H', (u'Ｈ',)),
+    (u'I', (u'Ｉ',)),
+    (u'J', (u'Ｊ',)),
+    (u'K', (u'Ｋ',)),
+    (u'L', (u'Ｌ',)),
+    (u'M', (u'Ｍ',)),
+    (u'N', (u'Ｎ',)),
+    (u'O', (u'Ｏ',)),
+    (u'P', (u'Ｐ',)),
+    (u'Q', (u'Ｑ',)),
+    (u'R', (u'Ｒ',)),
+    (u'S', (u'Ｓ',)),
+    (u'T', (u'Ｔ',)),
+    (u'U', (u'Ｕ',)),
+    (u'V', (u'Ｖ',)),
+    (u'W', (u'Ｗ',)),
+    (u'X', (u'Ｘ',)),
+    (u'Y', (u'Ｙ',)),
+    (u'Z', (u'Ｚ',)),
+    (u'[', (u'「', u'［', u'『', u'【', u'｢', u'︻', u'﹁', u'﹃',)),
+    (u'\'', (u'、', u'‘', u'’',)),
+    (u'\\', (u'＼', u'↖', u'↘', u'﹨',)),
+    (u']', (u'」', u'］', u'』', u'】', u'｣', u'︼', u'﹂', u'﹄',)),
+    (u'^', (u'︿', u'〈', u'《', u'︽', u'﹤', u'＜',)),
+    (u'_', (u'＿', u'╴', u'←', u'→',)),
+    (u'`', (u'‵', u'′',)),
+    (u'a', (u'ａ',)),
+    (u'b', (u'ｂ',)),
+    (u'c', (u'ｃ',)),
+    (u'd', (u'ｄ',)),
+    (u'e', (u'ｅ',)),
+    (u'f', (u'ｆ',)),
+    (u'g', (u'ｇ',)),
+    (u'h', (u'ｈ',)),
+    (u'i', (u'ｉ',)),
+    (u'j', (u'ｊ',)),
+    (u'k', (u'ｋ',)),
+    (u'l', (u'ｌ',)),
+    (u'm', (u'ｍ',)),
+    (u'n', (u'ｎ',)),
+    (u'o', (u'ｏ',)),
+    (u'p', (u'ｐ',)),
+    (u'q', (u'ｑ',)),
+    (u'r', (u'ｒ',)),
+    (u's', (u'ｓ',)),
+    (u't', (u'ｔ',)),
+    (u'u', (u'ｕ',)),
+    (u'v', (u'ｖ',)),
+    (u'w', (u'ｗ',)),
+    (u'x', (u'ｘ',)),
+    (u'y', (u'ｙ',)),
+    (u'z', (u'ｚ',)),
+    (u'{', (u'｛', u'︷', u'﹛', u'〔', u'﹝', u'︹',)),
+    (u'|', (u'｜', u'↑', u'↓', u'∣', u'∥', u'︱', u'︳', u'︴', u'￤',)),
+    (u'}', (u'｝', u'︸', u'﹜', u'〕', u'﹞', u'︺',)),
+    (u'~', (u'～', u'﹋', u'﹌',)),
+)
-- 
cgit 


From acf0cdaca6d0c75359f90f4a888c6c99fc47c49b Mon Sep 17 00:00:00 2001
From: Peng Huang <shawn.p.huang@gmail.com>
Date: Mon, 17 May 2010 07:12:59 +0800
Subject: Fix the order of punct_table

---
 scripts/punct.py | 2 +-
 1 file changed, 1 insertion(+), 1 deletion(-)

(limited to 'scripts/punct.py')

diff --git a/scripts/punct.py b/scripts/punct.py
index a40805b..b67e838 100644
--- a/scripts/punct.py
+++ b/scripts/punct.py
@@ -9,6 +9,7 @@ punct_map = (
     (u'$', (u'＄', u'€', u'﹩', u'￠', u'￡', u'￥',)),
     (u'%', (u'％', u'﹪', u'‰', u'‱', u'㏙', u'㏗',)),
     (u'&', (u'＆', u'﹠',)),
+    (u'\'', (u'、', u'‘', u'’',)),
     (u'(', (u'（', u'︵', u'﹙',)),
     (u')', (u'）', u'︶', u'﹚',)),
     (u'*', (u'＊', u'×', u'※', u'╳', u'﹡', u'⁎', u'⁑', u'⁂', u'⌘',)),
@@ -61,7 +62,6 @@ punct_map = (
     (u'Y', (u'Ｙ',)),
     (u'Z', (u'Ｚ',)),
     (u'[', (u'「', u'［', u'『', u'【', u'｢', u'︻', u'﹁', u'﹃',)),
-    (u'\'', (u'、', u'‘', u'’',)),
     (u'\\', (u'＼', u'↖', u'↘', u'﹨',)),
     (u']', (u'」', u'］', u'』', u'】', u'｣', u'︼', u'﹂', u'﹄',)),
     (u'^', (u'︿', u'〈', u'《', u'︽', u'﹤', u'＜',)),
-- 
cgit