Hiện tại có rất nhiều công việc liên quan đến xử lý văn bản tiếng Nhật. Bạn muốn lấy danh sách các danh từ, muốn lấy cách đọc chữ Hán hay muốn đổi động từ, tính từ về dạng từ điển để thuận lợi cho việc tìm kiếm. Tất cả các công việc này đều có thể thực hiện dễ dàng với Atikila Kuromoji.

Atilika Kuromoji  là phần mở rộng hơn dựa trên nền tảng Mecab, 1 trong những engine phân tích ngôn ngữ học tiếng Nhật phổ biến nhất. Mecab lúc đầu phát triển dựa theo ChaSen nên có tên là ChaSenTNG,nhưng về sau đã được tách ra phát triển độc lập.

1.Atilika Kuromoji

Mô tả:

• Kuromoji là mã nguồn mở được viết bằng java, hỗ trợ phân tích ngôn ngữ học tiếng Nhật
• Hiện tại ngoài từ điển mặc định (kuromoji-ipadic) Kuromoji hỗ trợ các loại từ điển khác là - IPADIC (2.7.0-20070801)
• IPADIC NEologd (2.7.0-20070801-neologd-20151224)
• JUMANDIC (7.0-20130310)
• NAIST jdic (0.6.3b-20111013)
• UniDic (2.1.2)
• UniDic Kana Accent (2.1.2)
• UniDic NEologd (2.1.2-neologd-20151224)

Việc lựa chọn từ điển phụ thuộc vào ứng dụng của bạn. Đặc biệt đối với các ứng dụng cần danh sách từ vựng mới thì có thể sử dụng từ điển như mecab-unidic-NEologd ( được cập nhật 2 lần mỗi tuần , crawl từ dữ liệu trên internet và 1 số nguồn khác. Chi tiết xem tại unidic-neologd )

Các chức năng chính:

• Phân tích đoạn văn bản thành từ vựng
• Phân nhóm từ vựng
• Nhận dạng sự biến đổi của từ
• Hỗ trợ cách đọc chữ Hán

2.Example:

Cài đặt

Thêm nội dung bên dưới vào file pom.xml

com.atilika.kuromoji kuromoji-ipadic 0.9.0

Example 1:　 In ra các từ vựng trong câu “日本は最高の国です。”

import org.atilika.kuromoji.Token; import org.atilika.kuromoji.Tokenizer; public class KuromojiExample {     public static void main(String[] args) {         Tokenizer tokenizer = Tokenizer.builder().build();         for (Token token : tokenizer.tokenize("日本は最高の国です。")) {             System.out.println(token.getSurfaceForm());         }     } }

Output

日本 は 最高 の 国 です 。

Example 2: In ra các danh từ trong câu “母は息子をほこりに思っている”

import org.atilika.kuromoji.Token; import org.atilika.kuromoji.Tokenizer; public class KuromojiExample { public static void main(String[] args) { Tokenizer tokenizer = Tokenizer.builder().build(); for (Token token : tokenizer.tokenize("母は息子をほこりに思っている")) { String pos = token.getPartOfSpeech().split(",")[0]; if ("名詞".equals(pos)) { System.out.println(token.getSurfaceForm()); } } } }

Output

母 息子 ほこり

Example 3:　 In ra các từ vựng và toàn bộ các thông tin có thể lấy được  “日本は最高の国です。”

import org.atilika.kuromoji.Token; import org.atilika.kuromoji.Tokenizer; public class KuromojiExample { public static void main(String[] args) { Tokenizer tokenizer = Tokenizer.builder().build(); for (Token token : tokenizer.tokenize("日本は最高の国です。")) { System.out.println(token.getSurfaceForm() + "\t" + token.getAllFeatures()); } } }

Output

日本 名詞,固有名詞,地域,国,,,日本,ニッポン,ニッポン は 助詞,係助詞,,,,,は,ハ,ワ 最高 名詞,一般,,,,,最高,サイコウ,サイコー の 助詞,連体化,,,,,の,ノ,ノ 国 名詞,一般,,,,,国,クニ,クニ です 助動詞,,,,特殊・デス,基本形,です,デス,デス 。 記号,句点,,,,*,。,。,。

3. Định dạng Output

Ví dụ kết quả ứng với từ 日本

名詞,固有名詞,地域,国,,,日本,ニッポン,ニッポン

4. Kuromori Function:

Về cơ bản chỉ sử dụng 2 class Token và Tokenizer
Class Tokenizer phân tích văn bản thành các từ vựng ( token)
Class Token chứa các phương thức để lấy thông tin

getSurfaceForm() Trả lại từ vựng (token) getPartOfSpeech() Trả lại loại từ ( danh từ, động từ , tính từ …) getBaseForm() Trả lại dạng nguyên bản của từ. (Động từ thể từ điển) getReading() Trả lại cách đọc cho từ. isKnown()、isUnknown() Trả lại giá trị boolean, có hay không từ vựng này trong từ điển. isUser() Trả lại có từ này trong từ điển riêng của người dùng không. getAllFeatures()、getAllFeaturesArray() Trả lại toàn bộ thông tin dạng String hoặc String[]

5. Thay đổi Mode

Kujomoji hỗ trợ 3 hình thức phân tách dữ liệu
Mode.NORMAL  (default)
Mode.SEARCH
Mode.EXTENDED

Builder builder = Tokenizer.builder(); // Normal mode default builder.mode(Mode.NORMAL); Tokenizer normal = builder.build(); // Search mode builder.mode(Mode.SEARCH); Tokenizer search = builder.build(); // Extends mode builder.mode(Mode.EXTENDED); Tokenizer extended = builder.build();

6. Sử dụng từ điển** riêng**

Ngoài các từ điển được hỗ trợ sẵn, chúng ta cũng có thể sử dụng từ điển tự định nghĩa.

Builder builder = Tokenizer.builder(); builder.userDictionary("userdic.txt");

Kết luận

Atilika Kuromoji cực kỳ hữu ích với các yêu cầu trích xuất dữ liệu, phân tích văn bản. Khả năng tích hợp cũng như sử dụng dễ dàng. Đặc biệt hoàn toàn là mã nguồn mở. Hệ thống từ điển được hỗ trợ cũng đa dạng và vẫn tiếp tục được bổ sung, cập nhật.

Tuy nhiên do đặc thù từ vựng cũng như sự phức tạp của tiếng Nhật, dữ liệu output sẽ không thể 100% chính xác như mong đợi. Việc sót các cụm từ là tên riêng, các từ mới chưa được cập nhật hay nhận dạng từ không chuẩn là vẫn có. Vì thế nên khi sử dụng cũng cần chú ý cho phép có sai số ở mức độ nào đó.

** Thông tin tham khảo**

(*1) Hệ thống từ loại IPA

Ví dụ

Tham khảo

• http://www.atilika.org
• https://github.com/atilika/kuromoji
• http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html#diff
• http://manapedia.jp/text/1364