Tiềm lực KH&CN Thứ bảy, 27/04/2024 , 02:23 pm
Cập nhật : 27/12/2023 , 14:12(GMT +7)
Các nhà khoa học phát triển thành công hệ thống dịch thuật lấy tiếng Việt làm trung tâm
Viện Công nghệ Thông tin thuộc Viện Hàn lâm Khoa học và Công nghệ Việt Nam đã phát triển thành công hệ thống dịch thuật lấy tiếng Việt làm trung tâm, có khả năng dịch thuật hai chiều giữa tiếng Việt và các ngôn ngữ nghèo tài nguyên của khu vực Đông Nam Á với chất lượng tương đương với các sản phẩm thương mại nổi tiếng trên thế giới.

Các nhà khoa học đã thành công trong việc ứng dụng các kỹ thuật xử lý ngôn ngữ tự nhiên tiên tiến để xây dựng các mô hình dịch máy tự động có chất lượng cao cho các cặp ngôn ngữ như Việt - Lào, Việt - Khmer, Việt - Thái, Việt - Malaysia và Việt - Indonesia.

Xuất phát từ việc muốn cho ra đời một sản phẩm "made in Viet Nam", có thể được sử dụng thông dụng với nhiều tiện ích, thậm chí có thể thay thế các sản phẩm dịch tự động nước ngoài, nhóm nghiên cứu thuộc Viện Công nghệ thông tin đã chung tay nghiên cứu thành công sau gần 1 năm và cho ra đời Phần mềm dịch ngôn ngữ lấy tiếng Việt làm trung tâm, có khả năng dịch thuật hai chiều giữa tiếng Việt và các ngôn ngữ khác.

Dịch máy (hay còn gọi là dịch tự động) là việc dịch một văn bản từ một ngôn ngữ này (ngôn ngữ nguồn) sang một hoặc nhiều ngôn ngữ khác (ngôn ngữ đích) một cách tự động, không có sự can thiệp của con người trong quá trình dịch. Hiện nay có nhiều sản phẩm dịch tự động được sử dụng phổ biến như Google Translate, Bing Translator… với chất lượng dịch rất tốt cho các câu đơn. Tuy nhiên, các hệ thống dịch máy chất lượng cao này cần các bộ dữ liệu song ngữ quy mô lớn, lên tới hàng triệu cặp câu để huấn luyện mô hình. Việc dịch một đoạn văn bản dài hơn, có tham chiếu thực thể, ngữ cảnh giữa các câu làm ảnh hưởng tới chất lượng dịch, khiến nhiều câu dịch trở nên ngô nghê. 

Bên cạnh đó, các sản phẩm dịch thuật thương mại cũng yêu cầu khách hàng trả tiền theo thời gian sử dụng hoặc số lượng câu dịch. Các hệ thống này không có chất lượng dịch tốt đồng đều cho tất cả các cặp ngôn ngữ đặc biệt là các ngôn ngữ nghèo tài nguyên như tiếng dân tộc thiểu số của Việt Nam hoặc các ngôn ngữ hiếm như tiếng Lào, Khmer…

Hiện rất nhiều ngôn ngữ trên thế giới không có đủ tài nguyên như vậy. Việc xây dựng mô hình dịch máy hiệu quả cho những ngôn ngữ nghèo tài nguyên, trong đó có các ngôn ngữ của khu vực Đông Nam Á là công việc hết sức cấp thiết và gặp nhiều thách thức.

Để khắc phục các tồn tại nói trên, nhóm nghiên cứu của Viện Công nghệ thông tin đã phát triển hệ thống dịch thuật lấy tiếng Việt làm trung tâm - một Phần mềm dịch ngôn ngữ có khả năng dịch hai chiều sang các ngôn ngữ nghèo tài nguyên với chất lượng được người sử dụng đánh giá tốt. Ưu điểm của phần mềm này không hạn chế độ dài của văn bản. 

Trong giai đoạn 2022-2023, để tập trung vào một số hợp đồng với đối tác nước ngoài, hệ thống tập trung vào triển khai kỹ thuật mô hình ngôn ngữ lớn (Large Language Models - LLMs) vào việc ưu tiên các cặp ngôn ngữ sau: Việt - Khmer và Khmer - Việt; Việt - Lào và Lào - Việt; Việt - Thái và Thái - Việt; Việt - Indo và Indo - Việt; Việt - Malay và Malay - Việt. Với ngôn ngữ tiếng Anh, hệ thống bảo đảm chất lượng gần tương đương Google Translate.

Do hệ thống được nhóm nghiên cứu tự phát triển, dựa trên hạ tầng kỹ thuật hỗ trợ lưu trữ dữ liệu ngôn ngữ lớn và năng lực siêu tính toán trí tuệ nhân tạo/học máy (AI/ML) mạnh nhất Việt Nam trên dòng chip tiên tiến trên thế giới Nvidia GPU A100 80GB, Viện Công nghệ thông tin hoàn toàn làm chủ các công nghệ liên quan và dễ dàng mở rộng ứng dụng sang các ngôn ngữ đích mới bao gồm các ngôn ngữ dân tộc thiểu số tại Việt Nam (thường là rất nghèo tài nguyên dữ liệu) như tiếng Mường, tiếng Thái… và các ngôn ngữ nước ngoài phổ biến như tiếng Trung, tiếng Pháp, tiếng Nga… khi cần.

Nhóm nghiên cứu định hướng những ngôn ngữ hiếm như tiếng Lào, tiếng Khmer… và sau này là những ngôn ngữ của các dân tộc thiểu số của Việt Nam là tiếng Mường, tiếng Thái… Vì đây là những ngôn ngữ mà nước ngoài không bao giờ làm, và nếu họ có làm thì họ cũng không hiểu đặc thù ngôn ngữ của Việt Nam, mà hiện nay cũng đã có một số đối tác quan tâm. Chúng ta lựa chọn hướng đi là nội địa hóa, nhưng phù hợp với năng lực và hướng đi.

Ngay cả với ngôn ngữ tiếng Anh, hệ thống Phần mềm dịch ngôn ngữ này đảm bảo chất lượng gần tương đương với hệ thống dịch tự động khác đang được sử dụng phổ biến hiện nay.

Tính đến thời điểm hiện tại, hệ thống đã có khả năng dịch hai chiều giữa các cặp ngôn ngữ bao gồm Việt - Lào, Việt - Khmer, Việt - Thái, Việt - Malaysia và Việt - Indonesia. Nhóm nghiên cứu cũng cho biết, hệ thống được nghiên cứu phát triển dựa trên các tiến bộ mới nhất hiện nay trên thế giới trong lĩnh vực xử lý ngôn ngữ tự nhiên nói chung và dịch máy nói riêng. Các ngôn ngữ như tiếng Lào, tiếng Thái và tiếng Khmer mang lại những thách thức rất lớn khi xây dựng mô hình dịch máy, không chỉ vì sự khan hiếm của dữ liệu song ngữ mà còn vì những ngôn ngữ này rất phong phú về mặt hình thái, thiếu sự phân tách từ, phân tách câu và tính đa nghĩa. Tuy nhiên, mô hình dịch máy của Viện CNTT đã học được cách thích ứng với tất cả những đặc điểm đặc biệt này.

Hệ thống dịch máy có thể dễ dàng mở rộng sang các ngôn ngữ đích mới bao gồm các ngôn ngữ dân tộc thiểu số tại Việt Nam (thường là rất nghèo tài nguyên dữ liệu) như tiếng Mường, tiếng Thái,… và cả các ngôn ngữ nước ngoài phổ biến như tiếng Trung, tiếng Pháp, tiếng Nga khi cần. Đặc biệt, hệ thống có khả năng tinh chỉnh để thích ứng với các miền ngôn ngữ chuyên sâu như y tế, luật… theo yêu cầu riêng của đối tác.

PV


Ý kiến của bạn
Tên của bạn : *
E_mail : *
Tiêu đề : *
Nội dung : * (Bạn vui lòng gõ tiếng Việt có dấu)
 
Mã bảo mật :   
   
Các tin khác

   
Xem tin theo ngày
   
 
Xem nhiều nhất

English
Video  
Thăm dò ý kiến
Bạn biết website “truyenthongkhoahoc.vn” qua nguồn thông tin nào?
Bạn bè giới thiệu
Qua Google
Qua sách báo, quảng cáo banner