Báo cáo Nghiên cứu giải pháp tích hợp các kiểu khác nhau của tri thức để cải tiến mô hình mờ TSK trích xuất từ máy học véc-tơ hỗ trợ

52 trang thiennha21 14/04/2022 5630

Download

Bạn đang xem 20 trang mẫu của tài liệu "Báo cáo Nghiên cứu giải pháp tích hợp các kiểu khác nhau của tri thức để cải tiến mô hình mờ TSK trích xuất từ máy học véc-tơ hỗ trợ", để tải tài liệu gốc về máy bạn click vào nút DOWNLOAD ở trên

Tài liệu đính kèm:

bao_cao_nghien_cuu_giai_phap_tich_hop_cac_kieu_khac_nhau_cua.pdf

Nội dung text: Báo cáo Nghiên cứu giải pháp tích hợp các kiểu khác nhau của tri thức để cải tiến mô hình mờ TSK trích xuất từ máy học véc-tơ hỗ trợ

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG CĐ CÔNG NGHỆ THÔNG TIN BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP CƠ SỞ NGHIÊN CỨU GIẢI PHÁP TÍCH HỢP CÁC KIỂU KHÁC NHAU CỦA TRI THỨC ĐỂ CẢI TIẾN MÔ HÌNH MỜ TSK TRÍCH XUẤT TỪ MÁY HỌC VÉC-TƠ HỖ TRỢ Mã số: T2016-07-02 Xác nhận của cơ quan chủ trì đề tài Chủ nhiệm đề tài Nguyễn Đức Hiển Đà Nẵng, 12/2016
i M C C C C i NH C H NH iii NH C NG I iv NH C C C I v HÔNG IN K Q NGHIÊN CỨ vi Ở ĐẦ 1 1. ổng quan 1 2. ính cấp thiết của đề tài 2 3. ục tiêu đề tài 3 4. Cách tiếp cận và phương pháp nghiên cứu 3 5. Đối tượng và phạm vi nghiên cứu 4 6. Nội dung nghiên cứu 4 Chương C Ở H Ô H NH K À HỌC C- 6 1.1. ô hình mờ 6 1.1.1. ô hình mờ amdani 8 1.1.2. ô hình mờ akagi-Sugeno 9 1.2. Cơ sở lý thuyết áy học éc-tơ hỗ trợ 10 1.2.1. áy học éc-tơ hỗ trợ 10 1.2.2. áy học éc-tơ hỗ trợ cho vấn đề tối ưu hóa hồi qui 12 1.3. ự tương tự giữa máy học éc-tơ hỗ trợ và mô hình mờ 13 1.4. rích uất luật mờ t dữ li u dựa trên sự kết hợp máy học và mô hình 15 Chương 2 IỆC HỌC Ô H NH ỚI RI HỨC IÊN NGHIỆ 17 2 ai trò của tri thức tiên nghi m 17 2 2 Học dựa trên sự giải thích (EBL) 18 2 3 Học dựa trên sự thích hợp (R ) 19 2 4 Học quy nạp dựa trên tri thức (K I ) 20 Chương 3 ÍCH HỢP RI HỨC IÊN NGHIỆ ÀO Q R NH HỌC 22 3 Điều ki n đảm bảo tính “có thể diễn dịch được” của mô hình mờ 22 3 2 ích hợp tri thức tiên nghi m trong mô hình mờ dựa trên máy học véc-tơ hỗ trợ 24 Chương 4 Ộ Ố K Q HỰC NGHỆ 27
ii 4 í dụ hồi quy phi tuyến tính 27 4 2 Chuỗi thời gian hỗn loạn ackey-Glass 29 4 3 H thống orenz 32 K ẬN À KI N NGHỊ 35 ÀI IỆ H KH O i
iii DANH M C HÌNH VẼ Hình 1. Cấu trúc của một mô hình mờ 6 Hình 2. Hình ảnh phân lớp với SVM 11 Hình 3. Sự tương đương giữa SVM và Mô hình mờ 14 Hình 4. Sơ đồ khối thuật toán f-SVM .16 Hình 5. Mô hình học EBL 18 Hình 6. Mô hình học RBL 19 Hình 7. Mô hình học KBIL 20 Hình 8. Thuật toán SVM-IF 25 Hình 9. Kết quả mô hình đã tối ưu hóa (RMSE = 0.0183) 28 Hình 10. Kết quả dự đoán trên 200 mẫu dữ liệu thử nghiệm (RMSE = 0.0092) 31 Hình 11. (a) Kết quả mô hình đã tối ưu hóa (RMSE = 0.0043), (b)(c)(d) Các hàm thành viên tương ứng x(t-1), y(t-1) và x(t-1) 33
iv DANH M C BẢNG BIỂU ảng Tập luật trích xuất được từ mô hình đã tối ưu hóa – 4.1 28 ảng 2 So sánh kết quả các mô hình qua thông số RMSE – 4.1 28 ảng 3 Diễn dịch ngôn ngữ cho các luật ở bảng 1 29 ảng 4 Tập luật trích xuất được 800 mẫu dữ liệu huấn luyện – 4.2 30 ảng 5 So sánh kết quả các mô hình qua thông số RMSE – 4.2 31 ảng 6 Tập luật trích xuất được 500 mẫu dữ liệu huấn luyện – 4.3 32 ảng 7 So sánh kết quả các mô hình qua thông số RMSE – 4.3 34
v DANH M C CÁC TỪ VIẾT TẮT SVM Support Vector Machine SOM Self Organizing Map GA Genetic Algorithm EBL explaination-based learning RBL relevance-based learning KBIL Knowledge-based inductive learning SMO Sequential Minimal Optimization SVs Support vectors RMSE Root Mean Squared Error
vi ĐẠI HỌC ĐÀ NẴNG CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG CĐ CÔNG NGHỆ THÔNG TIN Độc lập – Tự do – Hạnh phúc THÔNG TIN KẾT QUẢ NGHIÊN CỨU 1. Thông tin chung: - ên đề tài: NGHIÊN CỨU GIẢI PHÁP TÍCH HỢP CÁC KIỂU KHÁC NHAU CỦA TRI THỨC ĐỂ CẢI TIẾN MÔ HÌNH MỜ TSK TRÍCH XUẤT TỪ MÁY HỌC VÉC-TƠ HỖ TRỢ - ã số: T2016-07-02 - Chủ nhi m: NG ỄN ĐỨC HI N - Thành viên tham gia: không có - Cơ quan chủ trì: RƯ NG C O ĐẲNG CÔNG NGHỆ HÔNG IN - hời gian thực hi n: 01/2016 – 12/2016 2. Mục tiêu: Nghiên cứu giải pháp tích hợp các kiểu khác nhau của tri thức với mô hình mờ K hướng dữ li u (data-driven models) trích uất t máy học véc-tơ hỗ trợ cho bài toán dự báo hồi quy nhằm cải tiến hi u quả của mô hình 3. Tính mới và sáng tạo: Đề uất thuật toán tích hợp tri thức tiên nghi m trong quá trình trích uất mô hình mờ K t máy học éc-tơ hỗ trợ hồi quy; qua đó cải thi n hi u quả, cụ thể là tính diễn dịch, của mô hình mờ trích uất được 4. Tóm tắt kết quả nghiên cứu: Đối với lý thuyết mô hình mờ (fuzzy modelling) và máy học Véc-tơ hỗ trợ, đề tài đã nghiên cứu những lý thuyết toán học cơ bản của mô hình mờ K, và của mô hình máy học cho bài toán phân lớp và bài toán tối ưu hóa hồi quy Đối với vai trò của tri thức tiên nghi m, đề tài đã nghiên cứu vai trò của tri thức tiên nghi m trong vi c học mô hình mờ và các kịch bản tích hợp tri thức tiên nghi m vào quá trình học mô hình mờ để cải thi n hi u quả mô hình. Đối với pháp tích hợp tri thức tiên nghi m vào mô hình mờ K trích uát t máy học véc-tơ hỗ trợ hồi quy, đề tài đã phân tích và đề uất thuật toán mới -IF. Đề tài cũng đã tiến hành thực nghi m thuật toán đề uất trên một số bài toán ví dụ và phân tích, đánh giá kết quả kết hợp so sánh với một số mô hình có trước khác
vii 5. Tên sản phẩm: ài báo khoa học đăng trên kỷ yếu Hội thảo nghiên cứu khoa học: CÔNG NGHỆ HÔNG IN À ỨNG NG CÔNG NGHỆ HÔNG IN RONG C C ĨNH ỰC - ẦN HỨ 5 – CI ’20 6 Tên bài báo: Cải thiện mô hình mờ với tri thức tiên nghệm Thuật toán trích uất luật mờ t máy học éc-tơ hỗ trợ ( -IF) và một số kết quả thực nghi m với mô hình mờ trích uất được ột báo cáo tổng kết đề tài nghiên cứu khoa học 6. Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp dụng: Hi u quả về mặt giáo dục - đào tạo: Kỹ thuật trích uất luật mờ t dữ li u dựa trên máy học véc-tơ hỗ trợ với thuật toán -IF là một hướng để sinh viên ngành CN có thể phát triển các ứng dụng kha phá dữ li u, h chuyên gia, . Hi u quả về mặt khoa học: đóng góp của đề tài là đề uất một thuật toán (SVM-IF) cho phép trích uất mô hình mờ K t máy học véc-tơ hỗ trợ hồi qui có tích hợp tri thức tiên nghi m để cải thi n hi u quả của mô hình ề sản phẩm ứng dụng: huật toán đề uất là cơ sở để ây dựng mô hình mờ dạng luật, ây dựng h thống hỗ trợ phân tích dữ li u, h chuyên gia dự đoán, dự báo. 7. Hình ảnh, sơ đồ minh họa chính
viii Hình 3. Sự tương đương giữa SVM và Mô hình mờ Begin Khởi tạo các tham số của SVMs Centers : 푖, 푖 = 1. . Variances : 휎푖, 푖 = 1. . Trích xuất luật mờ t SVMs IF x is Gaussmf( 푖, 휎푖) THEN y is B Tối ưu hóa − 2 − 2 휎 푡 + 1 = 휎 푡 + 훿휀 푒 − 푖 푖 1,푖 휎3 2휎2 − − − 2 푡 + 1 = 푡 + 훿휀 푒 − 푖 푖 1,푖 휎2 2휎2 End Hình. 4. ơ đồ khối thuật toán f-SVM.
ix 1. Procedure ModelExtraction(ℋ, k, tol) 2. Khởi tạo các giá trị tham số: , , , 3. while error>tol do 4. = ∑ 1 − , + 5. = { − − , { , , }} 6. InterpretabilityTest(SV, n, σ, k) − 7. Điều chỉnh ma trận kernel: = , − 〈 〉 , ( ) = ∑ 〈 , ( )〉 8. = [‖ − ℋ‖2] 9. = + 10. end while − 2 − 2 11. + 1 = + − 1, 3 2 2 − − − 2 12. + 1 = + − 1, 2 2 2 ∑ ( − ) , 13. return = ∑ ( − ) 14. end procedure 15. Procedure InterpretabilityTest(SV, n, σ, k) 16. repeat 2 2 17. Tính độ sự tương tự giữa các cặp tập mờ: ( , ) = 2 2 − 2 18. Lựa chọn môt cặp tập mờ và sao cho ( , ) = , { ( , )} 19. if ( , ) then 20. Gộp cặp tập mờ và thành một tập mờ mới 21. end if 22. until không còn căp tập mờ nào có độ đo sự tương tự ( , ) 23. end procedure Hình 4. huật toán -IF
x Bảng 1. ập luật trích uất được t mô hình đã tối ưu hóa – 4.1 Hình 5. Kết quả mô hình đã tối ưu hóa (RMSE = 0.0183) (a) (b) Hình 6. Kết quả dự đoán trên 200 mẫu dữ li u thử nghi m (RMSE = 0.0092) Bảng 5. o sánh kết quả các mô hình qua thông số R E – 4.2 ố luật ô hình áp dụng mờ ANFIS RBF SVM ô hình đề uất
xi SVM-IF -10 -10 170 <10 0.0042 0.0540 <10 6 0.0034 0.0082 0.0509 0.0076 5 0.0041 0.0086 0.0635 0.0090 4 0.0050 0.0091 0.0748 0.0091 3 0.0074 0.0141 0.1466 0.0092 2 0.0087 0.0191 0.1955 0.0088 Hình 7. (a) Kết quả mô hình đã tối ưu hóa (RMSE = 0.0043), (b)(c)(d) Các hàm thành viên tương ứng x(t-1), y(t-1) và x(t-1)
xii Bảng 7. o sánh kết quả các mô hình qua thông số R E – 4.3 ố luật ô hình áp dụng mờ ANFIS RBF SVM ô hình đề uất SVM-IF -4 216 8*10 -8 -10 150 4.62*10 0.0110 <10 -8 -8 144 5.45*10 0.9966 2.05*10 -8 -8 142 5.42*10 1.9970 2.10*10 139 7.90*10-8 2.9837 4.74*10-8 134 8.72*10-8 3.9431 3.55*10-8 127 1.03*10-7 4.8669 4.64*10-8 125 0.001 1.00*10-7 89 5.70*10-6 5.6453 5.70*10-8 72 4.29*10-5 6.2638 1.47*10-5 64 8*10-4 3.76*10-4 56 9.16*10-4 6.7905 8.57*10-5 44 1.49*10-2 7.2302 9.44*10-5 27 0.0033 1.28*10-1 7.5741 1.32*10-5 8 0.0515 1.4381 7.7502 0.0043 7 1.4445 7.7857 0.3603 Đà Nẵng, ngày 12 tháng 12 năm 2016 Cơ quan chủ trì Chủ nhiệm đề tài NGUYỄN ĐỨC HIỂN
1 MỞ ĐẦU 1. Tổng quan ô hình mờ được biết đến như là một mô hình khá hi u quả trong vi c ử lý những thông tin mơ hồ và không chắc đó chắn, đồng thời nó cũng thể hi n những lợi thế rõ ràng trong vi c biểu diễn và ử lý tri thức Hoạt động của mô hình mờ phụ thuộc chủ yếu vào h thống các luật mờ và quá trình suy diễn trên tập luật mờ đó Đã có nhiều tác giả nghiên cứu và đề uất các phương thức để ây dựng các mô hình mờ hướng dữ li u Nhìn chung các giải pháp này chủ yếu dựa trên kỹ thuật khai phá dữ li u, các mô hình máy học thống kê như: Neural Network [ 2][ 3][ 4], Support Vector Machine (SVM) [7][10][11][20][22], Self Organizing Map (SOM) [ 4], Cây quyết định [25][28], Đại số gia tử [27], và các thuật toán Phân cụm, Phân lớp, Hồi quy, [9][ 2] ý thuyết máy học éc-tơ hỗ trợ ( s) được giới thi u ban đầu là một kỹ thuật để giải quyết bài toán phân lớp [6] uy nhiên, sau đó đã có rất nhiều nghiên cứu phát triển và đề uất máy học éc-tơ hỗ trợ giải quyết bài toán tối ưu hóa hồi quy, gọi là máy học éc-tơ hỗ trợ hồi quy ( upport vector regression) [ ][2][3][ 5][ 9] rong nhiều ứng dụng, đã thể hi n hi u năng cao hơn so với các mô hình máy học truyền thống [3] ấn đề trích uất mô hình mờ t máy học Véc-tơ hỗ trợ được nhóm tác giả J -H Chiang và P.- Hao nghiên cứu và công bố lần đầu tiên trong [ 0] heo hướng tiếp cận này, nhiều tác giả đã nghiên cứu đề uất và ứng dụng các kỹ thuật rút trích các luật mờ t cho vi c phát triển các mô hình mờ hướng dữ li u cho các bài toán phân lớp [7][ ][20], dự báo hồi quy [7][20][22] Có ý kiến cho rằng sự khác bi t chủ yếu giữa h thống mờ dựa trên máy học éc-tơ hỗ trợ và mô hình máy học Véc-tơ hỗ trợ chính nguyên thủy chính là đặc tính “có thể diễn dịch được” [ ][20]; đặc tính này cho phép h thống mờ dễ hiểu hơn so với mô hình máy học éc-tơ hỗ trợ Hay nói theo một cách khác là mô hình mờ dựa trên máy học éc-tơ hỗ trợ đã khắc phục được đặc tính “hộp đen” (black bo ) của mô hình máy học éc-tơ hỗ trợ
2 nguyên thủy ên cạnh đó, do tập luật trích uất tự động t dữ li u thông qua học máy sẽ có nhiều khiếm khuyết do dữ li u ngẫu nhiên có thể bị lỗi (nhiễu), thiếu tính đặc trưng, thiếu tính bao phủ ì vậy, vi c hiểu được tập luật để hi u chỉnh, bổ sung, tối ưu hóa là thật sự cần thiết Các nghiên cứu nhằm tích hợp tri thức chuyên gia với mô hình mờ hướng dữ li u có thể tìm thấy trong [8][ 7][22][23] Tuy nhiên với một tập luật có số lượng lớn thì vi c hiểu và diễn dịch được chúng, đồng thời có thể phân tích và tích hợp chúng với các tri thức có tính chất tinh túy của chuyên gia, quả thật rất khó khăn Phân cụm tập luật đã đề uất trong [28] là một trong những giải pháp cho vấn đề đơn giản hóa tập luật của các mô hình mờ hướng dữ li u ột đặc điểm đáng lưu ý của máy học éc-tơ hỗ trợ là tính chính ác của mô hình thu được tỷ l thuận với số lượng upport-vector sinh ra [7][11][20]. Nói cách khác là khi tăng hi u suất của mô hình thì đồng nghĩa với vi c làm giảm tính “có thể hiểu được” (“có thể diễn dịch được” - interpretability) của mô hình Như vậy vấn đề đặt ra là làm thế nào có thể trích uất được h thống mờ đảm bảo tính chính ác trong dự đoán, đồng thời đảm bảo được đặc tính “có thể diễn dịch được” Theo lý thuyết học máy dựa trên tri thức thì tùy thuộc vào vai trò của tri thức, vi c học dựa trên tri thức có thể phân thành các kịch bản như sau: học dựa trên giải thích (explaination-based learning) hay còn gọi là E , học dựa trên sự phù hợp (relevance-based learning) hay còn gọi là R , và học qui nạp dựa trên tri thức (knowledge-based inductive learning) hay còn gọi là K I Cho dù theo kịch bản nào, thì các kiểu khác nhau của tri thức cũng có thể sử dụng để cải thi n hi u quả của mô hình máy học nói chung và mô hình mờ nói riêng [24]. 2. Tính cấp thiết của đề tài i c tối ưu hóa những mô hình mờ hướng dữ li u, đặc bi t là mô hình mờ trích uất t máy học éc-tơ hỗ trợ, làm sáng tỏ tập quy tắc mờ của mô hình để các chuyên gia con người có thể hiểu và diễn dịch được các quy tắc đó, qua đó có thể lựa chọn, hi u chỉnh, bổ sung để làm tăng hi u quả sử dụng của các mô hình mờ hướng dữ li u, là thách thức mới của những nhà nghiên cứu ây dựng mô hình mờ ới vai trò của tri thức tiên nghi m trong mô hình máy học thì vi c nghiên cứu giải
3 pháp tích hợp các kiểu khác nhau của chúng vào mô hình mờ trích uất t máy học Véc-tơ hỗ trợ có thể cải thi n được hi u quả của mô hình mờ, đặc bi t là làm tăng tính diễn dịch của mô hình mờ 3. Mục tiêu đề tài Nghiên cứu giải pháp tích hợp các kiểu khác nhau của tri thức với mô hình mờ K hướng dữ li u (data-driven models), trích uất t máy học véc-tơ hỗ trợ cho bài toán dự báo hồi quy, nhằm cải tiến hi u quả của mô hình Các mục tiêu cụ thể: Nghiên cứu kỹ thuật trích uất mô hình mờ K t máy học éc-tơ hỗ trợ hồi quy ; Nghiên cứu vai trò của tri thức tiên nghi m đối với quá trình học một mô hình mờ; Giải pháp tích hợp tri thức tiên nghi m vào mô hình mờ TSK hướng dữ li u trích uất t máy học éc-tơ hỗ trợ; ột số kết quả thực nghi m trên thuật toán đề uất, trong đó có kết hợp so sánh với kết quả của một số mô hình khác 4. Cách tiếp cận và phương pháp nghiên cứu 4.1. Cách tiếp cận: iếp cận theo hướng hàn lâm: dựa vào tài li u và các công bố khoa học iếp cận theo hướng mục tiêu: dựa vào mục tiêu đề tài Đề tài sẽ được thực hi n theo 4 giai đoạn: Giai đoạn : Nghiên cứu trích uất mô hình mờ TSK hướng dữ li u t máy học éc-tơ hỗ trợ Giai đoạn 2: Nghiên cứu vai trò của tri thức tiên nghi m đối với quá trình học một mô hình mờ Giai đoạn 3: Giải pháp tích hợp tri thức tiên nghi m vào mô hình mờ hướng dữ li u trích uất t máy học éc-tơ hỗ trợ
4 Giai đoạn 4: hực nghi m, đánh giá kết quả và viết báo cáo tổng kết đề tài 4 2 Phương pháp nghiên cứu: Đề tài sử dụng phương pháp nghiên cứu lý thuyết, cơ sở toán học, kết hợp với thực nghi m Cụ thể là: trên cơ sở nghiên cứu các tài li u và công bố khoa học mới nhất về vấn đề trích uất mô hình mờ t máy học , kết hợp với vi c phân tích lựa chọn các kiểu của tri thức tiên nghi m để t đó ây dựng thuật toán cho phép tích hợp tri thức tiên nghi m vào vi c học mô hình mờ TSK t máy học hồi quy; cuối cùng là thực nghi m mô hình và đánh giá kết quả 5. Đối tượng và phạm vi nghiên cứu 5. Đối tượng nghiên cứu: Đề tài tập trung vào các đối tượng nghiên cứu cơ bản sau: áy học éc- tơ hỗ trợ ô hình mờ K huật toán trích uất mô hình mờ t máy học éc-tơ hỗ trợ ri thức tiên nghi m (a priori knowledge) ột số bài toán dự báo hồi quy 5.2 Phạm vi nghiên cứu: Cải tiến hi u quả, cụ thể là tính diễn dịch, của mô hình mờ K trích uất t máy học éc-tơ hỗ trợ cho bài toán dự báo hồi quy 6. Nội dung nghiên cứu Đề tài được tiến hành thực hi n theo các nội dung và tiến độ cụ thể như sau: ST Các nội dung, công vi c ản phẩm hời gian (bắt đầu-kết Người thực hi n T thực hi n thúc) 1 ìm hiểu về lý thuyết áy học Báo cáo 02/16 - Nguyễn Đức Hiển Véc- tơ hỗ trợ 03/16
5 2 ìm hiểu về mô hình mờ K Báo cáo 03/16 - Nguyễn Đức Hiển 04/16 3 Nghiên cứu thuật toán trích uất huật toán 05/16 - Nguyễn Đức Hiển mô hình mờ t máy học éc-tơ và số li u 06/16 hỗ trợ thực nghi m 4 Nghiên cứu về vai trò ri thức Báo cáo 04/16 - Nguyễn Đức Hiển tiên nghi m (a priori knowledge) 05/16 trong mô hình máy học 5 Giải pháp tích hợp ri thức tiên huật toán 06/16 - Nguyễn Đức Hiển nghi m với mô hình mờ trích và số li u 09/16 uất t máy học éc-tơ hỗ trợ thực nghi m 6 Nghiên cứu thực nghi m cho ố li u 10/16 – Nguyễn Đức Hiển một số bài toán dựu báo hồi quy thực 12/16 nghi m rong các chương tiếp theo sau đây của báo cáo, chúng tôi sẽ trình bày những kết quả nghiên cứu chính về lý thuyết và thực nghi m đã thực hi n được Chương sẽ giới thi u tóm lược cơ sở lý thuyết về mô hình mờ K và mô hình máy học Véc-tơ hõ trợ hồi quy, chương 2 sẽ trình bày những kết quả nghiên cứu về vai trò của tri thức tiên nghi m trong vi c học mô hình mờ, chương 3 sẽ trình bày về giải pháp tích hợp tri thức tiên nghi m vào vi c học mô hình mờ K dựa trên máy học véc-tơ hỗ trợ hồi quy, chương 4 trình bày một số kết quả thực nghi m, và cuối cùng là kết luận và một số kiến nghị rút ra t kết quả của đề tài
6 Chương . CƠ SỞ THUYẾT MÔ HÌNH MỜ TSK VÀ MÁY HỌC V C-TƠ HỖ TRỢ 1.1. Mô hình mờ ô hình mờ (fuzzy models) hay cụ thể là mô hình dựa treen các luật mờ (fuzzy rule-based models) là cơ cấu tính toán dựa trên các khái ni m của lý thuyết tập mờ, các tập luật “IF- HEN” mờ, cùng với cơ chế suy diễn mờ [9][12]. Lý thuyết tập mờ lần đầu tiên được otfi Zadeh, một giáo sư thuộc trường Đại học Caliornia, erkley, giới thi u trong một công trình nghiên cứu vào năm 965 ý thuyết tâp mờ bao gồm: logic mờ, số học mờ, quy họach toán học mờ, hình học tô- pô mờ, lý thuyết đồ thị mờ, và phân tích dữ li u mờ, mặc dù thuật ngữ logic mờ thường được dùng chung cho tất cả ý thuyết tập mờ chính là công cụ toán học và logic để thiết lập nên các khâu cơ bản trong hoạtt động của một mô hình mờ ề tổng thể, mỗi mô hình mờ nói chung đều bao gồm các đầu vào (inputs), đầu ra (output) cùng với một bộ ử lý ộ ử lý thực chất là một ánh ạ phản ánh sự phụ thuộc của biến đầu ra h thống đối với các biến đầu vào Các biến đầu vào nhận giá trị rõ, đầu ra có thể là một tập mờ hoặc một giá trị rõ Quan h ánh ạ của đầu ra đối với các đầu vào mô hình mờ được mô tả bằng một tập luật mờ, thay vì một hàm số tường minh Cụ thể hơn, cấu trúc cơ bản của một mô hình mờ bao gồm năm thành phần chủ yếu (Hình ): Hình 1. Cấu trúc cơ bản của một mô hình mờ
7 - Cơ sở luật (rule base) nơi chứa đựng tập các luật mờ “IF- HEN”, thực chất là tập các quy tắc biểu diễn mối quan h giữa các biến đầu vào và đầu ra sử dụng giá trị ngôn ngữ (linguistic terms). - Bộ tham số mô hình quy định hình dạng hàm thuộc của giá trị ngôn ngữ được dùng để biểu diễn biến mờ và các luật mờ. - Cơ chế suy diễn (reasoning mechanism) có nhi m vụ thực hi n thủ tục suy diễn mờ dựa trên cơ sở tri thức và các giá trị đầu vào để đưa ra một giá trị dự đoán ở đầu ra. - Giao di n mờ hóa (fuzzification interface) thực hi n chuyển đổi các đầu vào rõ thành mức độ trực thuộc các giá trị ngôn ngữ. - Giao di n khử mờ (defuzzification interface) thưc hi n chuyển đổi kết quả suy diễn mờ thành giá trị đầu ra rõ. Nhìn chung cốt lõi cơ bản của một mô hình mờ vẫn là cơ sở tri thức của mô hình đó, mà cụ thể đó là h luật mà và lập luận (hay suy diễn) ề cơ bản có hai cách ây dựng cơ sở tri thức của mô hình mờ: hứ nhất, thu thập tri thức dựa trên kinh nghi m của các chuyên gia, được phát biểu dưới dạng các luật, các quy tắc, gọi chung là tri thức chuyên gia (E pert knowledge); hứ hai là tích lũy, tổng hợp và hoàn thi n cơ sở tri thức dựa trên vi c khám phá tri thức t dữ li u thực tế, gọi là tri thức dữ li u ( ata knowledge) heo hướng tiếp cận đầu tiên, chất lượng hoạt động của mô hình phụ thuộc vào chất lượng tri thức mà chuyên gia lĩnh vực cung cấp Nếu người lập mô hình khai thác tri thức t một chuyên gia có kinh nghi m, hiểu rõ lĩnh vực thì mô hình thu được sẽ có độ tin cậy cao uy nhiên, tiêu chuẩn thế nào là một chuyên gia vẫn là chủ đề đang bàn cãi, và do đó, giữa những chuyên gia có thể có những đánh giá khác nhau về cùng một vấn đề Nghĩa là tính thống nhất trong các quy tắc, các luật t kinh nghi m con người là hạn chế, chưa kể tới tính đúng sai hêm vào đó, bản thân người chuyên gia đôi khi gặp khó khăn khi diễn đạt tường minh tri thức của mình thành các luật, các quy tắc Những điều trên khiến cho quá trình thu thập tri thức t kinh nghi m con người trở nên rất phức tạp mà bản thân người lập mô hình phải gánh vác
8 Hướng tiếp cận thứ hai có cách nhìn hoàn toàn khác khi ây dựng cơ sở tri thức cho mô hình ựa trên những dữ li u thu thập t thực nghi m khách quan, các thuật toán phân cụm, phân lớp, các mô hình máy học thống kê, sẽ được áp dụng để trích rút ra được các tri thức, các quy luật hay khuynh hướng dữ li u để ây dựng cơ sở tri thức Rõ ràng, vi c thu thập các số li u thực nghi m dễ dàng hơn nhiều so với thu thập tri thức của chuyên gia con người à ét đến cùng, kinh nghi m của chuyên gia cũng được hình thành tích lũy t chính những quan sát trên thực nghi m hêm vào đó, với một tập dữ li u thực nghi m đúng đắn, đầy đủ và toàn di n, tri thức thu được là khách quan và có tính nhất quán cao Những mô hình mờ được ây dựng theo hướng tiếp cận này gọi là mô hình mờ hướng dữ li u (data driven model) Nhiều nghiên cứu đã được công bố chứng tỏ rằng những mô hình mờ hướng dữ li u đã mang lại hi u quả trong vi c giải quyết các bài toán nhận dạng, điều khiển, phân tích dự đoán, dựa vào các kỹ thuật phân cụm, phân lớp, hay hồi quy. Các mô hình mờ dạng luật có thể chia làm 2 dạng cơ bản đó là mô hình mờ dạng amdani và mô hình mờ dạng akagi-Sugeno [12][27]. 1.1.1. Mô hình mờ Mamdani ô hình mờ dạng amdani [12][27]: được đề uất với mục tiêu ban đầu là điều khiển tổ hợp nồi hơi và động cơ hơi nước thông qua một tập luật dạng ngôn ngữ thu được t những thao tác viên con người có kinh nghi m Đây là dạng mô hình điển hình nhất, với bộ luật bao gồm các luật mờ mà phần tiền đề và phần kết luận đều là các tập mờ, và biểu diễn bởi một hàm thuộc giải tích rong dạng này, có hai phương pháp lập luận được ây dựng: Phương pháp thứ nhất, theo truyền thống, em mỗi luật là một quan h mờvà kết nhập chúng thành một quan h mờ chung R, đóng vai trò là một toán tử ập luận tức là tìm kiếm đầu ra ′ cho mỗi đầu vào ′, ′= R( ′) ới rất nhiều cách chọn các phép t-norm, t-conorm và kéo theo để tính toán, mỗi cách chọn như vậy sẽ cho kết quả ′ khác nhau Nhìn chung không thể nói cách chọn các phép toán như thế nào là tốt nhất mà phụ thuộc vào t ng bài toán cụ thể và trực quan cảm nhận của người giải bài toán đó Điều này rất phù hợp với lập luận ấp ỉ và tạo tính mềm dẻo trong ứng dụng của phương pháp
9 rong phương pháp lập luận thứ hai, mỗi luật mờ được em như một điểm trong không gian ngôn ngữ, ây dựng các ánh ạ định lượng ngữ nghĩa cho các giá trị ngôn ngữ để chuyển các điểm đó về không gian thực tạo thành một “siêu lưới” hực hi n nội suy trên siêu lưới này để tìm kết quả đầu ra đối với một đầu vào cho trước ới mô hình mờ amdani, các luật mờ ngôn ngữ được biểu diễn như sau: 1 1 2 2 , = 1, , , rong đó đój = 1, , là các biến điều ki n; là các biến quyết định của h thống; và là những thuật ngữ ngôn ngữ (giá trị ngôn ngữ - linguistic terms) ác định bởi hàm thành viên (membership functions) tương ứng và . 1.1.2. Mô hình mờ Takagi-Sugeno ô hình mờ dạng K [12][13][27]: còn được gọi là mô hình akagi-Sugeno, được đề uất bởi akagi, ugeno, và Kang trong một nỗ lực nhằm phát triển cách tiếp cận mang tính h thống đối với quá trình sinh luật mờ t tập dữ li u vào-ra cho trước ô hình mờ K được cấu thành t một tập các luật mờ phần kết luận của mỗi luật này là một hàm (không mờ) ánh ạ t các tham số đầu vào của mô hình tới tham số đầu ra mô hình ham số của các hàm ánh ạ này có thể được đánh giá thông qua các giải thuật nhận dạng (identification algorithms) như phương pháp bình phương nhỏ nhất (least-squares methods) hay bộ lọc Kalman (Kalman filter) [12][25]. Các phương pháp lập luận cũng được ây dựng trong dạng này: hứ nhất, luật có mức “đốt cháy” dữ li u đầu vào cao nhất sẽ được chọn và kết quả lập luận là phần kết luận của luật đó Đây gọi là phương pháp lập luận single-winner-rule hứ hai, các luật đóng vai trò “bầu cử” (vote) cho mẫu dữ li u đối với lớp của vế phải luật dựa trên mức đốt cháy của luật đối với dữ li u đó, lớp nào có tổng mức đốt cháy cao nhất sẽ được dùng để phân lớp cho dữ li u đầu vào tương ứng Phương pháp lập luận này gọi là weighted-vote H luật mờ dạng agaki- ugeno cùng với hai phương pháp lập luận single-winner-rule và weighted-vote khá trực quan, không phải khử mờ kết quả lập luận, rất phù hợp trong vi c ây dựng các mô hình
10 ứng dụng của một số bài toán trong khai phá dữ li u như nhiều tác giả đã nghiên cứu ới mô hình mờ K, các luật mờ (fuzzy rules) được biểu diễn ở dạng “IF – HEN”, là cơ sở của phép suy luận mờ [12][13][22] Giả sử có luật mờ được biểu diễn như sau: 1 1 2 2 = 1, 2, , , = 1, , , rong đó j = 1, , là các biến điều ki n; là các biến quyết định của h thống mờ được ác định bởi hàm không mờ . ; là những thuật ngữ ngôn ngữ xác định bởi hàm thành viên tương ứng ưu ý, được định nghĩa như sau: = ∏ 1 1 Quá trình suy luận được thực hi n như sau: ) Kích hoạt các giá trị thành viên ∏ 1 2) Kết quả đầu ra của suy luận được tính như sau: ∑ 1 ∏ 1 = ∑ 1 ∏ 1 rong đó, là giá trị đầu ra của hàm . . 1.2. Cơ sở lý thuyết Máy học Véc-tơ hỗ trợ 1.2.1. Máy học Véc-tơ hỗ trợ áy học véc-tơ tựa được apnik giới thi u năm 995, đây là mô hình học dựa trên lý thuyết học thống kê ( tatistical earning heory) [6], và là một kỹ thuật được đề nghị để giải quyết cho các bài toán phân lớp ý thuyết cơ bản của máy học véc-tơ tựa cho vấn đề phân lớp có thể tóm tắt như sau:
11 Cho tập véctơ đầu vào , [1, ] , và tập các giá trị nhãn lớp tuơng ứng {−1 +1} cho bộ phân lớp nhị phân Hàm tuyến tính phân bi t hai lớp như sau: = . + trong đó, w là véctơ chuẩn của siêu phẳng phân cách, b là độ l ch, và (x) là hàm ánh ạ t không gian đầu vào sang không gian đặc trưng, (M > D). ục tiêu của là tìm một siêu phẳng tối ưu sao cho khoảng cách lề giữa hai lớp đạt giá trị cực đại (Hình 2). Hình 2. Hình ảnh phân lớp với ên cạnh đó, để đảm bảo tính tổng quát hóa cao, một biến lỏng (slack variable) được đưa vào để nới lỏng điều ki n phân lớp ài toán đưa đến vi c giải quyết tối ưu có ràng buộc: (5) 1 + ∑ , , 1 sao cho: . + 1 − , [1, ]. trong đó, C > 0 là tham số chuẩn tắc (regularization parameter), là biến lỏng Bài toán (5) có thể đựợc giải bằng phương pháp O (Sequential Minimal Optimization) [13]. Phương pháp này đưa đến giải bài toán đối ngẫu quy hoạch toàn phương (Quadratic Programming):
12 (6) 1 ∑ − ∑ . ( ) 1 , hỏa mãn: , [1, ] và ∑ 1 = , với là các nhân tử Lagrange. au khi có được các giá trị t bài toán (6), ta sẽ thu đươc các giá trị tối ưu w* và b* của siêu phẳng Chỉ có các mẫu có mới tham gia vào các véc tơ hỗ trợ (support vector) Cuối cùng, hàm quyết định phân lớp có dạng: (7) = (∑ . ( ) + ) 1 Gọi ( , ) = . ( ) là hàm nhân của không gian đầu vào Khi đó (7) được viết lại như sau: (8) = (∑ ( , ) + ) 1 heo đó, tích vô hướng trong không gian đặc trưng tương đương với hàm nhân K ở không gian đầu vào Như vậy, thay vì tính trực tiếp giá trị tích vô hướng, ta thực hi n gián tiếp thông qua hàm nhân K. 1.2.2. Máy học Véc-tơ hỗ trợ cho vấn đề tối ưu hóa hồi qui Rất nhiều tác giả đã nghiên cứu phát triển máy học véc-tơ hỗ trợ cho bài toán tối ưu hóa hồi quy [1][2][15][19], đồng thời cũng được sử dụng để khai phá luật mờ t dữ li u số [4][7][10][11][22]. Với vai trò giải quyết vấn đề tối ưu hóa hồi quy, lý thuyết cơ bản của SVM có thể được vắn tắt như sau [1][6][11]: Cho một tập dữ li u huấn luy n { 1, 1 , , , } , trong đó ác định miền dữ li u đầu vào ới -Support ector Regression, bài toán tối ưu hóa ràng buộc cần giải quyết là: (9) 1 + ∑ + , , , 1 sao cho: . + − − ,
13 − . + − , , , = 1, , , à đưa đến bài toán Quadratic Programming: 1 (10) − ∑( − − ) . ( ) , , − ∑ + − ∑ + 1 1 Sao cho: ∑ − = , , , = 1, , , 11 1 rong đó, C là tham số chuẩn tắc, là sai số cho phép, là biến lỏng, và , là những nhân tử Lagrange. Véc-tơ có dạng: = ∑ − . 1 =1 Và hàm quyết định là: = ∑ − . ( ) + 1 1 Gọi ( , ) = . ( ) là hàm nhân của không gian đầu vào; và hàm quyết định ( 3) được viết lại như sau: (14) = ∑ − ( , ) + 1 Những điểm đầu vào với − được gọi là những véc-tơ hỗ trợ (Support Vector). 1.3. Sự tương tự giữa máy học Véc-tơ hỗ trợ và mô hình mờ Xét hàm đầu ra của mô hình mờ K (3) và hàm quyết định của mô hình máy học éc-tơ hồi quy ( 4) Để (3) và ( 4) đồng nhất với nhau, trước tiên chúng ta phải
14 đồng nhất giữa hàm nhân trong ( 4) và hàm thành viên trong (3) Ở đây, để thỏa mãn điều ki n ercer [ 0] hàm thành viên Gauss được chọn làm hàm nhân; đồng thời giá trị của b trong ( 4) phải bằng 0 Hình 3 biểu diễn sự tương đương giữa và mô hình mờ Hình 3. ự tương đương giữa và ô hình mờ Khi hàm Gauss được chọn làm hàm thành viên và hàm nhân, đồng thời số luật mờ bằng với số véc-tơ hỗ trợ (m = l) thì ( 4) và (3) trở thành: 2 1 − = ∑ − (− ( ) ) 1 1 và 2 1 − ∑ 1 (− ( ) ) = 2 1 1 − ∑ 1 (− ( ) ) Như cách biến đổi trong [ 0], hàm suy luận mờ ( 6) có thể viết lại như sau:
15 2 1 − = ∑ (− ( ) ) 1 1 à chúng ta chọn: = − 1 Ngoài ra, có thể tiếp cận một cách khác là thiết lập hàm nhân của s: 1 − 2 (− ) , = 2 1 1 − ∑ 1 (− ) Như vậy quyết định ( 4) của s trở thành 2 1 − ∑ 1 − (− ) = 2 1 − ∑ 1 (− ) Khi đó chúng ta chỉ cần thiết lập giá trị của hàm suy luận mờ (3) bằng với − , và số luật mờ m bằng với số s l, thì chắc chắn rằng đầu ra của s (20) và đầu ra của h thống mờ ( 6) là đồng nhất với nhau ưu ý rằng biểu thức (19) chỉ có thể có, nếu số lượng véc-tơ hỗ trợ l được biết trước 1.4. Trích uất luật mờ t dữ liệu dựa trên sự kết hợp máy học SVM và mô hình mờ [30] rên cơ sở phân tích sự tương tự của s và h thống mờ, thuật toán f-SVM đề uất ở Hình 4 cho phép trích uất các luật mờ t s [30]. Những tham số của hàm thành viên có thể được tối ưu hóa dùng những thuật toán gradient decent hoặc thuật toán di truyền (G s) rong trường hợp này, để nhận được tập mờ tối ưu, chúng tôi cập nhật giá trị các tham số của hàm thành viên theo các hàm thích nghi sau đây: − 2 − 2 + 1 = [ (− )] 1 1, 2 − − − 2 + 1 = [ (− )] 1, 2 2
16 Begin Khởi tạo các tham số của SVMs Centers : 푖, 푖 = 1. . Variances : 휎푖, 푖 = 1. . Trích xuất luật mờ t SVMs IF x is Gaussmf( 푖, 휎푖) THEN y is B Tối ưu hóa − 2 − 2 휎 푡 + 1 = 휎 푡 + 훿휀 푒 − 푖 푖 1,푖 휎3 2휎2 − − − 2 푡 + 1 = 푡 + 훿휀 푒 − 푖 푖 1,푖 휎2 2휎2 End Hình. 4. ơ đồ khối thuật toán f-SVM. Đối với máy học éc-tơ hỗ trợ hồi quy, khi số lượng s tăng lên thì chúng ta có thể nhận được kết quả đường hồi quy có độ chính ác cao hơn uy nhiên, điều này đồng nghĩa với vi c số lượng s sẽ tăng lên, dẫn đến số luật mờ của mô hình trích uất được cũng sẽ tăng lên tương ứng, làm cho tính “có thể diễn dịch được” của mô hình giảm đi [28][29][30] Ở các phần tiếp theo chúng ta sẽ bàn luận rõ ràng hơn về vấn đề “có thể diễn dịch được” của h thống mờ và t đó ác định những tri thức tiên nghi m có thể tích hợp để có thể trích uất các luật mờ “có thể diễn dịch được” t máy học éc-tơ hỗ trợ
17 Chương 2. VIỆC HỌC MÔ HÌNH MỜ VỚI TRI THỨC TIÊN NGHIỆM 2.1. Vai trò của tri thức tiên nghiệm ri thức tiên nghi m về h thống nghiên cứu có thể ở dưới nhiều dạng khác nhau Đối với vấn đề mô hình hóa h thống, các kiểu khác nhau của tri thức tiên nghi m gồm có: - ầm quan trọng của dữ li u: trong nhiều ứng dụng thực tế, những mẫu dữ li u nhất định có thể là ngoại lai và một số có thể bị nhiễu. Do vậy, mô hình ây dựng được t dữ li u có thể bị nhiễu hay mất ổn định. - Hành vi của các máy học: trong một quá trình học tập, không gian giả thuyết của máy học cần được hạn chế trước í dụ, đối với mô hình mạng nơ-ron hồi quy, người ta phải ác định các nguyên mẫu của một vấn đề hồi quy và thiết kế trước các cấu trúc liên kết mạng của một mạng nơ-ron. - ục tiêu của các máy học: tiêu chí như sự ổn định, độ bền vững, thời gian khởi động, thời gian thiết lập là các kiến thức phải có trước cho một nhà thiết kế h thống. rong phần này chúng ta sẽ chứng tỏ vai trò của tri thức tiên nghi m với vi c học một mô hình mờ Ở đây chúng ta cần làm rõ mối quan h logic giữa giả thuyết (Hypothesis), những mô tả mẫu (Descriptions) (dưới dạng các thuộc tính), và kết quả dự đoán (Predictions). Cho Descriptions là hội của tất cả các mô tả mẫu trong tập huấn luy n, và cho Predictions là hội của tất cả các tiên đoán Khi đó, Hypothesis “giải thích các quan sát” phải thỏa mãn điều ki n sau (ký hi u ╞ có nghĩa là kế th a logic) [24]: Hypothesis ˄ Descriptions╞ Predictions (23) Xét trong trường hợp học mô hình mờ, chúng ta có thể định nghĩa khái ni m Hypothesis như sau: Định nghĩa (Hypothesis). Cho = { , } là một tập dữ li u huấn luy n (các quan sát), một mô hình mờ là được gọi là Hypothesis nếu điều ki n sau thỏa mãn: = (24)
18 Ở các nội dung tiếp theo chúng ta sẽ giải thích và định nghĩa 3 phương thức học mô hình mờ theo [24]: Học dựa trên giải thích (E – Explanation-bassed learning), Học dựa trên sự thích hợp (R – Relevance-based learning) và Học quy nạp dựa trên tri thức (K I – Knowledge-based inductive learning). 2.2. Học dựa trên sự giải thích (EB ) Phương pháp học E là một phương thức trích uất những luật mờ chung t các quan sát riêng lẻ tưởng cơ bản của E là sử dụng tri thức tiên nghi m để ây dựng cấu trúc ban đầu của Hypothesis, rồi sau đó ác lập Hypothesis chính thức dựa vào các quan sát thực nghi m Cụ thể theo định nghĩa của [24] như sau: Background╞ Hypothesis Hypothesis ˄ Descriptions╞ Predictions (25) a priori knowledge Explanation-based learning Observations Hypotheses Predictions Hình 5. ô hình học E Hình 5 mô tả phương pháp học E Xét trong trường hợp học mô hình mờ, E được định nghĩa như sau: Định nghĩa 2 (EBL). Cho là một tri thức nền về một mô hình mờ Khi đó, một thuật toán được gọi là một thuật toán học E nếu thỏa mãn điều ki n sau: ╞ , = (26)
19 heo phương pháp học này, đối với vi c học mô hình mờ thì vi c lựa chọn trước các nguyên mẫu về phân lớp hay hồi quy cho mô hình, rồi sau đó tiến hành huấn luy n mô hình, được em là hình thức học E 2.3. Học dựa trên sự thích hợp (RB ) a priori knowledge Relevance-based learning Observations Hypotheses Predictions Hình 6. ô hình học RBL heo phương pháp học này, tri thức tiên nghi m sẽ kết hợp với những quan sát thực nghi m để cho phép máy học có thể rút ra những qui tắc mới giải thích cho các thực nghi m trên [24]: Background ˄ Descriptions ˄ Predictions ╞ Hypothesis Hypothesis ˄ Descriptions╞ Predictions (27) Hình 6 mô tả phương thức học R Xét trong trường hợp học mô hình mờ thì R được định nghĩa như sau: Định nghĩa 3 (RBL). Cho là kiến thức nền về một mô hình mờ . Một thuật toán được gọi là một thuật toán học RBL nếu điều ki n sau được thỏa mãn: = , ╞ (28) heo phương pháp học này, đối với vi c học mô hình mờ thì vi c sử dụng những tri thức liên quan về vi c ác định cấu trúc mô hình, các thuộc tính về chức năng của mô hình đề cải thi n độ vững chắc của mô hình
20 2.4. Học quy nạp dựa trên tri thức (KBI ) K I là một phương thức học theo kiểu gia tăng, trong đó tri thức tiên nghi m và giả thiết mới học được sẽ kết hợp với nhau để giải thích cho các thực nghi m Cụ thể theo định nghĩa của [24] như sau: Background ˄ Hypothesis ˄ Descriptions ╞ Predictions a priori knowledge khởi tạo/tinh luy n Hypotheses Knowledge-based Hypotheses Observations Predictions inductive learning đã huấn luy n Hình 7. Mô hình học KBIL Hình 7 mô tả phương pháp học K I heo phương pháp này, ban đầu tri thức nền và những quan sát thực nghi m được dùng để đưa ra Hypotheses ban đầu au đó, kết hợp các quan sát thực nghi m và tri thức nền để củng cố Hypotheses để có thể gia tăng tính chính xác của dự đoán Xét trong trường hợp học mô hình mờ thì K I được định nghĩa nhưu sau: Định nghĩa 4 (KBI ). Cho là kiến thức nền về một mô hình mờ . Một thuật toán được gọi là một thuật toán học KBIL nếu điều ki n sau được thỏa mãn: = (29) Chú ý rằng, bất kỳ Hypotheses nào sinh ra dựa vào K I cũng phải phù hợp với tri thức tiên nghi m cũng như với những quan sát thực nghi m mới, phạm vi của Hypotheses sẽ được thu gọn để chỉ chứa quy tắc thật sự đã biết o vậy, trong trường hợp học mô hình mờ, vi c áp dụng các thuật toán tối ưu hóa mô hình như
21 gradient descent chính là một hình thức học dựa vào K I , bởi vì Hypotheses (mô hình) sẽ tăng dần sự thích nghi theo quá trình học và phạm vi của Hypotheses sẽ thu gọn để phù hợp với những phản hồi t quan sát thực nghi m rong chương tiếp theo chúng ta sẽ phân tích các yếu tố liên quan đến vi c học mô hình mờ K t máy học véc-tơ hỗ trợ để ác định các tri thức tiên nghi m phù hợp để có thể tích hợp vào quá trình học mô hình mờ nhằm nâng hi u quả mô hình
22 Chương 3. TÍCH HỢP TRI THỨC TIÊN NGHIỆM VÀO QUÁ TRÌNH HỌC MÔ HÌNH MỜ TSK 3.1. Điều kiện đảm bảo tính “có thể diễn dịch được” của mô hình mờ ính “có thể diễn dịch được” (interpretability) là một trong những điểm khác bi t cơ bản giữa mô hình máy học thống kê, ví dụ là , và h thống mờ [11][20]. ột h thống mờ yêu cầu phải có đặc tính “có thể diễn dịch được”, điều này là khá rõ ràng nếu các luật mờ là được thu thập t các chuyên gia con người uy nhiên, đối với một h thống mờ được ây dựng dựa vào kết quả của vi c học t dữ li u thông qua các thuật toán học tự động thì không dễ để có thể đảm bảo được đặc tính có thể hiểu được ới u hướng hi n nay, các h thống luật mờ được xây dựng dựa vào kết quả học t dữ li u trở nên tất yếu và khá phổ biến, chẳng hạn như dựa vào kết quả học của máy học éc-tơ hỗ trợ; vấn đề đặt ra là làm thế nào để đảm bảo tính có thể diễn dịch được của h thống mờ dựa trên dữ li u rong phạm vi nghiên cứu này, chúng tôi phân tích một vài điều ki n để đảm bảo tính “có thể diễn dịch được” của h thống mờ như sau: Đầy đủ và đa dạng (Completeness and Diversity): Các phân hoạch mờ (fuzzy partition) của tất cả các biến trong h thống mờ phải đảm bảo tính đầy đủ và tính phân bi t được. Ngoài ra, số tập mờ trong trong một phân hoạch mờ cũng cần phải giới hạn Điều ki n đảm bảo tính đầy đủ và phân bi t được sẽ cho phép gán một giá trị ngôn ngữ rõ ràng cho mỗi tập mờ trong một phân hoạch mờ à thông thường thì điều này sẽ kéo theo số lượng tập mờ trong một phân hoạch mờ sẽ là số nhỏ ự phân bố của các tập mờ có thể lượng hóa bằng độ đo sự tương tự (similarity) giữa các tập mờ láng giềng, được định nghĩa như sau [26]: Định nghĩa 5 (Similarity). Độ đo sự tương tự giữa các tập mờ là số đo khoảng cách theo công thức sau: ( ) ( , ) = + ( ) − ( ) rong đó = ∫ với X là tập vũ trụ.
23 Như ở phần trước đã đề cập, hàm thành viên Gauss được chọn để chuyển đổi đầu ra của máy học Véc-tơ hỗ trợ thành h thống mờ Như vậy, nếu hàm thành viên 1 ‖ − ‖2 là hàm Gauss = − , với là trung tâm và là phương sai, thì 2 2 độ đo sự tương tự giữa các hàm thành viên được ác định: 2 2 ( , ) = √( − ) +( − ) 1 là tương đương với ( ) ( , ) = + ( ) − ( ) Tức là, 1 1 nếu và chỉ nếu 1 2 Hiệu quả (Efficiency): Cấu trúc của h thống mờ càng nhỏ gọn càng tốt Điều này có nghĩa rằng số lượng các biến ngôn ngữ sử dụng trong các luật mờ càng ít càng tốt hông qua các kỹ thuật lựa chọn các thuộc tính đầu vào ta có thể ây dựng một h thống mờ đảm bảo tính hi u quả [21]. Nhất quán (Consistency): Các luật mờ trong một cơ sở luật phải có sự phù hợp với nhau và phù hợp với những tri thức tiên nghi m sẵn có ấn đề không nhất quán của các luật mờ có thể rơi vào các trường hợp như sau: - Tồn tại hai hoặc nhiều hơn hai quy tắc mờ được định nghĩa trên các sự ki n vào tương tự nhau, nhưng kết luận thì khác nhau. Ví dụ có 2 quy tắc mờ được ác định tương ứng trên 1 và 2; kết luận của chúng tương ứng là 1 và 2. Nếu 1, 2 1, 2 thì 2 luật này có sự ki n vào tương tự nhau, nhưng kết luận thì rất khác nhau. Hình thức không nhất quán này thường xuyên xảy ra đối với mô hình mờ hướng dữ li u. - Tồn tại các quy tắc mờ với các phần kết luận của chúng trái ngược nhau. Ví dụ các phần kết luận của các luật mờ không thể xảy ra đồng thời. hông thường đối với các h thống mờ trích xuất t dữ li u, các điều ki n đảm bảo tính “có thể diễn dịch được” của h thống ở trên, sẽ bị suy giảm. Trong phần
24 tiếp theo chúng ta sẽ xem xét những điều ki n nào có thể hổ trợ được trong quá trình học của máy học Véc-tơ hỗ trợ khi trích xuất h thống mờ. 3.2. Tích hợp tri thức tiên nghiệm trong mô hình mờ dựa trên máy học véc-tơ hỗ trợ ấn đề quan tâm của chúng ta ở đây là làm thế nào để có thể trích uất được tập luật mờ t máy học Véc-tơ hỗ trợ, sao cho tập luật mờ trích uất được vẫn đảm bảo đặc tính “có thể diễn dịch được” Chúng ta biết rằng, trong quá trình học mô hình mờ t dữ li u, máy học đóng 2 vai trò: ác định cấu trúc của mô hình mờ và các tham số tương ứng Cấu trúc của mô hình bao gồm: số hàm thành viên, trung tâm của các hàm thành viên; các thành phần này được chuyển đổi trực tiếp t số lượng và vị trí của các s những điều ki n đảm bảo đặc tính “có thể diễn dịch được” cho h thống mờ ở trên, khi ét trong trường hợp cụ thể là h thống mờ được trích uất t máy học Véc-tơ hỗ trợ, các điều ki n sau đây cần phải được thỏa mãn: - Số lượng Support-vector phải được hạn chế Như đã đề cập ở phần 3, số lượng SVs sẽ quyết định số lượng luật mờ được tạo ra. Chính vì vậy số lượng SVs cần được hạn chế để đảm bảo điều ki n trích xuất được một h thống mờ “có thể diễn dịch được” - Những SVs dư th a phải được loại bỏ Điều ki n để ác định được SVs dư th a là: nếu tồn tại hai hoặc nhiều hơn hai Vs trong cùng một vùng mà có độ đo sự tương tự các tập mờ là cao. Đối với mô hình máy học éc-tơ hỗ trợ, số lượng và vị trí của các s là không thể ác định được trước khi huấn luy n mô hình. Như vậy để điều khiển số lượng và vị trí của các s, chúng ta sẽ phải điều chỉnh các tham số liên quan trong mô hình máy học éc-tơ hỗ trợ rên cơ sở làm thỏa mãn hai điều ki n ở trên, chúng tôi đề uất thuật toán SVM-IF, trong Hình 8, cho phép trích xuất được h thống mờ “có thể hiểu được” t máy học Support-vector.
25 1. Procedure ModelExtraction(ℋ, k, tol) 2. Khởi tạo các giá trị tham số: , , , 3. while error>tol do 4. = ∑ 1 − , + 5. = { − − , { , , }} 6. InterpretabilityTest(SV, n, σ, k) − 7. Điều chỉnh ma trận kernel: = , − 〈 〉 , ( ) = ∑ 〈 , ( )〉 8. = [‖ − ℋ‖2] 9. = + 10. end while − 2 − 2 11. + 1 = + − 1, 3 2 2 − − − 2 12. + 1 = + − 1, 2 2 2 ∑ ( − ) , 13. return = ∑ ( − ) 14. end procedure 15. Procedure InterpretabilityTest(SV, n, σ, k) 16. repeat 17. Tính độ sự tương tự giữa các cặp tập mờ: 2 2 ( , ) = √( − ) +( − ) 18. Lựa chọn môt cặp tập mờ và sao cho ( , ) = , { ( , )} 19. if ( , ) then 20. Gộp cặp tập mờ và thành một tập mờ mới 21. end if 22. until không còn căp tập mờ nào có độ đo sự tương tự ( , ) 23. end procedure Hình 8. huật toán -IF Đầu vào của thuật toán là tập dữ li u ℋ, số đo sự tương tự k, và số đo độ sai bi t cho phép, tol, giữa giá trị mô hình thu được và dữ li u đầu vào. Ba tham số liên quan đến thuật toán học của máy học Support-vector cần được ác định trước đó là C, , và . hủ tục odelE traction được chia thành hai phần Phần đầu t dòng 3 đến dòng 0, sử dụng một vòng lặp While để lặp lại vi c sản sinh ra các upport-
26 vectơ cho đến khi thỏa mãn điều ki n “sai l ch giữa giá trị đầu ra của mô hình và dữ li u vào nhỏ hơn hoặc bằng giá trị sai l ch cho phép, tol, cho trước” Phần hai t dòng 11 đến dòng 3, sử dụng hàm Kernel, cụ thể là hàm Gaussian, để sinh ra các tập mờ, đồng thời tối ưu hóa những tham số của các hàm thành viên ương tụ như thuật toán f-SVM, những tham số của hàm thành viên có thể được tối ưu hóa bằng cập nhật giá trị theo các hàm thích nghi (21), (22). hủ tục odelE traction có sử dụng đến thủ tục Interpretability est để kiểm tra độ đo độ tương tự, ( , ), của hai tập mờ và gộp chúng lại nếu ( , ) . Dòng 17 và 18 cho phép tính toán độ đo độ tương tự và ác định hai tập mờ có độ tương tự lớn nhất. Dòng 19 đến dòng 21 cho phép kiểm tra để gộp các tập mờ có độ tương tự lớn nhất và lơn hơn giá trị cho trước, đồng thời cập nhật lại tập mờ mới i c kiểm tra và gộp các tập mờ sẽ được thực hi n lặp lại, mỗi lần gộp một cặp cho đến khi độ đo sự tương tự giữa tất cả các tập mờ không lớn hơn giá trị cho trước
27 Chương 4. MỘT SỐ KẾT QUẢ THỰC NGHỆM Để đánh giá thuật toán -IF đã đề uất, chúng tôi ây dựng một h thống thử nghi m dựa trên bộ công cụ atlab huật toán học của thư vi n I được phát triển bởi nhóm của Chih-Chung Chang [5], được sử dụng để sản uất ra các s, làm cơ sở để trích uất các luật mờ trong thuật toán -IF. au cùng, chúng tôi sử dụng hàm FI trong thư vi n công cụ atlab Fuzzy ogic để suy luận dựa trên các luật mờ trích uất được 4.1. Ví dụ hồi quy phi tuyến tính Để chứng tỏ hi u quả của mô hình mờ dựa trên và vi c phát hi n tri thức tiên nghi m về cấu trúc mô hình, cụ thể là số lượng s cũng chính là số lượng luật mờ Chúng tôi tiến hành thực nghi m giải quyết bài toán hồi quy phi tuyến sau: = { 1 = Tập dữ li u huấn luy n được ác định trong phạm vi t − đến + . Trong quá trình ác định cấu trúc , chúng tôi sử dụng tham số để điều chỉnh số lượng s Chúng tôi cố định tham số C = 0 Khi giá trị = . , sẽ có 50 s nhận được t mô hình, đồng nghĩa với vi c chúng ta nhận được 50 luật mờ (Chú ý rằng, trong trường hợp này tất cả các các mẫu dữ li u huấn luy n được chọn làm s đầu ra) au đó chúng tôi tăng giá trị tham số lên. Khi = .1, thì có 6 s nhận được tương ứng với 6 luật mờ thể hi n ở ảng Hình 9 thể hi n kết quả của mô hình thực nghi m Như vậy chúng ta có thể điều chỉnh giá trị tham số , tức điều chỉnh số lượng s để tối ưu hóa vị trí của s, đồng nghĩa với vi c tối ưu hóa phân bố và số lượng luật mờ
28 Bảng 1. ập luật trích uất được t mô hình đã tối ưu hóa – 4.1 Hình 9. Kết quả mô hình đã tối ưu hóa (RMSE = 0.0183) Bảng 2. o sánh kết quả các mô hình qua thông số R E – 4.1 ố luật ô hình áp dụng mờ ANFIS RBF SVM ô hình đề uất SVM-IF -10 -10 -10 50 <10 <10 0.0074 <10 -10 -10 -10 30 <10 <10 0.0572 <10 10 0.0017 0.0045 0.0697 0.0011 8 0.0018 0.0155 0.0711 0.0010 6 0.0248 0.0736 0.2292 0.0183
29 4 0.1894 0.1228 0.2851 0.0553 ảng 2 thể hi n kết quả so sánh hi u quả của mô hình đề uất với các mô hình NFI , mạng rơ-ron R F, và mô hình nguyên thủy dựa trên thông số R E (Root Mean Squared Error) Kết quả so sánh cho thấy, mô hình đề uất khi đã tối ưu hóa (6 luật) có kết quả tốt hơn các mô hình khác Ngoài ra, chúng ta cũng có thể diễn dịch ngôn ngữ cho tập luật trích uất được như thể hi n ở ảng 3 Bảng 3. iễn dịch ngôn ngữ cho các luật ở bảng hứ tự uật R1 IF x xấp xỉ -2.99 THEN y = 0.418 R2 IF x xấp xỉ -1.813 THEN y = -1.741 R3 IF x xấp xỉ -0.572 THEN y = 1.32 R4 IF x xấp xỉ 0,572 THEN y = 1.32 R5 IF x xấp xỉ 1.813 THEN y = -1.741 R6 IF x xấp xỉ 2.99 THEN y = 0.418 4.2. Chuỗi thời gian hỗn loạn Mackey-Glass ới thực nghi m này chúng tôi muốn chứng tỏ rằng, mô hình mờ dựa trên với sự tích hợp tri thức tiên nghi m thật sự mang lại hi u quả ữ li u được lựa chọn để thử nghi m là dữ li u chuỗi thời gian ackey-Glass (Mackey-Glass time series) ữ li u chuỗi thời gian ackey-Glass được sinh theo công thức sau [18]: − ̇ = − 1 + − Trong đó ta chọn = , = . , = 1 , và = .1 ới 000 mẫu dữ li u sinh ra, 800 mẫu dữ li u được sử dụng để huấn luy n cho máy học Véc-tơ hỗ trợ và sinh ra các luật mờ, 200 mẫu dữ li u còn lại được sử dụng để thử nghi m suy luận dựa trên tập luật mờ trích uất được huộc tính đầu vào được lựa chọn là các giá trị − 1 , − , thuộc tính đầu ra cần dự đoán là giá trị Như vậy mô hình có 02 đầu vào và 0 đầu ra
30 Bảng 4. ập luật trích uất được 800 mẫu dữ li u huấn luy n – 4.2 hứ tự uật R1 IF x(t-2) is Gaussmf(0.56,0.48) and x(t-1) is Gaussmf(0.52, 0.51) THEN x(t) is 1.12 R2 IF x(t-2) is Gaussmf(0.56,0.48) and x(t-1) is Gaussmf(0.66, 1.09) THEN x(t) is 1.08 R3 IF x(t-2) is Gaussmf(0.56,0.48) and x(t-1) is Gaussmf(0.53, 1.39) THEN x(t) is 0.97 R4 IF x(t-2) is Gaussmf(0.65,1.07) and x(t-1) is Gaussmf(0.52, 0.51) THEN x(t) is 1.32 R5 IF x(t-2) is Gaussmf(0.65,1.07) and x(t-1) is Gaussmf(0.66, 1.09) THEN x(t) is 0.94 R6 IF x(t-2) is Gaussmf(0.65,1.07) and x(t-1) is Gaussmf(0.53, 1.39) THEN x(t) is 1.11 R7 IF x(t-2) is Gaussmf(0.53,1.37) and x(t-1) is Gaussmf(0.52, 0.51) THEN x(t) is 1.11 R8 IF x(t-2) is Gaussmf(0.53,1.37) and x(t-1) is Gaussmf(0.66, 1.09) THEN x(t) is 1.09 R9 IF x(t-2) is Gaussmf(0.53,1.37) and x(t-1) is Gaussmf(0.53, 1.39) THEN x(t) is 0.98 Kết quả 9 luật học được t 800 mẫu dữ li u huấn luy n thể hi n trong Bảng 4. Hình 10a thể hi n kết quả dự đoán trên 200 mẫu dữ li u thử nghi m rong thực nghi m này chúng tôi cũng giữ cố định tham số C= 0 và điều chỉnh giá trị tham số = .1, số lượng s tương ứng của mô hình là 3. Hình 10b thể hi n phân bố của các hàm thành viên tương ứng với biến đầu vào (t-2).
31 (b) (b) Hình 10. Kết quả dự đoán trên 200 mẫu dữ li u thử nghi m (RMSE = 0.0092) Bảng 5. o sánh kết quả các mô hình qua thông số R E – 4.2 Số luật ô hình áp dụng mờ ANFIS RBF SVM ô hình đề uất SVM-IF -10 -10 170 <10 0.0042 0.0540 <10 6 0.0034 0.0082 0.0509 0.0076 5 0.0041 0.0086 0.0635 0.0090 4 0.0050 0.0091 0.0748 0.0091 3 0.0074 0.0141 0.1466 0.0092 2 0.0087 0.0191 0.1955 0.0088 Bên cạnh vi c thực nghi m dự đoán giá trị bộ dữ li u thử nghi m (500 mẫu dữ li u) sử dụng tập luật mờ sản uất được t mô hình đề uất, chúng tôi cũng thử nghi m dự đoán trên cùng bộ dữ li u đó với các mô hình được đề uất bởi các tác giả khác, bao gồm mô hình NFI , R F và Hi u quả của các mô hình được so sánh và đánh giá dựa trên thông số R E, thông số này đo lường độ l ch giữa giá trị thực tế và giá trị dự đoán được o sánh các giá trị của R E trong Bảng 5 ta có thể nhận thấy rằng mô hình ứng dụng thuật toán -IF cho kết quả dự đoán tương đương với mô hình NFI và tốt hơn so với các mô hình R F và SVM.
32 4.3. Hệ thống orenz H thống orenz lần đầu tiên được đề uất bởi E. N. Lorenz năm 963 [16], để mô tả những hành vi thất thường của thời tiết. H thống orenz được mô tả như sau: = − − = − + − = − rong đó các thành phần , , và có giá trị tương ứng là = 1 , = , và = rong thực nghi m này, chúng tôi dự đoán các giá trị , và dựa vào các giá trị − 1 , − 1 và − 1 ới 000 mẫu dữ li u sinh ra, chúng tôi dùng 500 mẫu dữ li u để huấn luy n và các mẫu còn lại để test Bảng 6. ập luật trích uất được 500 mẫu dữ li u huấn luy n – 4.3
33 ập luật tối ưu nhận được t thuật toán -IF thể hi n ở ảng 6 Kết quả thực nghi m dự đoán trên 200 mẫu dữ li u test của mô hình sau khi đã tối ưu hóa thể hi n ở Hình 11a Ở các Hình 11b,c,d chúng ta có thể thấy được sự phân bố của các hàm thành viên tương ứng với các biến đầu vào x(t-1), y(t-1) và x(t-1) ố hàm thành viên tương ứng của mỗi biến đầu vào chỉ là 2 hàm, đồng thời phân bố cũng đều và khá rõ ràng Hình 11. (a) Kết quả mô hình đã tối ưu hóa (RMSE = 0.0043), (b)(c)(d) Các hàm thành viên tương ứng x(t-1), y(t-1) và x(t-1) ảng 7 thể hi n kết quả dự đoán thử nghi m trên 500 mẫu dữ li u test của mô hình đề uất và các mô hình đối sánh khác thông qua thông số R E Nhìn bảng
34 kết quả chúng ta thấy hi u quả của mô hình đề uất so với các mô hình khác, đặc bi t là khi đã tối ưu hóa mô hình với số luật là 8 Bảng 7. o sánh kết quả các mô hình qua thông số R E – 4.3 ố luật ô hình áp dụng mờ ANFIS RBF SVM Mô hình đề uất SVM-IF -4 216 8*10 -8 -10 150 4.62*10 0.0110 <10 -8 -8 144 5.45*10 0.9966 2.05*10 -8 -8 142 5.42*10 1.9970 2.10*10 139 7.90*10-8 2.9837 4.74*10-8 134 8.72*10-8 3.9431 3.55*10-8 127 1.03*10-7 4.8669 4.64*10-8 125 0.001 1.00*10-7 89 5.70*10-6 5.6453 5.70*10-8 72 4.29*10-5 6.2638 1.47*10-5 64 8*10-4 3.76*10-4 56 9.16*10-4 6.7905 8.57*10-5 44 1.49*10-2 7.2302 9.44*10-5 27 0.0033 1.28*10-1 7.5741 1.32*10-5 8 0.0515 1.4381 7.7502 0.0043 7 1.4445 7.7857 0.3603
35 KẾT UẬN VÀ KIẾN NGHỊ Đề tài đã nghiên cứu một hướng tiếp cận tích hợp để trích uất h thống mờ “có thể diễn dịch được” t máy học Véc-tơ hỗ trợ. heo cách tiếp cận này, các tri thức tiên nghi m thích hợp sẽ được tích hợp với mô hình mờ dựa trên máy học éc-tơ hỗ trợ để cải thi n hi u mô hình áy học Véc-tơ hỗ trợ hồi quy cho phép trích uất ra các upport-vector làm cở sở để sản sinh ra các luật mờ cho mô hình dự đoán hồi quy. uy nhiên nếu tăng tinh chính xác của mô hình thì số luật mờ trong mô hình trích uất được cũng tăng lên và tính “có thể diễn dịch được” cũng giảm đi ục tiêu của thuật toán đề uất nhằm giải quyết được các điểm hạn chế của mô hình máy học Véc-tơ hỗ trợ đó là tính phức tạp và tính “có thể diễn dịch được”. Đề tài đã phân tích mối quan h tương đương giữa mô hình máy học Véc-tơ hỗ trợ và mô hình mờ ên cạnh đó, các điều ki n để cho một h thống mờ đảm bảo tính chất “có thể diễn dịch được” cũng được phân tích, t đó ác định được những tri thức tiên nghi m thích hợp dùng để tích hợp vào mô hình mờ dựa trên máy học éc-tơ hỗ trợ nhằm đảm bảo đặc tính “có thể diễn dịch được” của mô hình. Trong nghiên cứu này, chúng tôi đã đề uất thuật toán -IF; thuật toán này cho phép điều chỉnh số lượng và vị trí các s học được t máy học éc-tơ hỗ trợ, để t đó có thế trích uất được h thống mờ đảm bảo đặc tính “có thể diễn dịch được”. Các kết quả thực nghi m trên dữ li u thử nghi m đã cho thấy được hi u quả của mô hình đề uất ặt khác, với tập luật “có thể diễn dịch được” trích uất được, một trong những hi u quả mang lại là chuyên gia con người có thể hiểu và phân tích được tập luật này một cách dễ dàng, t đó có thể đánh giá tập tập luật mờ và qua đó có giải pháp để tối ưu hóa tập luật rong định hướng nghiên cứu tiếp theo, chúng tôi sẽ ứng dụng thuật toán trích uất luật mờ -IF để ây dựng các mô hình mờ tích hợp giải quyết một số bài toán dự báo Các mô hình mờ tích hợp này có thể được ây dựng dựa trên cơ sở phân tích ngữ nghĩa các luật mờ “có thể diễn dịch được” học được t dữ li u để t
36 đó tối ưu hóa tập luật và lựa chọn bổ sung một số luật thu thập được t các chuyên gia. rên cơ sở mô hình đề uất, chúng tôi mong muốn hợp tác với các sinh viên, các chuyên gia phát triển phần mềm để phát triển những ứng dụng cụ thể và thiết thực giải quyết các bài toán dự đoán, dự báo trong thực tế, cụ thể như: chứng khoán, thời tiết, . Chúng tôi in chân thành cảm ơn.
i TÀI IỆU THAM KHẢO [1] A.J. Smola and B. Scholkopf. A Tutorial on Support Vector Regression. NEUROCOLT2 echnical Report Series, NC2-TR- 1998-030, 1998. [2] B. Scholkopf, P. Bartlett, A. Smola and R. Williamson. Shrinking the Tube: A New Support Vector Regression Algorithm. NIPS Conference, Denver, Colorado, USA, November 30 - December 5, 1998. [3] Burges, C. J. C A tutorial on support vector machines for pattern recognition. datamining and knowledge discovery, 2(2), 955-974, 1998. [4] C. F. F. Carraro, M. Vellasco, R. Tanscheit. A Fuzzy-Genetic System for Rule Extraction from Support Vector Machines. IEEE, 2013. [5] Chih-Wei Hsu, Chih-Chung Chang, and Chih-Jen lin. A practical Guide to Support Vector Classification. (2010) [6] Corinna Cortes and Vladimir Vapnik. Support-Vector Networks. Machine Learning, 20, 273-297, 1995. [7] David Martens, Johan Huysmans, Rudy Setiono, Jan Vanthienen, Bart Baesens. Rule Extraction from Support Vector Machines - An Overview of issues and application in credit scoring. Studies in Computational Intelligence (SCI) 80, 33–63, 2008. [8] Dou, W., Ruan, S., Chen, Y., Bloyet, D., and Constans, J.-M. A framework of fuzzy information fusion for the segmentation of brain tumor tissues on RM images. Image and Vision Computing, vol. 25, no. 2, 164-171, 2007. [9] George Bojadjev, Maria Bojadjev. Fuzzy logic for Business, Finance, and Management. World Scientific Publishing Co. Pte. Ltd, 2007. [10] J.-H Chiang and P.-Y Hao. Support vector learning mechanism for fuzzy rule- based modeling: a new approach. IEEE Trans. On Fuzzy Systems, vol. 12, pp. 1-12, 2004. [11] J.L. Castro, L.D. Flores-Hidalgo, C.J. Mantas and J.M. Puche. Extraction of fuzzy rules from support vector machines. Elsevier. Fuzzy Sets and Systems,
ii 158, 2057 – 2077, 2007. [12] John Yen, Reza Langari. Fuzzy logic: Intelligence, Control, and Information. Prentice hall, Uper dadle river, New Jersey, 1999. [13] J.-S. R. Jang and C.-T. Sun. Functional equivalence between radial basis function networks and fuzzy inference systems. IEEE Transactions on Neural Networks, vol. 4, no. 1, pp. 156-159, 1993. [14] Juan C. Figueroa-García, Cynthia M. Ochoa-Rey, José A. Avellaneda- González. Rule generation of fuzzy logic systems using a self-organized fuzzy neural network. Neurocomputing– ELSEVIER, 151, 955–962, 2015. [15] L.J.Cao and Francis E.H.Tay. Support vector machine with adaptive parameters in Financial time series forecasting. IEEE trans. on neural network,vol. 14, no. 6, 2003. [16] Lorenz E. N Deterministic nonperiodic flow. Journal of the Atmospheric Sciences, vol. 20, pp. 130–141, 1963. [17] M Delgado, F Herrera, E Herrera-Viedma, L Martin. Combining Numerical and Linguistic Information in Group Decision making. Journal of Information Sciences, 1996. [18] M.C. MacKey and L. Glass. Oscillation and chaos in physiological control systems. Science, vol. 197, pp. 287–289, 1997. [19] N. Ancona. Classification Properties of Support Vector Machines for Regression. Technical Report, RI-IESVCNR-Nr. 02/99. [20] Nahla Barakat, Andrew P. Bradley. Rule extraction from support vector machines: A review. Neurocomputing – ELSEVIER, 74, 178–190, 2010. [21] R. Sindelar and R. Babuska. Input selection for nonlinear regression models. IEEE Trans. on Fuzzy Systems, vol. 12, no. 5, 688-696, 2004. [22] S. Chen, J. Wang and D. Wang. Extraction of fuzzy rules by using support vector machines. IEEE, Computer society, pp. 438-441, 2008. [23] Serge Guillaume, Luis Magdalena. Expert guided integration of induced knowledge into a fuzzy knowledge base. Soft Comput, Springer-Verlag, 10:
iii 773–784, 2006. [24] Stuart Rusell, Perter Norvig. Artificial Intelligence: A Modern Approach. Second Editor, Prentice Hall - Series in Artificial Intelligence, 2003. [25] Xianchang Wang, Xiaodong Liu, Witold Pedrycz, Lishi Zhang. Fuzzy rule based decision trees. Pattern Recognition– ELSEVIER, 48, 50–59, 2015. [26] Y. Jin and B. Sendhoff. Extracting interpretable fuzzy rules from RBF networks. Neural Processing Letters, vol. 17, no. 2, pp. 149-164, 2003. [27] ương hăng ong uận án tiến sĩ oán học: Phương pháp xây dựng hệ mờ dạng luật với ngữ nghĩa dựa trên đại số gia tử và ứng dụng trong bài toán phân lớp. i n Công ngh hông tin - i n Khoa học và Công ngh i t Nam, 2010. [28] Duc-Hien Nguyen, Manh-Thanh Le. A two-stage architecture for stock price forecasting by combining SOM and fuzzy-SVM. International Journal of Computer Science and Information Security (IJCSIS), USA, ISSN: 1947-5500. No: Vol. 12 No. 8, 20-25, 2014. [29] Duc-Hien Nguyen, Manh-Thanh Le. Improving the Interpretability of Support Vector Machines-based Fuzzy Rules. Advances in Smart Systems Research, Future Technology Publications, ISSN: 2050-8662, No: Vol. 3 No. 1, 7 – 14, 3013. [30] Nguyễn Đức Hiển,: Ứng dụng mô hình máy học véc-tơ tựa (SVM) trong phân tích dữ liệu điểm sinh viên, ạp chí Khoa và Công ngh Đại học Đà Nẵng, ố 12(73), 33-37, 2013.