Luận án Một số phương pháp xử lý và phân loại tín hiệu điện não cho các ứng dụng giao diện não - máy tính

125 trang thiennha21 14/04/2022 5011

Download

Bạn đang xem 20 trang mẫu của tài liệu "Luận án Một số phương pháp xử lý và phân loại tín hiệu điện não cho các ứng dụng giao diện não - máy tính", để tải tài liệu gốc về máy bạn click vào nút DOWNLOAD ở trên

Tài liệu đính kèm:

luan_an_mot_so_phuong_phap_xu_ly_va_phan_loai_tin_hieu_dien.pdf

Nội dung text: Luận án Một số phương pháp xử lý và phân loại tín hiệu điện não cho các ứng dụng giao diện não - máy tính

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Thế Hoàng Anh MỘT SỐ PHƯƠNG PHÁP XỬ LÝ VÀ PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO CHO CÁC ỨNG DỤNG GIAO DIỆN NÃO – MÁY TÍNH LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Hà Nội – 2020
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ MỘT SỐ PHƯƠNG PHÁP XỬ LÝ VÀ PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO CHO CÁC ỨNG DỤNG GIAO DIỆN NÃO – MÁY TÍNH Chuyên ngành: Khoa học máy tính Mã số: 9480101.01 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. PGS. TS. Bùi Thế Duy 2. PGS. TS. Lê Thanh Hà Hà Nội – 2020 1
LỜI CAM ĐOAN Tôi xin cam đoan rằng đây là công trình nghiên cứu của riêng tôi. Các kết quả trong luận án là trung thực và chưa từng công bố trong bất kỳ công trình nào khác. Các kết quả được viết chung với các tác giả khác đều được sự đồng ý trước khi đưa vào luận án. Tác giả luận án Nguyễn Thế Hoàng Anh 2
LỜI CẢM ƠN Nghiên cứu khoa học là hành trình dài có nhiều thử thách cần vượt qua và đồng thời là quá trình đào sâu, tìm ra lời giải cho các vấn đề khoa học thú vị. Nghiên cứu về Khoa học máy tính, cụ thể lĩnh vực trí tuệ nhân tạo và khoa học thần kinh chắc chắn là một công việc nhận được nhiều sự quan tâm. Tôi cảm thấy rất may mắn được trở thành một phần của cộng đồng nghiên cứu hàn lâm về lĩnh vực đầy hứng khởi này với những phát kiến khoa học khiêm tốn của mình. Trong quá trình học tập, nghiên cứu và hoàn thiện luận án tiến sĩ, tôi đã nhận được sự giúp đỡ, chỉ bảo tận tình của các thầy, cô giáo, nhà khoa học, Phòng thí nghiệm Tương tác người máy HMI, Bộ môn Khoa học máy tính tại Trường Đại học công nghệ, Đại học Quốc gia Hà Nội. Tôi xin bày tỏ lòng biết ơn sâu sắc đặc biệt tới PGS. TS. Bùi Thế Duy và PGS. TS. Lê Thanh Hà, những người thầy hướng dẫn đã trực tiếp truyền thụ kiến thức và thắp lên ngọn lửa đam mê nghiên cứu khoa học, giúp đỡ, động viên tôi kiên định trong suốt quá trình nghiên cứu và thực hiện luận án. Tôi xin chân thành cám ơn Lãnh đạo và các đồng nghiệp tại Viện Công nghệ thông tin – Viện Hàn lâm Khoa học và Công nghệ Việt Nam đã luôn tạo điều kiện thuận lợi nhất và cùng tôi thực hiện các đề tài, công trình nghiên cứu trong đó một phần kết quả đã được trực tiếp thể hiện trong luận án. Tôi xin dành tất cả sự yêu thương và cám ơn tới gia đình: bố TS. Nguyễn Song Hoan, mẹ TS. Nguyễn Thị Bạch Yến, vợ Lê Minh Trang và hai con Mật Ong, Cá Mập đã luôn bên cạnh, động viên để tôi vượt qua những khó khăn và hoàn thành mục tiêu. Xin trân trọng cám ơn! Tác giả luận án Nguyễn Thế Hoàng Anh 3
MỤC LỤC LỜI CAM ĐOAN 2 LỜI CẢM ƠN 3 DANH MỤC BẢNG 7 DANH MỤC HÌNH VẼ 8 DANH MỤC CHỮ VIẾT TẮT 10 PHẦN MỞ ĐẦU 11 1. Tính cấp thiết 11 2. Mục tiêu của luận án 13 3. Đóng góp của luận án 14 4. Phạm vi của luận án 16 5. Phương pháp luận 17 6. Cấu trúc luận án 17 CHƯƠNG 1. TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO VÀ XỬ LÝ, PHÂN TÍCH TÍN HIỆU ĐIỆN NÃO 19 1. Giới thiệu 19 2. Tín hiệu điện não và phương pháp đo tín hiệu từ não bộ 21 2.1. Các phương pháp đo tín hiệu từ não bộ 21 2.1.1. Chụp quang phổ cận hồng ngoại chức năng 21 2.1.2. Chụp Cộng hưởng từ chức năng 22 2.1.3. Chụp cắt lớp phát xạ positron 22 2.1.4. Từ não đồ 23 2.1.5. Điện não đồ xâm lấn 24 2.2. Tín hiệu điện não và các vấn đề liên quan 25 2.2.1. Điện não đồ 25 2.2.2.Tín hiệu điện não 26 2.2.3. Cơ chế phát sinh tín hiệu điện não 28 2.2.4. Thu tín hiệu điện não 29 3. Một số phương pháp xử lý, phân tích tín hiệu điện não 30 3.1. Biến đổi wavelet 30 3.2. Phân tích thành phần độc lập trong khử nhiễu tín hiệu điện não 33 3.3. Mạng Nơron wavelet 34 3.3.1. Huấn luyện 35 3.3.2. Khử nhiễu 35 3.4. Phương pháp phân ngưỡng wavelet 36 3.5. Kỹ thuật định vị LORETA trong trực quan hóa dữ liệu điện não 38 4. Một số ứng dụng hệ giao diện não máy tính 40 4
4.1. Hệ BCI2000 40 4.2. Hệ VR-BCI trong phục hồi chức năng 41 4.3. Một số hệ BCI trong đánh vần ký tự 42 4.4. Một số nghiên cứu BCI và tín hiệu điện não khác 43 5. Kết luận Chương 1 45 CHƯƠNG 2. PHƯƠNG PHÁP HỌC SÂU TỰ MÃ HÓA THƯA WAVELET TRONG KHỬ TÍN HIỆU ĐIỆN NÃO BẤT THƯỜNG DO NHÁY MẮT 46 1. Đặt vấn đề 46 2. Đề xuất phương pháp học sâu tự mã hóa thưa wavelet 49 2.1. Mạng học sâu tự mã hóa thưa 50 2.2. Phương pháp dò đếm EOG dựa trên biến đổi wavelet Haar 52 2.2.1. Biến đổi wavelet Haar 52 2.2.2. Thuật toán dò tìm EOG dựa trên biến đổi wavelet Haar 53 2.3. Mạng học sâu tự mã hóa thưa wavelet trong khử EOG 55 2.3.1. Huấn luyện tự động 55 2.3.2. Tự động sửa lỗi tín hiệu 57 2.4. Độ đo đánh giá kết quả 58 3. Kết quả 59 3.1. Dữ liệu kiểm thử 59 3.2. Thiết kế thí nghiệm 60 3.3. Kết quả thí nghiệm 60 3.3.1. Kết quả trên Tập dữ liệu 1: thực hiện nhiệm vụ chú ý quan sát 60 3.3.2. Kết quả trên Tập dữ liệu 2: nhận dạng trạng thái suy nghĩ 65 3.3.3. Kết quả trên tập dữ liệu 3: tín hiệu điện não mô phỏng chứa nhiễu 68 4. Thảo luận 69 5. Kết luận Chương 2 72 CHƯƠNG 3. ĐỀ XUẤT MỘT SỐ PHƯƠNG PHÁP PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO DỰA TRÊN HỌC MÁY 73 1. Đặt vấn đề 73 2. Cơ sở dữ liệu thử nghiệm 75 2.1. Cơ sở dữ liệu đã có 75 2.2. Cơ sở dữ liệu của luận án 77 3. Đề xuất một số phương pháp phân loại trạng thái suy nghĩ dựa trên học máy 79 3.1. Phương pháp máy vec-tơ hỗ trợ với đặc trưng năng lượng wavelet tương đối 79 3.1.1. Năng lượng wavelet tương đối trong trích chọn đặc trưng tín hiệu điện não 81 3.1.2. Máy vec-tơ hỗ trợ trong phân loại tín hiệu điện não 82 3.2. Phương pháp mạng nơ-ron nhân tạo kết hợp phân tích thành phần chính 84 5
3.2.1. Phân tích thành phần chính cho giảm số chiều tín hiệu điện não 86 3.2.2. Huấn luyện mạng nơron nhân tạo với thuật toán OWO-BP 87 3.3. Phương pháp học sâu với đặc trưng lựa chọn bởi phân ngưỡng SURE 89 3.3.1. Lựa chọn thành phần chính với phân ngưỡng thích nghi SURE 91 3.3.2. Mạng học sâu Deep belief net trong phân loại tín hiệu điện não 92 4. Kết quả và thảo luận 94 4.1. Tiền xử lý dữ liệu 95 4.2. Phân loại trạng thái 98 5. Kết luận chương 3 100 CHƯƠNG 4. ĐỀ XUẤT HỆ GIAO DIỆN NÃO MÁY TÍNH TRONG ĐIỀU KHIỂN CÁC THIẾT BỊ ĐIỆN TỬ GIA DỤNG THÔNG MINH 102 1. Hệ giao diện não máy tính trong điều khiển thiết bị điện tử gia dụng thông minh 102 1.1. Khối thu tín hiệu và thiết bị Emotiv Epoc+ 103 1.2. Khối DSP 104 1.3. Khối WIoT 104 2. Đề xuất mô hình học cộng đồng dạng xếp ngăn trong phân loại tín hiệu điện não cho hệ giao diện não máy tính trong điều khiển các thiết bị điện tử gia dụng thông minh 105 3. Kết quả và thảo luận 108 4. Kết luận Chương 4 110 PHẦN KẾT LUẬN VÀ KIẾN NGHỊ 112 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ 116 TÀI LIỆU THAM KHẢO 118 6
DANH MỤC BẢNG Bảng 1. Kết quả nhận diện EOG 55 Bảng 2. MSE của ba phương pháp dựa trên wavelet 69 Bảng 3. So sánh đặc tính các phương pháp khử nhiễu tín hiệu điện não 71 Bảng 4. Kết quả phân loại hai trạng thái suy nghĩ 98 Bảng 5. Kết quả phân loại 02 trạng thái suy nghĩ theo các bước với DBN 99 Bảng 6. Kết quả phân loại tác vụ suy nghĩ cho 03 trạng thái với DNN 99 Bảng 7. Kết quả phân loại 03 trạng thái suy nghĩ theo các bước với DNN 100 Bảng 8. Độ chính xác phân loại 2 trạng thái phương pháp đề xuất dựa trên mạng nơ-ron nhân tạo kết hợp PCA và máy vec-tơ hỗ trợ với đặc trưng RWE 100 Bảng 9. Độ chính xác phân loại 3 trạng thái phương pháp đề xuất dựa trên mạng nơ-ron nhân tạo kết hợp PCA và máy vec-tơ hỗ trợ với đặc trưng RWE 100 Bảng 10. Độ chính xác phân loại 2 trạng thái phương pháp đề xuất dựa trên máy học cộng đồng so với các phương pháp thành phần 108 Bảng 11. Độ chính xác phân loại 3 trạng thái phương pháp đề xuất dựa trên máy học cộng đồng so với các phương pháp thành phần 109 7
DANH MỤC HÌNH VẼ Hình 1. Cấu trúc não bộ [64] 19 Hình 2. Các phương thức thu tín hiệu từ não bộ (a) fNIRS, (b) fMRI, (c) PET, (d) MEG, (e) EcoG và (f) EEG 20 Hình 3. Một số hệ thống thiết bị dùng để đo điện não EEG [20] 25 Hình 4. Bản ghi tín hiệu điện não EEG 27 Hình 5. Một số dạng sóng trong tín hiệu điện não EEG 28 Hình 6. (a) Biến đổi wavelet thuận và (b) Biến đổi wavelet ngược 31 Hình 7. Quy trình phương pháp ICA dùng trong khử nhiễu tín hiệu EEG 34 Hình 8. Cấu trúc của mạng Wavelet Neural Network [8] 35 Hình 9. Huấn luyện mạng Nơ-ron 35 Hình 10. Quá trình khử nhiễu 36 Hình 11. Thuật toán Loreta trong định vị hoạt động điện não EEG. 39 Hình 12. Thiết kế hệ BCI2000 [17] 40 Hình 13. Hệ BCI ứng dụng thực tại ảo trong phục hồi bệnh nhân đột quỵ [1] 41 Hình 14. Thiết kế ma trận hiển thị cho 26 ký tự tiếng Anh [8] 42 Hình 15. Giao diện thí nghiệm Berlin BCI [68] 43 Hình 16. Tín hiệu bất thường do nháy mắt EOG 47 Hình 17. Cấu trúc mạng học sâu tự mã hóa thưa kết hợp wavelet DWSAE 49 Hình 18. Mô hình đơn giản một máy tự mã hóa Autoencoder 51 Hình 19. Lưu đồ thuật toán dò đếm tín hiệu bất thường do nháy mắt EOG 53 Hình 20: Kết quả nhận diện EOG 54 Hình 21. Quy trình huấn luyện không giám sát mạng học sâu tự mã hóa thưa wavelet 56 Hình 22. Quy trình tự động khử EOG với DWSAE 57 Hình 23. Kết quả khử nhiễu của DWSAE so với (a) SOBI, (b) Infomax, (c) JADE, (d)WNN và (e) Wavelet thresholding 62 Hình 24. Hình vẽ thể hiện PSD của tín hiệu trước và sau khi khử nhiễu 63 Hình 25. Hệ số tương quan tần số giữa tín hiệu trước và sau khi khử nhiễu bởi (a) DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN và (f) WT 64 Hình 26 So sánh kết quả khử nhiễu giữa DWSAE và (a) SOBI, (b) Infomax, (c) JADE, (d)WNN và (e) Wavelet thresholding 66 Hình 27. PSD giữa tín hiệu gôc và tín hiệu sau khử nhiễu 67 Hình 28. Tương quan tần số giữa tín hiệu trước và sau khi khử nhiễu bởi (a) DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN và (f) WT 67 Hình 29. Kết quả trên đoạn tín hiệu bán giả lập trước và sau khi khử nhiễu bởi . 68 Hình 30. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên SVM 80 Hình 31. Siêu phẳng phân cách bởi SVM 82 Hình 32. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên mạng nơ-ron 85 Hình 33. Cấu trúc mạng nơ-ron nhân tạo ba lớp 88 8
Hình 34. Huấn luyện mạng ANN với thuật toán OWO-BP 89 Hình 35. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên học sâu 90 Hình 36. Thiết kế máy học Boltzman 92 Hình 37. Mạng học sâu Deep belief net với nhiều máy Boltzman 94 Hình 38. Biến đổi ICA trong khử nhiễu tín hiệu điện não 96 Hình 39. Kết quả khử nhiễu với ICA 96 Hình 40. Kết quả khử nhiễu với WNN 96 Hình 41. Hiển thị vùng kích hoạt não bộ với phương pháp LORETA trong quá trình đối tượng thực hiện ba thí nghiệm (a) N, (b) L and (c) P 97 Hình 42. Kiến trúc tổng thể của hệ thống giao diện não-máy tính trong điều khiển các thiết bị điện tử gia dụng thông minh. 102 Hình 43. Mũ đo tín hiệu điện não EPOC+ (Nguồn: Emotiv) 103 Hình 44. Tín hiệu điện não thu bằng chương trình Test Bench 103 Hình 45. Mô hình tương đương module ESP 8266 105 Hình 46. Mô hình máy học cộng đồng trong phân loại trạng thái suy nghĩ từ tín hiệu điện não 107 9
DANH MỤC CHỮ VIẾT TẮT ANN Aritificial neural network (Mạng nơ-ron nhân tạo) BCI Brain computer interface (Giao diện não máy tính) CT Computed Topography (Chụp cắt lớp) DNN Deep neural network (Mạng học sâu) DBN Deep belief network (Mạng học sâu niềm tin) DWSAE Deep wavelet sparse autoencoder (Máy học sâu tự mã hóa thưa wavelet) EEG Electroencephalography (Điện não đồ) EOG Electrooculography (Tín hiệu bất thường sinh ra do nháy mắt) EMG Electromyogram (Tín hiệu bất thường sinh ra do cử động cơ) ECoG Electro-corticography (Điện não đồ xâm lấn) FC Frequency correlation (Tương quan tần số) fMRI functional Magnetic resonance imaging (Chụp cộng hưởng từ chức năng) fNIRS Functional Near-Infrared Spectroscopy (Quang phổ cận hồng ngoại) ICA Independent component analysis (Phân tích thành phần độc lập) Infomax Information Maximization (Tối đa thông tin) JADE Joint Approximation Diagonalization of Eigen-matrices LORETA Low resolution brain electromagnetic tomography (Định vị điện từ não đồ phân giải thấp) MEG Magnetoencephalography (Từ não đồ) MSE Mean square error (Sai số toàn phương trung bình) OWO-BP Output weight optimization – Backpropagation (Lan truyền ngược tối ưu hóa trọng số lớp ra) PCA Principal component analysis (Phân tích thành phần chính) PET Positron emission tomography (Chụp positron phát xạ) PSD Power spectral density (Mật độ phổ năng lượng) RBM Restricted Bolzmann machine (Máy Bolzmann chặt) RWE Relative wavelet energy (Năng lượng wavelet tương đối) SAE Sparse autoencoder (Máy tự mã hóa thưa) SOBI Second-Order Blind Identification (Nhận dạng mù bậc hai) SURE Stein’s unbiased risk estimate SVM Support vector machine (Máy vec-tơ hỗ trợ) WIoT Wireless internet of things (Internet vạn vật vô tuyến) WNN Wavelet neural network (Mạng nơ-ron wavelet) WT Wavelet thresholding (Phân ngưỡng wavelet) 10
PHẦN MỞ ĐẦU 1. Tính cấp thiết Não bộ là một trong những cơ quan quan trọng nhất, về cơ bản chịu trách nhiệm điều phối toàn bộ các cơ quan khác trong cơ thể con người. Cơ chế hoạt động của não bộ là một vấn đề rất phức tạp, đến nay khoa học chưa có lời giải rõ ràng. Nếu não bộ hoạt động không bình thường có thể do các vấn đề tâm lý hay xáo trộn về cấu trúc sinh học, một số bệnh liên quan có thể xuất hiện như suy giảm trí nhớ, tự kỷ/trầm cảm, Parkinson, đột qụy Tín hiệu điện não là một cách tiếp cận phù hợp để có thể đánh giá tình trạng của não bộ trong các trường hợp kể trên do chất lượng tín hiệu tốt, độ phân giải cao, tính linh động của thiết bị, an toàn và giá thành hợp lý trong điều kiện Việt Nam nếu so sánh với các phương pháp thu tín hiệu từ não bộ khác như chụp cộng hưởng từ, chụp cắt lớp, điện não đồ xâm lấn Tín hiệu điện não hay sóng điện não (Electroencephalogram – EEG) là các giá trị điện thế có giá trị rất nhỏ, tạo ra bởi quá trình tương tác với nhau của các tế bào thần kinh trong não. Tín hiệu EEG thường có biên độ trong khoảng từ 10 µV đến 100 µV và tần số trong dải từ 1 Hz đến 100 Hz. Tín hiệu EEG không tuân theo phân bố Gauss thông thường và cũng không tĩnh (nonstationary). Thông thường, tín hiệu EEG cho biết thông tin về các hoạt động theo nhịp (rhythmic activities) trên các dải tần số khác nhau như dải tần Delta (0.5–4 Hz), Theta (4-8 Hz), Alpha (8-13 Hz), Beta (13-30 Hz) và Gamma (30-50 Hz). Phân tích tín hiệu EEG có thể dẫn đến một số phát hiện như: nhịp Delta thường được thu được ở các trẻ nhỏ dưới 1 tuổi và trong trạng thái ngủ sâu của người lớn; nhịp Theta tồn tại ở trẻ em nhỏ dưới 7 tuổi hoặc trẻ em bình thường hoặc ở người lớn trong trạng thái buồn ngủ hoặc đang ngủ; một lượng lớn tín hiệu nhịp Theta thu được ở người lớn trong trạng thái tỉnh táo là dấu hiệu cảnh báo tình trạng bất thường hoặc dấu hiệu bị bệnh Tín hiệu điện não thường xuyên được sử dụng để phát triển các hệ giao diện não-máy tính (Brain Computer Interface - BCI), phương thức truyền thông cho phép kết nối máy tính để xử lý và hiểu được tín hiệu sinh ra từ bộ não một cách hiệu quả. 11
BCI là một giải pháp hữu ích cho người bị các bệnh như xơ cứng teo cơ một bên (ALS) hay bệnh nhân trong tình trạng nghiêm trọng không cử động và điều khiển được các bộ phận của cơ thể. Giao điện não máy tính cho phép chuyển tải thông điệp người sử dụng muốn chỉ thông qua tín hiệu đã được phân tích, xử lý và “dịch” bởi hệ thống mà không cần bất kỳ can thiệp nào khác. Một số ứng dụng của hệ BCI có thể kể đến trong việc hỗ trợ phục hồi chức năng của người bị liệt nửa người do chấn thương tủy sống [1], cho phép người sử dụng điều khiển các nhân vật hoạt họa di chuyển trong một trò chơi điện tử dựa trên Xung phản ứng kích thích thị giác trạng thái ổn định [2], điều khiển con chuột máy tính [3]. Để thực hiện việc phân tích thông tin và triển khai các ứng dụng dựa trên tín hiệu EEG kể trên, một số vấn đề còn tồn tại, chưa được giải quyết bởi các nghiên cứu trước đây có thể được kể đến: - Tín hiệu điện não sau khi được biến đổi sang miền thời gian – tần số sẽ chứa các thông tin đặc trưng được khu trú trên từng dải tần cụ thể và theo từng khung thời gian nhất định. Các phương pháp trước đây, ví dụ sử dụng mạng nơ-ron nhân tạo, thường phải trải qua bước huấn luyện off-line, do đó không tự động hóa được quy trình khử nhiễu. - Các thiết kế thí nghiệm của các nghiên cứu khác tập trung vào việc tạo ra các đặc trưng như P300, xung kích thích thị giác trạng thái ổn định SSVEP, nhịp Mu và Beta thường yêu cầu thiết bị phụ trợ như màn hình máy tính hiển thị các hình ảnh, ký tự được nháy sáng. - Các phương pháp phân loại tín hiệu điện não trước đây thường được phát triển cho các thí nghiệm như hình dung ảnh vận động, nhịp vận động cảm giác hay xung kích thích thị giác trạng thái ổn định không phù hợp cho việc phân loại tín hiệu điện não sinh ra trong tác vụ tập trung suy nghĩ vốn không đòi hỏi thiết kế thí nghiệm phải có thiết bị hỗ trợ. Học máy là các phương pháp tính toán thông minh cho phép máy tính tạo ra các mô hình toán học có tham số hình thành bởi quá trình khai phá, huấn luyện với dữ liệu gán nhãn (học có giám sát) hoặc không cần gán nhãn (học không giám sát). 12
Học sâu hay mạng nơ-ron nhân tạo sâu (deep neural network) với các cấu trúc khác nhau như mạng niềm tin (deep belief net), máy tự mã hóa thưa (autoencoder), mạng tích chập (convolutional neural network), mạng sinh đối nghịch (generative adversarial networks) là các thuật toán học máy được ứng dụng rất thành công trong nhiều lĩnh vực. Các thuật toán học sâu khi có nhiều dữ liệu để huấn luyện sẽ càng trở nên hiệu quả trong việc thực hiện chức năng được “dạy”. Kết quả thực nghiệm trong luận án này mới chỉ tiến hành trên một tập dữ liệu quy mô nhỏ, tuy nhiên việc sử dụng các phương pháp học sâu là bước chuẩn bị sẵn sàng để triển khai công nghệ đề xuất cho các bài toán thực tế, khi có lượng lớn dữ liệu. Dựa trên những phân tích ở trên, việc nghiên cứu và phát triển các phương pháp xử lý và phân loại tín hiệu điện não, hướng đến áp dụng các phương pháp này trong một hoặc một số ứng dụng cụ thể là một vấn đề nghiên cứu có ý nghĩa khoa học và thực tiễn cao, rất cần thiết được tập trung nghiên cứu một cách kỹ lưỡng. 2. Mục tiêu của luận án Luận án đặt ra một số mục tiêu như sau: - Phát triển phương pháp để tăng cường chất lượng điện não dựa trên học máy: Với vai trò là thông tin đầu vào, chất lượng của bản ghi tín hiệu điện não rất quan trọng, ảnh hưởng đến chất lượng xử lý và phân loại tín hiệu của hệ xử lý, phân tích tín hiệu điện não. Do đó, việc tăng cường chất lượng điện não, cụ thể là loại bỏ thành phần tín hiệu điện não không mong muốn trong đó tín hiệu điện não bất thường sinh ra do nháy mắt (Electrooculography – EOG), là một cách tiếp cận phù hợp để tăng hiệu quả hoạt động của hệ BCI cũng như các hệ thống phân tích tính hiệu điện não khác. - Phát triển các phương pháp trong phân tích, xử lý tín hiệu điện não dựa trên các phương pháp học máy trong đó bao gồm việc kiểm thử các phương pháp học có giám sát và không giám sát dựa trên SVM, ANN, DNN, Học cộng đồng: Đối với các phương pháp phân tích tín hiệu điện não dựa trên học có giám sát, kết quả phân loại tín hiệu sẽ cho thấy mô hình đã được huấn luyện có thể học và làm tốt đến đâu với 13
dữ liệu tín hiệu điện não đầu vào đã được gán nhãn. Trong trường hợp xử lý tín hiệu điện não với phương pháp học không giám sát, luận án sẽ kiểm chứng việc một thuật toán học máy trong trường hợp cụ thể có thể làm tốt đến đâu khi đã biết nhiệm vụ nhưng chưa thực sự thực hiện nhiệm vụ này bao giờ. Suy rộng ra là mục tiêu chứng tỏ các hệ thống trí tuệ nhân tạo có khả năng tự học và suy diễn để thực hiện các nhiệm vụ được đặt ra như khả năng suy luận của con người mà không cần phải cho huấn luyện trước (trong chừng mực nào đó) trên một nhiệm vụ như vậy - Phát triển một qui trình thu nhận dữ liệu với thiết kế thí nghiệm riêng để đảm bảo phù hợp với hệ thống BCI có khả năng điều khiển các thiết bị điện tử gia dụng thông minh: Hiện nay, rất nhiều nghiên cứu về xử lý, phân tích tín hiệu điện não trên thế giới sử dụng tập dữ liệu có sẵn được công bố miễn phí và rộng rãi. Tuy nhiên cách tiếp cận này có một nhược điểm là dữ liệu thu trước không phải lúc nào cũng phù hợp với nội dung của nghiên cứu. Một số nghiên cứu khác chủ động tiến hành thu nhận và sử dụng dữ liệu thu được. Những nghiên cứu này sử dụng các qui trình thu nhận dữ liệu khác nhau, tuy nhiên phần lớn trong số đó đều khá phức tạp. Mục tiêu ban đầu của luận án này là phát triển một hệ BCI trong điều khiển các thiết bị điện tử thông minh, có thể hỗ trợ những nhóm người bị tổn thương chức vận động (đột quỵ, xơ cứng teo cơ một bên - ALS, đa xơ cứng, chấn thương tủy sống, loạn dưỡng cơ, ) không có khả năng cử động tương tác được với các thiết bị điện tử. Để thực hiện hệ BCI như vậy, nghiên cứu trong khuôn khổ luận án này đã phát triển một qui trình thu nhận dữ liệu với thiết kế thí nghiệm riêng để đảm bảo phù hợp với hệ thống BCI có khả năng điều khiển các thiết bị điện tử gia dụng thông minh. 3. Đóng góp của luận án Luận án có những đóng góp khoa học tập trung vào ba nhóm vấn đề (1) xử lý, tăng cường chất lượng tín hiệu điện não, (2) phân tích, phân loại tín hiệu điện não và (3) một hệ thống giao diện não máy tính hoàn chỉnh trong ứng dụng điều khiển thiết bị điện tử gia dụng. Cụ thể các đóng góp như sau: (1) Đề xuất các phương pháp xử lý, tăng cường chất lượng tín hiệu điện não: 14
Thứ nhất, khử tín hiệu điện não bất thường sinh ra do nháy mắt tự động với mạng học sâu tự mã hóa thưa wavelet (DWSAE). Đây là một phương pháp mới, trong đó thuật toán DWSAE được huấn luyện không giám sát và khử nhiễu một cách tự động. Cách tiếp cận này chứng tỏ các thuật toán trí tuệ nhân tạo nếu được triển khai theo một quy trình phù hợp, có khả năng tự tìm cách thực hiện các nhiệm vụ cụ thể mà không cần được biết trước nhiệm vụ đó. Thứ hai, nhận diện, dò đếm giả tượng mắt EOG dựa trên biến đổi wavelet với hàm cơ sở wavelet Haar. Phương pháp này được phát triển với mục đích thu thập các đoạn tín hiệu điện não sạch phục vụ huấn luyện không giám sát mô hình DWSAE. (2) Đề xuất các phương pháp phân tích, phân loại tín hiệu điện não: Thứ ba, phân loại tín hiệu điện não trong các tác vụ suy nghĩ dựa trên bộ phân lớp SVM với đặc trưng năng lượng wavelet tương đối. Việc triển khai phương pháp này cho thấy, đặc trưng (Relative wavelet energy – RWE) rất phù hợp để làm đầu vào cho các mô hình phân lớp học máy dựa trên việc tạo ra các siêu phẳng, nhất là trong bài toán phân loại tín hiệu điện não. Thứ tư, phân loại tín hiệu điện não sử dụng mạng nơ-ron phân tích thành phần chính trong lựa chọn đặc trưng. Trong cách tiếp cận này, mạng nơ-ron được huấn luyện với phương pháp lan truyền ngược tối ưu trọng số lớp đầu ra (OWO-BP) sử dụng đặc trưng trích xuất bởi phương pháp phân tích thành phần chính. Thứ năm, phân loại tín hiệu điện não sử dụng mạng học sâu với đặc trưng lựa chọn bởi phân ngưỡng SURE. Trong phương pháp này, mạng học sâu được huấn luyện với đầu vào là các đặc trưng trên miền tần số được trích chọn và giảm số chiều thông tin sau phân tích thành phần chính PCA. Một phương pháp phân ngưỡng SURE [4] được đề xuất để giảm số chiều các thành phần chính nhằm giảm độ phức tạp tính toán và thời gian xử lý, đồng thời tăng chất lượng của bộ phân lớp sử dụng mạng học sâu. (3) Đề xuất một hệ thống giao diện não máy tính hoàn chỉnh ứng dụng trong điều khiển thiết bị điện tử gia dụng: 15
Thứ sáu, đề xuất mô hình và thực hiện hệ giao diện não máy tính trong điều khiển thiết bị điện tử gia dụng. Hệ giao diện não máy tính này gồm bốn phần chính là khối thu tín hiệu (cùng với thiết kế thí nghiệm, sử dụng phù hợp), khối xử lý tín hiệu số, khối kết nối và điều khiển thiết bị không dây và khối các thiết bị thông minh. Các khối thành phần của hệ thống được kết nối hữu tuyến hoặc vô tuyến (wi-fi, blue tooth) với nhau Thứ bảy, phân loại tín hiệu điện não sử dụng mô hình dựa trên máy học cộng đồng là một cách tiếp cận phù hợp để phát triển hệ BCI trong điều khiển thiết bị điện tử gia dụng thông minh. Mô hình máy học cộng đồng sử dụng tín hiệu đầu vào đã được khử tín hiệu điện não bất thường sinh ra do nháy mắt với phương pháp DWSAE. Các máy học thành phần được sử dụng là máy học dựa trên học sâu, mạng nơ-ron nhân tạo và máy vec-tơ hỗ trợ được đề xuất trong Chương 3 của luận án. Các đóng góp khoa học cũng như kết quả thực nghiệm của luận án cho thấy sử dụng học máy là phương pháp tiếp cận phù hợp để giải quyết các bài toán liên quan đến xử lý, phân loại tín hiệu điện não và hệ giao diện não máy tính trong điều kiện tín hiệu điện não có tính chất không tĩnh (non-stationary), thay đổi từ người này sang người khác và từ phiên thu tín hiệu này sang phiên thu tín hiệu khác. Ngoài ra, việc thực hiện thành công phương pháp DWSAE cho thấy máy học không giám sát có thể là một cách tiếp cận mới trong xử lý phân tích tín hiệu điện não một cách tự động. Khái quát hóa lên, các công cụ trí tuệ nhân tạo có khả năng học tự động với dữ liệu được gán nhãn để giải quyết nhiệm vụ chưa có kinh nghiệm. Đây là cách giải quyết vấn đề rất gần với tư duy của con người. 4. Phạm vi của luận án Luận án này tập trung giải quyết các vấn đề liên quan đến phân tích, xử lý tín hiệu điện não, phát triển và thực hiện hệ giao diện não máy tính nói chung và ứng dụng cụ thể cho hệ BCI có khả năng điều khiển các thiết bị điện tử gia dụng thông minh dựa trên tín hiệu điện não. Để thực hiện được mục tiêu này, luận án tập trung phát triển một số phương pháp xử lý, phân tích tín hiệu điện não để tăng cường chất lượng tín hiệu điện não. Các phương pháp này có thể được áp dụng cho hệ BCI điều 16
khiển thiết bị điện tử được mô tả trong luận án này cũng như các hệ xử lý tín hiệu điện não khác. Bên cạnh đó, luận án trình bày một số nghiên cứu, đề xuất về các mô hình phân loại tính hiệu điện não hoàn chỉnh gồm tiền xử lý tín hiệu sóng điện não, trích chọn các đặc trưng phù hợp và huấn luyện, sử dụng mô hình phân lớp dựa trên học máy trong phân loại tín hiệu điện não thành các tác vụ suy nghĩ tương ứng. Mô hình hệ giao diện não máy tính trong điều khiển các thiết bị điện tử thông minh được đề xuất trong nghiên cứu của luận án sử dụng thiết bị thu tín hiệu điện não có chất lượng tín hiệu tương đối tốt, thiết kế nhỏ gọn, linh động nhưng có giá thành hợp lý, phù hợp với điều kiện kinh tế -xã hội của Việt Nam. Chương 4 của luận án đề xuất cách tiếp cận sử dụng mô hình học cộng đồng cho khối xử lý tín hiệu trong hệ BCI này. 5. Phương pháp luận Luận án giải quyết các vấn đề nghiên cứu đặt ra theo cách tiếp cận sau: - Sử dụng phương pháp nghiên cứu lý thuyết, xây dựng và kiểm thử các mô hình đề xuất trên dữ liệu đã được công bố và dữ liệu tự thu thập. - Các phương pháp được đề xuất được so sánh với các phương pháp đã có khác để đánh giá sự hiệu quả. - Kết quả được báo cáo dưới dạng số liệu hoặc trực quan hóa để thuận tiện cho việc đánh giá, kiểm chứng. 6. Cấu trúc luận án Luận án này gồm 06 phần trong đó có Phần mở đầu, 04 chương nội dung và Phần kết luận. Phần mở đầu nêu lên tính cấp thiết của vấn đề nghiên cứu, mục tiêu, đóng góp khoa học và phạm vi của luận án. Chương 1 nêu tổng quan các vấn đề liên quan đến tín hiệu điện não, cơ chế sinh ra tín hiệu điện não và một số phương pháp xử lý, phân tích tín hiệu điện não. Chương 2 trình bày đề xuất phương pháp xử lý, tăng cường chất lượng tín hiệu điện não đầu vào của hệ giao diện não máy tính bằng cách khử tín hiệu điện não bất thường sinh ra do nháy mắt. Phương pháp được đề xuất kết hợp mạng học sâu tự mã hóa thưa và biến đổi wavelet để khử tín hiệu điện 17
não bất thường sinh ra do nháy mắt một cách tự động và theo thời gian thực. Chương 3 trình bày một số cách tiếp cận và đề xuất các mô hình phân loại dựa trên học máy như máy vec-tơ hỗ trợ, mạng nơ-ron nhân tạo, mạng học sâu. Chương 4 trình bày cách tiếp cận sử dụng học cộng đồng xếp ngăn để tăng cường khả năng phân loại của các phương án dựa trên học máy đã được đề xuất trong ứng dụng BCI phục vụ điều khiển thiết bị điện tử gia dụng thông minh. Phần kết luận đưa ra đánh giá tổng quát về các kết quả nghiên cứu trình bày trong luận án, các đóng góp chính của luận án và gợi ý một số hướng nghiên cứu để phát triển các nội dung đã được thảo luận trong luận án. 18
CHƯƠNG 1. TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO VÀ XỬ LÝ, PHÂN TÍCH TÍN HIỆU ĐIỆN NÃO 1. Giới thiệu Bộ não, trung tâm điều khiển của hệ thần kinh trung ương, đóng vai trò rất quan trọng trong việc điều phối các hoạt động của các cơ quan khác và sản sinh ra ý thức [5]. Não bộ (Hình 1) có khoảng 100 tỉ tế bào thần kinh và là một trong những bộ phận sinh học phức tạp nhất trong trong cơ thể con người [6]. Tìm hiểu về cấu trúc của não bộ cũng như cách thức não bộ truyền nhận thông tin là một lĩnh vực chứa nhiều tiềm năng đem tới những phát kiến khoa học lớn. Để thực hiện được việc đó, một trong những việc đầu tiên và quan trọng nhất là phải thu nhận được những tín hiệu/thông tin do não bộ sản sinh. Một số phương pháp khác nhau ghi lại hoạt động của não (Hình 2), đó là: - Điện não đồ (Electroencephalography - EEG), - Chụp quang phổ cận hồng ngoại chức năng (Functional Near-Infrared Spectroscopy - fNIRS), - Điện não xâm lấn (Electro-corticography - ECoG), - Chụp cắt lớp (Computed Topography - CT) - Từ não đồ (Magnetoencephalography - MEG), - Chụp cắt lớp phát xạ positron (Positron emission tomography - PET) - Chụp cộng hưởng từ chức năng (functional magnetic resonance imaging - fMRI). Hình 1. Cấu trúc não bộ [64] 19
Các phương pháp thu tín hiệu hình ảnh từ não như CT, PET, MRI thường có thiết kế cồng kềnh, giá thành rất cao. Phương pháp điện não xâm lấn EcoG cho tín hiệu có độ tin cậy cao, chất lượng và độ phân giải tốt tuy nhiên lại là phương pháp xâm lấn, không dễ thực hiện và đòi hỏi phải có can thiệp y khoa để mở hộp sọ đặt điện cực thu tín hiệu. So với các phương pháp này, điện não đồ EEG cho kết quả là tín hiệu điện não có độ phân giải và chất lượng tốt. Thiết bị thu EEG thường nhỏ gọn, có thể di chuyển linh hoạt và giá thành thấp [7]. Tín hiệu điện não EEG là một phương thức được sử dụng phổ biến nhất thu nhận tín hiệu đầu vào cho các ứng dụng giao diện não – máy tính [3; 7-13], phù hợp với điều kiện kinh tế - xã hội nếu được triển khai áp dụng tại Việt Nam. a b c d e f Hình 2. Các phương thức thu tín hiệu từ não bộ (a) fNIRS, (b) fMRI, (c) PET, (d) MEG, (e) EcoG và (f) EEG (Nguồn: (truy cập lần cuối 09/07/2020) và kết quả nghiên cứu của luận án) Chương 1 sẽ trình bày về các phương pháp đo tín hiệu từ não bộ, cơ sở khoa học để làm rõ lý do và ưu điểm, hạn chế của tín hiệu điện não so với các phương pháp khác. Qua các phân tích, đánh giá và cơ sở khoa học được trình bày sẽ cho thấy 20
một tiềm năng to lớn trong việc nghiên cứu tín hiệu điện não, phát triển hệ BCI, hứa hẹn sẽ đem đến những phát kiến khoa học có giá trị theo hướng nghiên cứu này trong các lĩnh vực y tế, điều khiển, trị liệu .Một số phương pháp phân tích, xử lý tín hiệu trong đó có các phương pháp nền tảng như biến đổi wavelet, phân tích thành phần độc lập, mạng nơ-ron wavelet, phương pháp hiển thị hình ảnh LORETA sẽ được trình bày để làm cơ sở cho các phương pháp được đề xuất, phát triển ở các chương tiếp theo của luận án. 2. Tín hiệu điện não và phương pháp đo tín hiệu từ não bộ 2.1. Các phương pháp đo tín hiệu từ não bộ 2.1.1. Chụp quang phổ cận hồng ngoại chức năng Phương pháp chụp quang phổ cận hồng ngoại chức năng (Functional Near- Infrared Spectroscopy - fNIRS) cho phép đo dữ liệu về oxi trên vỏ não và lưu lượng máu trên các vùng của não mà không cần can thiệp xâm lấn [14]. fNIRS được thực hiện dựa trên nguyên lí tia sáng ở phổ cận hồng ngoại với bước sóng từ 700-900 nm bị hấp thụ mạnh bởi hemoglobin (Hb) và deoxygenated-hemoglobin (deoxy-Hb) vốn có trong máu nhưng có thể dễ dàng đi xuyên qua da, xương và các mô tế bào. fNIRS cho phép theo dõi và phát hiện những sự thay đổi mang tính tương đối trong lưu thông máu não dựa trên sự khác biệt về mức độ bị hấp thụ các tia sáng ở phổ cận hồng ngoại này. Tại bước song 810 nm, hệ số hấp thụ của deoxy-Hb and oxy-Hb là giống nhau do đó phương pháp đo tín hiệu não fNIRS thường sử dụng ít nhất hai bước sóng. Trong đó, có một bước sóng cao hơn 810 nm và bước sóng còn lại sẽ thấp hơn 810 nm. Chứng tỏ được nhiều ưu điểm về độ chính xác và chất lượng của tín hiệu thu được, fNIRS thu hút sự quan tâm của nhiều nhóm nghiên cứu trên thế giới nhưng ở Việt Nam phương pháp này vẫn còn khá mới mẻ. Cản trở lớn nhất của việc nghiên cứu phổ biến fNIRS là ở chi phí sử dụng cao, việc thiết lập hệ thống vẫn còn phức tạp. Ngoài ra fNIRS có một nhược điểm rất lớn là không thể sử dụng để thăm dò 21
hoạt động não ở khu vực sâu hơn 4 cm do những hạn chế trong khả năng phát xạ các tia cận hồng ngoại và giới hạn về độ phân giải trong không gian [14]. 2.1.2. Chụp Cộng hưởng từ chức năng Chụp cộng hưởng từ chức năng hay fMRI (Functional magnetic resonance imaging) là một kỹ thuật chẩn đoán hình ảnh y khoa không xâm lấn dựa trên hiện tượng cộng hưởng từ cho phép theo dõi sự thay đổi lượng oxy trong máu của não bộ, từ đó có thể phân tích được tình trạng hay hoạt động của hệ thần kinh [15]. Chụp cộng hưởng từ là một kỹ thuật nhanh, gọn, không sử dụng tia X, an toàn cho bệnh nhân và không gây ảnh hưởng phụ. Về cơ bản, fMRI là một phương pháp thu hình ảnh của các cơ quan trong cơ thể sống và quan sát lượng nước bên trong các cấu trúc của các cơ quan. Ảnh cộng hưởng từ hạt nhân dựa trên một hiện tượng vật lý là hiện tượng cộng hưởng từ hạt nhân. Phương pháp fMRI gồm 4 giai đoạn là sắp hàng hạt nhân, kích thích hạt nhân, ghi nhân tín hiệu và tạo hình ảnh. Dạng phổ biến nhất của fMRI là BOLD-fMRI (Blood oxygen level dependent fMRI) cho phép xác định dòng máu chứa Oxy tại những vùng khác nhau [16]. Thiết bị đo tín hiệu hình ảnh fMRI thường có kích thướng lớn, cồng kềnh, không di chuyển được và yêu cầu bất động cơ thể người thu tín hiệu. 2.1.3. Chụp cắt lớp phát xạ positron Chụp cắt lớp phát xạ positron (Positron Emission Tomography - PET) là kỹ thuật ghi hình y học hạt nhân có thể đánh giá được mức độ chuyển hóa, hoạt động chức năng của các tế bào trong một cơ quan. PET được sử dụng như phương pháp ghi hình chức năng, ghi hình chuyển hóa hay ghi hình ở mức độ phân tử [17]. Phương pháp PET ghi lại hình ảnh định tính và định lượng trong quá trình sinh - bệnh lý và chuyển hóa của các bệnh lý sử dụng dược chất phóng xạ được đánh dấu. Trong khi đó các phương pháp chẩn đoán hình ảnh cấu trúc, giải phẫu như chụp cắt lớp vi tính (Computed Tomography – CT) hay cộng hưởng từ (fMRI) không thể 22
phát hiện các tế bào ung thư hoặc các tổn thương ở các cơ quan ở giai đoạn sớm (giai đoạn chuyển hóa mức phân tử, tế bào ). Chụp Positron cắt lớp cho phép phát hiện nguồn năng lượng được phóng thích bởi các hạt positron vốn là những hạt nhỏ được hình thành khi mà chất đánh dấu phóng xạ bị phá vỡ trong cơ thể. Tia gamma được sinh ra khi các hạt positron bị phá vỡ và sẽ được phát hiện bởi máy quét tạo nên hình ảnh không gian 3 chiều. Hình ảnh thu được cho thấy các cơ quan trong cơ thể hoạt động bình thường hay bất thường. Cũng giống như fMRI, thiết bị chụp PET thường có kích thướng lớn, cồng kềnh, không di chuyển được và yêu cầu bất động cơ thể người thu tín hiệu. Ngoài ra việc đưa chất đánh dấu trong phức hợp đánh dấu phóng xạ vào cơ thể người cũng có thể gây ra các tác dụng phụ không mong muốn. 2.1.4. Từ não đồ Từ trường có thể được phát hiện ở bất cứ nơi nào có sự biến thiên của điện trường. Từ não đồ MEG là một kỹ thuật thần kinh chức năng cho phép lập bản đồ hoạt động của não bằng cách ghi nhận từ trường sinh ra bởi dòng điện sinh học, có giá trị rất nhỏ, gây ra do hoạt động của các tế bào thần kinh. MEG là một phương pháp không xâm lấn cho phép đo sự thay đổi của trường điện từ dựa trên hoạt động của tế bào thần kinh với độ phân giải cao trong dải giá trị từ femto tesla (10-15T) tới pico tesla (10-12T). Từ trường của trái đất ở cỡ 10-4 đến 10- 5 T. MEG thường được kết hợp với phương pháp đo tín hiệu hình ảnh cộng hưởng từ MRI, được gọi là phương pháp chẩn đoán hình ảnh dựa trên nguồn từ trường (Magnetic source imaging - MSI) để có được thông tin về cấu trúc não bộ tốt hơn. Khả năng xuyên thấu của từ trường đối với các tế bào sinh học cũng giống hệt như khi xuyên qua các vùng không gian rỗng và từ trường không bị thất thoát và ảnh hưởng khi xuyên qua da đầu hoặc hộp sọ. Để thu được tín hiệu từ não đồ, cần phải giải quyết được hai vấn đề đó là việc ghi nhận giá trị từ trường rất nhỏ phát ra từ não bộ và giảm thiểu ảnh hưởng của từ trường trái đất vốn có giá trị lớn hơn nhiều so với từ não bộ. Kỹ thuật được sử dụng 23
để thu tín hiệu từ não đồ là thiết bị giao thoa kế lượng tử siêu dẫn (super-conducting quantum interference detector). Để duy trì được chất siêu dẫn, môi trường được giữ ổn định ở nhiệt độ rất thât, khoảng 3o C sử dụng dung dịch helium. Như vậy, từ não đồ là phương pháp đo tin hiệu não bộ chứa nhiều thông tin, có độ phân giải và chất lượng tốt nhưng sử dụng thiết bị khá cồng kềnh, công nghệ phức tạp, không di chuyển được và giá thành đắt. 2.1.5. Điện não đồ xâm lấn Phương pháp electro-corticography (ECoG) là một phương pháp xâm lấn, dùng phẫu thuật mở hộp sọ để đặt các điện cực trực tiếp lên bề mặt não bộ nhằm ghi lại các hoạt động điện của não [10]. Trong kĩ thuật ECoG, thường dùng các bộ điện cực vô trùng được chế tạo từ thép không gỉ, bạch kim hoặc hợp kim của vàng. Các điện cực thường có đường kính 5 mm được đặt trên lưới điện cực trong suốt với khoảng cách tiêu chuẩn giữ hai điện cực là 1 cm và được đánh số thứ tự. Các điện cực được thiết kế một cách linh hoạt để không gây tổn thương não trong những chuyển động nhỏ và được đặt để tiếp xúc trực tiếp trên bề mặt não nhưng không làm tổn thương các tế bào thần kinh. Do tín hiệu điện não không bị suy hao qua hộp sọ, phương pháp ECoG cho tín hiệu có độ phân giải không gian cao hơn nhiều so với EEG. Thiết bị ghi, cụ thể là điện cực và cách đặt điện cực ảnh hưởng lớn đến độ phân giải không gian của kĩ thuật ECoG. Ngoài các bộ điện cực đặt theo dải hoặc lưới điện cực trên bề mặt não, người ta còn có thể sử dụng các mảng vi điện cực Utah hoặc điện cực sâu được đặt ở hồi hải mã và hạch hạnh nhân. Do đặt điện cực trực tiếp lên bề mặt não, tín hiệu điện não thu được bằng kĩ thuật này không bị ảnh hưởng nhiều bởi nhiễu điện cơ EMG và tín hiệu bất thường do nháy mắt EOG vốn tác động rất mạnh tới chất lượng tín hiệu điện não thu được bởi phương pháp điện não đồ. Tuy có nhiều ưu điểm về chất lượng tín hiệu nhưng do là một kĩ thuật xâm lấn đòi hỏi phẫu thuật nên ECoG nên việc chuẩn bị và tiến hành kĩ thuật này là phức tạp hơn rất nhiều so với các kĩ 24
thuật khác, do đó ECoG phần lớn được chỉ định trong điều trị y học nhiều hơn là trong nghiên cứu. 2.2. Tín hiệu điện não và các vấn đề liên quan Tín hiệu điện não, được dùng để chẩn đoán y khoa các bệnh liên quan đến thần kinh trong đó có bệnh động kinh, là tín hiệu điện sinh học thu được từ cơ thể sống giống như tín hiệu điện tâm đồ, tín hiệu điện cơ Mỗi loại tín hiệu điện sinh học khác nhau lại có những cơ chế phát sinh cũng như các phương pháp thu nhận khác nhau. Mục này sẽ trình bày các nguyên lí cơ bản về cách thức bộ não phát sinh ra tín hiệu, phương pháp ghi lại các dạng tín hiệu phát ra từ não, phương pháp xử lí tín hiệu này như thế nào. 2.2.1. Điện não đồ Hình 3. Một số hệ thống thiết bị dùng để đo điện não EEG [20] MEG, PET, CT và fMRI là các kỹ thuật thu tín hiệu và chẩn đoán hình ảnh đòi hỏi trang thiết bị rất đắt tiền, cồng kềnh, không di chuyển được và yêu cầu người được thu tín hiệu này phải nằm bất động. Vì vậy, các phương pháp được sử dụng rộng rãi nhất để ghi lại hoạt động của não trong các hệ thống giao diện não-máy tính 25
BCI (Brain-Computer Interface system) là điện não đồ EEG. Cơ sở cho nhận xét trên dựa trên đặc điểm của EEG là một kỹ thuật đơn giản, không xâm lấn (non- invasive), tính di động cao và chi phí thấp hơn nhiều so với các kĩ thuật khác tính [3, 7-13]. Điện não đồ là phương pháp thu tín hiệu không xâm lấn, trực tiếp đo tín hiệu điện phát sinh ra trong các hoạt động thần kinh của não bộ. Tuy nhiên, khác với ECoG vốn là một kĩ thuật xâm lấn, EEG đặt các điện cực ở da đầu để thu tín hiệu điện não. Nhược điểm của phương pháp EEG là dễ bị ảnh hưởng bởi nhiễu, độ phân giải tín hiệu đối với một số thiết bị thu không cao. Tuy nhiên các nhược điểm này đều đã và đang được các nhà nghiên cứu khắc phục bằng những thuật toán xử lí tiên tiến và tiến bộ trong công nghệ phần cứng. Ví dụ như gần đây, công nghệ sử dụng điện cực khô (dry sensor) đang dần trở nên phổ dụng trong các thiết bị thu tín hiệu điện não thay cho các điện cực ướt (wet sensor). Bên cạnh đó, EEG có chi phí thấp, tính đơn giản và linh hoạt trong thiết lập hệ thống đo trở thành hướng tiếp cận phù hợp nhất cho các nghiên cứu về não nói chung và các nghiên cứu về hệ thống BCI nói riêng. Dựa trên các cơ sở đó, luận án này lựa chọn tín hiệu điện não và phương pháp đo điện não đồ EEG làm hướng tiếp cận chính trong khuôn khổ đề tài nghiên cứu của luận án này. Các phần lí thuyết về điện não đồ sẽ được trình bày cụ thể chi tiết trong phần tiếp theo. 2.2.2.Tín hiệu điện não Tín hiệu điện não EEG (Hình 4) là các giá trị điện thế có giá trị rất nhỏ, tạo ra bởi quá trình tương tác với nhau của các tế bào thần kinh trong não [18-19]. Tín hiệu điện não thường có biên độ trong khoảng từ 10 µV đến 100 µV và tần số trong dải từ 1 Hz đến 100 Hz. Tín hiệu điện não không tuân theo phân bố Gauss thông thường và cũng không tĩnh (nonstationary). Tín hiệu điện não thường được thu nhận bởi các điện cực đặt trên bề mặt da đầu theo một trong hai kiểu thiết bị thu tín hiệu đơn cực và lưỡng cực. Thiết bị thu đơn cực lấy hiệu điện thế giữa điện cực hoạt động đặt trên 26
bề mặt da đầu và điện cực tham chiếu thường đặt ở vị trí dái tai. Điện cực lưỡng cực nhận hiệu điện thế giữa hai điện cực được đặt trên da đầu. Hình 4. Bản ghi tín hiệu điện não EEG Thông thường, tín hiệu điện não cho biết thông tin về các hoạt động theo nhịp (rhythmic activities) trên các dải tần số khác nhau (Hình 5) như dải tần Delta (0.5– 4 Hz), Theta (4-8 Hz), Alpha (8-13 Hz), Beta (13-30 Hz) và Gamma (30-50 Hz) [21]. Nhịp Delta thường được thu được ở các trẻ nhỏ dưới 1 tuổi và trong trạng thái ngủ sâu của người lớn. Nhịp Theta tồn tại ở trẻ em nhỏ dưới 7 tuổi hoặc trẻ em bình thường hoặc ở người lớn trong trạng thái buồn ngủ hoặc đang ngủ. Một lượng lớn tín hiệu nhịp Theta thu được ở người lớn trong trạng thái tỉnh táo là dấu hiệu cảnh báo tình trạng bất thường hoặc dấu hiệu bị bệnh. Sóng Alpha trong dải tần từ 8 Hz đến 13 Hz thường thu được tại vùng sau gáy tại mỗi phía và thường có biên độ lớn hơn ở vùng sóng Alpha xuất hiện phổ biến. Biên độ của sóng Alpha thường có giá trị nhỏ hơn 50 µV và thường thu được ở thùy chẩm của người trưởng thành trong trạng thái thư giãn. Nhịp Beta xuất hiện phổ biến ở thùy trán và là dấu hiệu cho thấy đối tượng thu tín hiệu đang trong tình trạng cảnh giác hoặc lo sợ. Tín hiệu điện não thường rất phức tạp và có tính chất bất định, phụ thuộc mạnh vào cá nhân, tuổi và trạng thái thần kinh khi thu tín hiệu của đối tượng. 27
Hình 5. Một số dạng sóng trong tín hiệu điện não EEG (Nguồn: truy cập lần cuối 09/07/2020) 2.2.3. Cơ chế phát sinh tín hiệu điện não Tương tác của các tế bào thần kinh được diễn ra thông qua các xung điện, được ghi lại bởi các điện cực đặt trên da đầu. Hiệu điện thế hoạt hóa hay ức chế sau synapse sẽ tạo ra tín hiệu điện não theo cơ chế như sau. Khi xuất hiện tương tác tế bào thần kinh, chất trung gian dẫn truyền thần kinh được giải phóng sẽ khuếch tán qua khe synapse hẹp. Tại màng sau synapse, phân tử chất trung gian dẫn truyền thần kinh gắn vào phân tử thụ cảm thể gắn ở màng tại vùng nhận diện đặc hiệu đối với chất trung gian dẫn truyền thần kinh đó. Chất trung gian dẫn truyền thần kinh gắn vào thụ cảm thể sẽ kích hoạt đáp ứng sau synapse đặc hiệu cho thụ cảm thể đó. Đáp ứng này có thể là hoạt hoá hay ức chế, phụ thuộc vào đặc điểm của thụ cảm thể. Nếu sự kích thích thụ cảm thể làm cho màng sau synapse tăng điện dương (khử cực), thì đó là thế hoạt hoá sau synapse (Excitatory postsynaptic potentials - EPSP). Nếu tăng điện âm (tăng phân cực), thì đó là thế ức chế synapse (Inhibitory postsynaptic potentials - IPSP). Các điện thế sau synapse được tổng hợp lại tại vỏ não, phát ra trên bề mặt da đầu và được ghi lại dưới dạng tín hiệu điện não. 28
2.2.4. Thu tín hiệu điện não Hai phương pháp thường được dùng để thu tín hiệu điện từ bộ não là EEG và ECoG. Phương pháp EEG sử dụng một hệ thống các điện cực đặt trên vỏ da đầu để thu các tín hiệu điện, đây là một phương pháp không xâm lấn. Khác với EEG, ECoG là một phương pháp xâm lấn. Về cơ bản, khi thực hiện thu tín hiệu với phương pháp ECoG, các điện cực được đặt trực tiếp vào vỏ não thay vì ở trên bề mặt da đầu. ECoG là một phương pháp xâm lấn đòi hỏi phải tiến hành phẫu thuật mở hộp sọ để có thể đặt điện cực. Trong khuôn khổ luận án, các nội dung về phương pháp đo điện não đồ EEG sẽ được trình bày sâu hơn. Trong phương pháp đo điện não đồ EEG, người ta sử dụng thiết bị thu tín hiệu điện não để ghi lại tín hiệu điện từ bộ não bằng cách đặt các điện cực lên da đầu. Dòng điện hình thành do hoạt động của tế bào thần kinh có điện thế rất nhỏ (chỉ cỡ 100 µV) [18]. Để có thể ghi được dòng điện nhỏ này thì máy thu tín hiệu điện não phải có độ nhạy cao. Dù đã được cải tiến và phát triển rất nhiều kể từ khi được phát minh từ năm 1924, tuy nhiên nguyên lí hoạt động chung của máy thu tín hiệu điện não đều tuân theo qui trình cơ bản từ đầu vào là các điện cực → đạo trình ghi → bộ tiền xử lí khuếch đại → bộ lọc tần số cao → hậu khuếch đại → thiết bị ghi (máy ghi dao động kế hoặc màn hình). Trong giai đoạn phát triển thiết bị thu ban đầu, các dao động kế được sử dụng để ghi lại tín hiệu lên tấm giấy nhẵn hoặc giấy có ô lưới. Hiện nay, các hệ thống này được số hóa, xử lí và lưu trữ tín hiệu EEG dưới dạng số. Như đã biết, việc số hóa tín hiệu bao gồm nhiều bước như lấy mẫu, lượng tử hóa, mã hóa, Khi số kênh tín hiệu được sử dụng tăng lên thì lượng dữ liệu cũng nhiều hơn, số bit để mã hóa tín hiệu cũng tăng theo. Các hệ thống được máy tính hóa cho phép thiết lập nhiều thông số khác nhau, hỗ trợ mô phỏng tín hiệu, lấy mẫu tần số và trong nhiều trường hợp có tích hợp cả các công cụ xử lí tín hiệu đơn giản hoặc hiện đại giúp nâng cao hiệu quả quá trình xử lí tín hiệu. Dải tần hiệu quả cho việc thu tín hiệu EEG là cỡ xấp xỉ 100 Hz, do đó tần số lấy mẫu nhỏ nhất sẽ vào cỡ 200 Hz để tuân theo định lí Nyquis. Tuy nhiên các con số này có thế thay đổi tùy vào mục đích của việc đo tín hiệu. Một số ứng dụng đòi hỏi các hoạt động của não phải được quan sát 29
ở độ phân giải cao hơn tần số lấy mẫu, có thể lên tới 2000 mẫu/s. Để giảm thiểu mất mát thông tin thì quá trình lượng tử hóa tín hiệu cũng phải thực hiện rất tốt. Các hệ thống đo tín hiệu EEG trong lâm sàng thường sử dụng các mẫu tín hiệu 16 bit. 3. Một số phương pháp xử lý, phân tích tín hiệu điện não 3.1. Biến đổi wavelet Biến đổi wavelet [21] là phương pháp xử lý tín hiệu sử dụng một tập hợp các hàm cơ sở, được gọi là các sóng nhỏ wavelet vốn khi được sử dụng để phân tích tín hiệu sẽ thể hiện thông tin đầu ra khu trú rất rõ trên cả miền thời gian và tần số. So với phép biến đổi Fourier (sử dụng duy nhất hàm mũ), phép biến đổi wavelet có tính linh động cao vì có thể lựa chọn các hàm wavelet khác nhau trong họ hàm wavelet sao cho thích hợp với bài toán (hình dạng của hàm wavelet phù hợp với tín hiệu cần phân tích) để kết quả phân tích là tốt nhất. Các hàm cơ sở wavelet có thể được xây dựng từ một hàm wavelet mẹ duy nhất 휓(푡) được định nghĩa như sau: 1 푡−휏 휓 ,휏 = 휓 ( ) (1) √ Trong đó a là tỉ lệ (nghịch đảo của tần số) và 휏 là dịch chuyển đặc trưng vị trí. Biến đổi wavelet liên tục (Continuous wavelet transform - CWT) của một tín hiệu (푡) được định nghĩa là hệ số tương quan (correlation) giữa hàm cơ sở wavelet và chính tín hiệu đó. CWT của (푡) được định nghĩa bởi công thức sau: 1 ∞ ∗ 푊( , 휏) = ∫ (푡)휓 ,휏(푡) 푡 (2) √ −∞ Trong đó 휓∗(푡) là biến đổi phức liên hợp của 휓(푡). Phương trình (2) ở trên cho thấy trong phép biến đổi CWT, một sóng nhỏ wavelet được cho đi qua tín hiệu cần phân tích. Kết quả thu được là một tập các hệ số wavelet đại diện cho hình ảnh trên các bậc hay dải tần khác nhau trên miền thời gian và tần số của tín hiệu phân tích. Tham số tỉ lệ a đóng vai trò quan trọng trong phép biến đổi wavelet. Khi giá trị của a thay đổi từ lớn xuống bé, hàm cơ sở wavelet trở nên “giãn” ra và trơn hơn tương ứng với tần số thấp hơn. Theo đó, các thành phần tín 30
hiệu chứa tần số thấp có thể được phân tích với các sóng wavelet trơn như vậy có thể đem lại thông tin phân tích hết sức hữu ích. Đặc biệt trong điều kiện tín hiệu điện não thường bị ảnh hưởng bới các loại nhiễu trong đó có tín hiệu bất thường do nháy mắt EOG vốn thường xuất hiện ở giải tần thấp. Biến đổi wavelet thường trả về kết quả là các hệ số mang đặc trưng trên cả miền thời gian và tỉ lệ (scale), trong đó tỉ lệ ở đây một cách cơ bản là chỉ về mặt tần số [22]. Tỉ lệ cao nhất tương ứng với thành phần tần số cao nhất hiện diện trong tín hiệu được phân tích (thường là bé hơn hoặc bằng một nửa tần số lấy mẫu) và giải tần của tỉ lệ này thường trong khoảng từ một nửa tới một phần tư tần số lấy mẫu. Khi giải tần giảm một nửa, số lượng hệ số thuộc về các thành phần có độ phân giải thấp hơn giảm xuống khoảng gần một nửa so với giải tần cao hơn ngay kề trên. Sự lựa chọn một cách hợp lý các hệ số ở các giải tần khác nhau có thể được dùng để nén hoặc tái cấu trúc lại tín hiệu ban đầu hoặc tín hiệu được thay đổi, trong trường hợp nâng cao chất lượng, loại bỏ thành phần không mong muốn hay khử nhiễu tín hiệu. Hình 6. (a) Biến đổi wavelet thuận và (b) Biến đổi wavelet ngược 31
Do tín hiệu xử lý trên máy tính là tín hiệu số hóa, biến đổi wavelet liên tục CWT không áp dụng được. Thay vào đó, biến đổi wavelet rời rạc (Discrete wavelet transform - DWT) được dùng để thu được các tập hệ số wavelet là các bản thể rời rạc của chuỗi tín hiệu thời gian rời rạc. Trong phép biến đổi DWT, các tham số a và −푖 휏 trong các phương trình (1) và (2) ở trên có thể được biểu diễn như sau 푖 = 2 và −푖 휏푖 = 2 푗 trong đó i và j là các số nguyên dương. Việc lựa chọn giá trị của i và j xác định đặc trưng hàm wavelet mẹ 휓(푡) = 2−푖휓(2−푖 − 푗), vốn trực giao trong không gian Hilbert [23]. DWT có thể được triển khai một cách giản đơn chỉ với phép lọc đệ quy cho phép tái thể hiện các phiên bản trên miền wavelet của tín hiệu được phân tích ở các giải tần khác nhau. Tại mỗi giải tần thuộc quá trình lọc tín hiệu này, tín hiệu lần lượt được cho chạy qua và nhân chập với hai bộ lọc thông cao và thấp, là g và h. Tái xây dựng tín hiệu có thể thực hiện với phép lọc nghịch đảo như sau: ∞ 푙표푤(푛) = ∑ = −∞ [ ] [2푛 − ] (3a) ∞ ℎ푖𝑔ℎ(푛) = ∑ = −∞ [ ]ℎ[2푛 − ] (3b) Biến đổi wavelet và tái cấu trúc wavelet được minh họa trên Hình 6. Biến đổi wavelet (theo chiều thuận) chính là quá trình tín hiệu ban đầu được phân tích bởi một bộ lọc thông cao ( 0) và một bộ lọc thông thấp ( 0). Hai bộ lọc này được thiết kế dựa trên đặc tính của hàm wavelet cơ sở. Kết quả là các hệ số wavelet sau đó được giảm mẫu (downsample) xuống một nửa. Sau khi giảm mẫu, kết quả của phép biến đổi DWT là một chuỗi hệ số trên giải tần cao và một chuỗi hệ số ở giải tần thấp, được gọi là chi tiết (detail) và xấp xỉ (approximation). Thành phần xấp xỉ sau đó lại tiếp tục được sử dụng làm đầu vào của phép biến đổi wavelet DWT ở bậc tiếp theo. Kết quả khi kết thúc quá trình phân tích DWT là một chuỗi xấp xỉ ( 푖) và nhiều chuỗi chi tiết ( , = 1, , 푖) đem đến hiển thị thông tin về tín hiệu phân tích ở các giải tần số khác nhau. Tái cấu trúc tín hiệu trên miền wavelet (quá trình wavelet ngược hay wavelet tổng hợp) chính là quá trình nghịch đảo của biến đổi DWT trong đó chuỗi xấp xỉ và chi tiết tại mỗi bậc được tăng mẫu (upsample) bậc hai và sau đó được cho chạy qua một bộ lọc thông thấp tổng hợp ( 1) và bộ lọc thông cao tổng hợp ( 1). Sau đó kết 32
quả này được tổng hợp lại và quá trình tiếp tục được thực hiện i lần tiếp theo. Số lần i chính bằng số bậc biến đổi wavelet thuận. Các bộ lọc được sử dụng trong quá trình phân tích và tổng hợp cần phải thỏa mã điều kiện về tái cấu trúc hoàn hảo (perfect reconstruction) hay thỏa mãn phương trình: −푙 [ ( )] ( ) = (4) Trong đó ( ) và ( ) chính là các ma trận trong dải ma trận tổng hợp và phân tích. 3.2. Phân tích thành phần độc lập trong khử nhiễu tín hiệu điện não Phương pháp phân tích thành phần độc lập (Independent component analysis - ICA) là một kĩ thuật tách nguồn mù thường được sử dụng trong khử nhiễu tín hiệu điện não [20]. Các kĩ thuật tách nguồn mù thường được sử dụng phổ biến với mục đích đánh giá các nguồn tín hiệu ban đầu từ tập hợp các tín hiệu trộn của chúng dù không có hoặc có rất ít thông tin về quá trình trộn cũng như tín hiệu gốc ban đầu. Ý tưởng của phương pháp ICA dựa trên việc coi mỗi kênh tín hiệu thu được là kết quả của việc trộn nhiều nguồn tín hiệu gốc. Trong trường hợp tín hiệu điện não EEG, các tín hiệu thu được ở mỗi điểm đặt điện cực trên vỏ da đầu (kí hiệu là x) được coi là tín hiệu trộn của nhiều nguồn tín hiệu gốc nằm bên trong bộ não (kí hiệu là s). Quá trình trộn sử dụng một ma trận trộn (kí hiệu là W-1) được mô tả bằng công thức x= W-1*s Mô hình ICA cơ bản yêu cầu các giả thiết sau phải được thỏa mãn: - Các nguồn tín hiệu ban đầu phải độc lập thống kê với nhau. - Không có nguồn nào có phân bố Gauss, hoặc tối đa chỉ có 1 nguồn có phân bố Gauss. - Ma trận trộn W-1 là ma trận vuông (số tín hiệu nguồn bằng số tín hiệu trộn). Ở đây, khái niệm độc lập thống kê được định nghĩa theo hàm mật độ xác suất (Probality Density Function - PDF). Những biến ngẫu nhiên 푠1, 푠2, , 푠푛 là độc lập nếu hàm phân bố xác suất có thể tìm được thừa số là: (푠1, 푠2, , 푠푛) = 1(푠1) 2(푠2) 푛(푠푛) (5) 33
Với (푠1, 푠2, , 푠푛) biểu diễn hàm phân bố xác suất của 푠1, 푠2, , 푠푛 và 푖(푠푖) biểu diễn hàm phân bố xác suất của 푠푖. Có nhiều thuật toán để thực hiện phương pháp ICA như infomax, FastICA, JADE [24]. Về mặt toán học, các giả thiết ban đầu của mô hình ICA tuyến tính có thể đặt vào trường hợp của tín hiệu EEG mà không làm thay đổi bản chất của tín hiệu. Trong phân tích tín hiệu điện não EEG, phương pháp ICA được sử dụng nhiều nhất trong xử lí nhiễu, đặc biệt là tín hiệu bất thường do nháy mắt EOG và nhiễu cơ EMG. Ý tưởng cơ bản là sau khi thực hiện phương pháp ICA với dữ liệu điện não thì sẽ thu được ma trận trộn W-1 và các thành phần độc lập (hay các nguồn tín hiệu gốc). Các thành phần độc lập sẽ được kiểm tra và thay thế các thành phần độc lập có tính chất giống nhiễu, trước khi trộn lại bằng ma trận W-1 để thu được tín hiệu sạch. Quy trình khử nhiễu này được thể hiện tại Hình 7. Hình 7. Quy trình phương pháp ICA dùng trong khử nhiễu tín hiệu EEG 3.3. Mạng Nơron wavelet Tín hiệu điện não là loại tín hiệu dễ bị ảnh hưởng bởi nhiễu. Có một số loại nhiễu cơ bản như nhiễu tim, tín hiệu bất thường do nháy mắt và nhiễu cơ. Các loại nhiễu này khi xuất hiện sẽ làm giảm hiệu quả của hệ BCI. Mạng nơron kết hợp wavelet - Wavelet neural network [25], được phát triển để khử tín hiệu bất thường do nháy mắt , gồm có ba phần chính (Hình 8): phân tích wavelet (wavelet decomposition), mạng Nơ-ron nhân tạo và tổng hợp wavelet (wavelet reconstruction). Đầu vào của 34
WNN là tín hiệu có tín hiệu bất thường do nháy mắt và đầu ra là tín hiệu đã được khử nhiễu. Hình 8. Cấu trúc của mạng Wavelet Neural Network [8] Phần tiếp theo sẽ trình bày cách huấn luyện và khử nhiễu tín hiệu điện não bằng mạng Nơ-ron nhân tạo kết hợp wavelet WNN. 3.3.1. Huấn luyện Để huấn luyện được mạng Nơ-ron nhân tạo, trước hết phải tạo ra tín hiệu điện não sạch. Sau đó, tín hiệu sạch này được thêm tín hiệu bất thường do nháy mắt , là nhiễu được lọc tách trực tiếp từ tín hiệu điện não có nhiễu. Việc huấn luyện mạng Nơ-ron nhân tạo được xem như tương đương với việc “dạy” cho mạng Nơ-ron khôi phục lại tín hiệu sạch EEG(true)(t) từ tín hiệu có nhiễu EEG(rec)(t). Cả EEG(true)(t) và EEG(rec)(t) được phân tích wavelet. Sau đó, các hệ số ở một số dải tần thấp được nội suy để có cùng chiều dài. Các chuỗi hệ số được nội suy sau đó được sử dụng để huấn luyện mạng Nơ-ron. Các bước huấn luyện có thể xem tại Hình 9. Hình 9. Huấn luyện mạng Nơ-ron 3.3.2. Khử nhiễu Các bước đầu tiên của quá trình khử nhiễu (Hình 10) là tương tự với quá trình huấn luyện mạng Nơ-ron. Tín hiệu EEGrec(t) được phân tích wavelet sau đó nội suy 35
hệ số của một số dải tần để các chuỗi hệ số này có chiều dài bằng nhau. Sau đó dữ liệu cần được khử nhiễu sau khi được xử lý bởi mạng Nơ-ron đã được huấn luyện được lấy mẫu xuống (downsampling) cho trở về chiều dài ban đầu. Sau đó, dữ liệu trên được cho qua Tổng hợp wavelet để khôi phục lại tín hiệu sạch EEGtrue(t). Hình 10. Quá trình khử nhiễu 3.4. Phương pháp phân ngưỡng wavelet Phương pháp phân ngưỡng wavelet (wavelet thresholding) được phát triển dựa trên biến đổi wavelet vốn cho phép biểu diễn tín hiệu trên với các tỉ lệ khác nhau trên miền thời gian – tần số. Các hệ số thuộc thành phần xấp xỉ (approximation) và chi tiết (details), tương ứng với các băng tần thấp và cao, được đưa qua bộ phân ngưỡng trước khi tái tạo wavelet. Với việc lựa chọn một cách phù hợp hàm wavelet có chung tính chất với nhiễu tín hiệu điện não, những hệ số wavelet có giá trị lớn được tạo ra ở những vùng dải tần số thấp đặc trưng cho tín hiệu bất thường sinh ra do nháy mắt EOG. Khi thay đổi giá trị của các hệ số này bằng các hàm phân ngưỡng phi tuyến sẽ tương ứng với việc giảm sự tác động của nhiễu lên tín hiệu điện não, hay là khử nhiễu tín hiệu. Phương pháp phân ngưỡng wavelet cho mục đích khử nhiễu được sử dụng trong luận án này được thực hiện theo Krishnaveni, V., 2006, cụ thể với các bước như sau: - Sử dụng bộ lọc thông thấp Butterworth loại bỏ các thành phần tín hiệu tần số rất thấp (< 0.5 Hz) của tín hiệu điện não đầu vào - Áp dụng biến đổi wavelet cho tín hiệu điện não chứa nhiễu - Sử dụng một hàm phân ngưỡng để tự động “sửa” những hệ số wavelet có giá trị lớn, trong vùng tần số thấp 36
- Tái tổ hợp wavelet tín hiệu điện não sạch, không chứa nhiễu với các hệ số wavelet đã được sửa đổi Nền tảng của phương pháp phân ngưỡng wavelet là việc sử dụng các hàm phân ngưỡng để thay đổi giá trị các hệ số wavelet; sau đó tái cấu trúc lại tín hiệu dựa trên các hệ số wavelet đã được thay đổi. Các hàm phân ngưỡng như vậy thường được chia thành một trong ba loại là hàm phân ngưỡng mềm, hàm phân ngưỡng cứng và hàm phân ngưỡng thích nghi. Việc chọn lựa các hàm phân ngưỡng này được lựa chọn sao cho nhiễu bị loại bỏ một cách hiệu quả nhất trong khi tín hiệu điện não có ích được giữ lại một cách tối đa. Do đó, việc lựa chọn hàm phân ngưỡng là yếu tố quan trọng nhất quyết định sự thành công của quá trình khử nhiễu tín hiệu trong phương pháp phân ngưỡng wavelet. Trong khuôn khổ của luận án này, hàm phân ngưỡng thích nghi dựa trên ước lượng SURE (Stein’s unbiased risk estimate) [4] được sử dụng. Giá trị phân ngưỡng t có thể được xác định một cách thích nghi, dựa trên dữ liệu bởi phương pháp phân ngưỡng SURE như sau: 푡푖+1 = 푡푖 − 훻푡푖, (6) Trong đó giá trị ngưỡng tại bước thứ i được tính bởi công thức: 휕푅 (푡) 훻푡 = 훼 . 푠 , (7) 푖 휕푡 Trong đó 2 휕푅푠(푡) −1 휕𝑔푖 −1 휕 𝑔푖 = 2 ∑푖=0 푖 . + 2 ∑푖=0 , (8) 휕푡 휕푡 휕 푖휕푡 Với 푖 = 푄( 푖, 푡) − 푖 (9) Với 푡 + 푡 − , 푡 { 2 +1 37
Trong đó k là số thực dương và p là giá trị phương sai của thành phần chính được xét đến. Giá trị ngưỡng có thể được khởi tạo dựa trên công thức phân ngưỡng Donoho [26] như sau: 푒 푖 푛(| |) 2푙표𝑔 (푛) 푡 = √ . (11) 0 0.6745 푛 Quá trình này được lập lại tới khi 훻푡푖/푡푖+1 > ε. 3.5. Kỹ thuật định vị LORETA trong trực quan hóa dữ liệu điện não Kĩ thuật thu tín hiệu EEG đã sớm có khả năng thu đồng thời một số lượng lớn các kênh tín hiệu số hóa, điều này cho phép ra đời một kĩ thuật phân tích tín hiệu mới được gọi là định vị EEG. Về cơ bản, kĩ thuật này cho phép xác định mức độ hoạt động não ở các vùng não khác nhau tại một thời điểm. Thông thường, mức hoạt động não sẽ được mã hóa theo màu sắc để hiển thị lên mô hình não hoặc sơ đồ não (ví dụ, màu tím và xanh có thể mô tả mức độ hoạt động EEG thấp, trong khi vàng và đỏ có thể mô tả mức độ hoạt động lớn hơn). Những điểm trong không gian nằm giữa các điện cực sẽ được tính toán bằng những kĩ thuật tính toán nội suy (tính toán giá trị tức thời trên cơ sở các giá trị liền kề). LORETA (Low resolution brain electromagnetic tomography) [27] là thuật toán điển hình trong kĩ thuật định vị EEG. Thuật toán này biểu diễn hoạt động của não bộ với một mô hình não 3D. Thuật toán LORETA cho phép tính toán phân bố mật độ dòng xuyên suốt toàn bộ phần đầu, sau đó gắn mỗi điểm trong đầu (được gọi là voxel – điểm ảnh trong không gian 3 chiều) với một mức cường độ mô tả độ mạnh của mật độ dòng tại điểm đó. Mỗi điểm ảnh sau đó được mã hóa màu tương ứng với mức cường độ (thông thường là từ đỏ>trắng>xanh tương ứng cường độ giảm dần – xem Hình 11). Loreta định nghĩa dựa trên phương trình: . φ = KJ (12) 38
Với φ là chênh lệch điện thế đo tại N điểm trên da đầu (chính là tín hiệu tại sensor gắn trên da đầu, trong trường hợp của mình N=14 (chính là số điện cực). Tọa độ của N điểm đo này lấy theo hệ tọa độ Descartes {s1 , s2 , , sN}. J là ma trận mật độ dòng tại M điểm bên trong não (J: mật độ dòng, kích thước 3Mx1), J = (jT1 , jT2 , , jTM )T, tại mỗi điểm ta có jb = (jxb , jyb , jzb)T với β=1 M. T là kí hiệu ma trận chuyển vị. K là ma trận chuyển đổi (transfer matrix, kích thước Nx3M) 11 12 . . 1 21 22 . . 2 퐾 = ( ) . . . . . . . . 1 2 . . Ma trận K được tính bằng cách sử dụng các đạo trình cho các vị trí điện cực cố định (xác định bằng mô hình đầu) Tại mỗi thành phần kαβ ta có (13) Với σ là độ dẫn, sR là vector vị trí của điện cực tham chiếu. Mục tiêu của thuật toán là tìm giá J tại mỗi điểm trong não dựa theo phương trình định nghĩa LORETA. Hình 11. Thuật toán Loreta trong định vị hoạt động điện não EEG. 39
4. Một số ứng dụng hệ giao diện não máy tính Giao diện não-máy tính (Brain computer interface – BCI) [7, 11] là một cách thức truyền thông giữa não và các thiết bị bên ngoài (external devices) thông qua một hệ thống thu nhận và xử lý tín hiệu từ não bộ. Nghiên cứu về BCI bắt đầu từ những năm 1970 tại trường Đại học California Los Angeles (UCLA) [12, 28]. LA. Farwell, 1988 [12] phát triển một hệ thống giao diện não-máy tính dựa trên EEG. Đến gần đây, các ứng dụng của hệ BCI khá đa dạng từ việc điều khiển xe lăn, đánh vần ký tự, chơi các trò chơi bằng trí não, tích hợp trong các hệ thống phục hồi chức năng Trong phần dưới đây, luận án sẽ mô tả về một số hệ BCI như vậy. 4.1. Hệ BCI2000 Hình 12. Thiết kế hệ BCI2000 [17] Năm 2000, một nghiên cứu của Jessica Bayliss tại Đại học Rochester cho thấy rằng các tình nguyện viên đội mũ bảo hiểm thực tế ảo có thể kiểm soát các thành phần (elements) trong một thế giới ảo bằng cách sử dụng các bài đọc P300 EEG của họ, bao gồm cả bật/tắt đèn và làm một chiếc xe mô hình dừng lại. Ngoài ra, hệ BCI 2000 còn có cho phép điều khiển con chuột máy tính bằng tín hiệu điện. Hệ BCI2000 có khả năng di chuyển con chuột máy tính đến bất kỳ vị trí nào trên màn hình sử dụng đặc trưng nhịp cảm giác vận động (Sensorimotor rhythm) [13]. Hệ BCI có thể thực hiện được dựa trên việc tìm và phân loại thay đổi của các nhịp tín hiệu điện não khi đối tượng thực hiện các tác vụ tưởng tượng vận động như tưởng tượng di chuyển 40
tay trái/phải. Nhịp alpha thu được trong vùng não phụ trách giác quan vận động được gọi là nhịp Mu. Dải tần số của tín hiệu điện não trong trường hợp này là nhịp Mu hoặc beta. Việc tưởng tượng vận động hoặc thực sự cử động gây ra thay đổi nhịp giác quan vận động và tập trung ở dải tần nhịp Mu và beta. 4.2. Hệ VR-BCI trong phục hồi chức năng Hình 13. Hệ BCI ứng dụng thực tại ảo trong phục hồi bệnh nhân đột quỵ [1] Từ năm 2009 tới nay, đã có 8 giải thưởng BCI-Research Award hàng năm trao cho những nhóm nghiên cứu có kết quả nghiên cứu nổi bật về hệ BCI trên toàn thế giới được đánh giá bởi ban giám khảo, bao gồm những chuyên gia hàng đầu trên thế giới về BCI. Năm 2018, một đề cử giải BCI Award giành cho hệ BCI dùng trong việc hỗ trợ phục hồi chức năng của người bị liệt nửa người do chấn thương tủy sống [1]. Trong đó, người bệnh đột quỵ trong quá trình phục hồi chức năng được đo và phân tích tín hiệu điện não khi thực hiện tác vụ tưởng tượng vận động Motor Imagery. Trong thí nghiệm, người bệnh được đồng thời đeo kính thực tại ảo và màn hình máy tính sẽ hiển thị ý định của người bệnh (ví dụ nếu người bệnh muốn nâng tay trái hay tay phải thì nhân vật hoạt họa cũng nâng tay trái hay tay phải dựa trên phân tích điện não ý định của người bệnh). Bác sỹ có thể quan sát và so sánh giữa hành động thực sự người bệnh có thể thực hiện được với ý định thể hiện qua nhân 41
vật hoạt họa trên màn hình máy tính để biết được hiệu quả và tình trạng của bệnh nhân. 4.3. Một số hệ BCI trong đánh vần ký tự P300 là một đặc trưng tín hiệu sóng điện não sinh ra khoảng 300ms sau khi xuất hiện kích thích. Hệ BCI dựa trên P300 cũng thường được nghiên cứu, phát triển để giải quyết bài toán hỗ trợ đánh vần cho những người bị liệt tứ chi. Thiết kế thí nghiệm của một hệ BCI P300 này như sau: ma trận 6x5 hiển thị trên màn hình máy tính phục vụ đánh vần trong đó cột và hàng được nháy sáng (flash) theo trật tự ngẫu nhiên (Hình 14). Khoảng cách giữa 2 lần nháy là 175 ms, khoảng thời gian một cột hay hàng được nháy sáng là 100 ms. Một vòng nháy được hoàn thành khi tất cả các cột và hàng đã được nháy 1 lần tương ứng 1, 925. 5 vòng nháy là 1 phiên để xác định 1 chữ cái cần đánh vần (target letter) tương đương khoảng 10 giây. Cứ sau mỗi phiên thì nghỉ 6 giây để bắt đầu phiên tiếp theo. Hình 14. Thiết kế ma trận hiển thị cho 26 ký tự tiếng Anh [8] Một cách tiếp cận khác dựa trên việc tưởng tượng giác quan vận động được [68] phát triển thành hệ Berlin BCI. Trong Hình 15, sáu hình lục giác được đặt xung quanh 1 hình tròn. Mỗi hình lục giác chứa 5 ký tự hoặc chức năng cách dòng hoặc xóa. Mũi tên ở trung tâm của vòng tròn cho phép lựa chọn hình lục giác chứa ký tự cần tìm (bước 1) hoặc chính xác ký tự đó (bước 2). Mũi tên sẽ quay theo chiều kim đồng hồ khi tưởng tượng cử động tay phải và dừng lại khi tưởng tượng cử động tay trái. Nếu tiếp tục tưởng tượng cử động tay trái, hình lục giác nơi mũi tên được chọn sẽ dừng lại và các ký tự trong hình lục giác đó sẽ mở rộng lên, các hình lục giác khác sẽ biến mất. Cách làm tương tự để chọn ký tự mong muốn. Nếu chọn ký tự trắng 42
trong hình lục giác tương đương với việc trở lại set up thí nghiệm đầu tiên với tất cả các hình lục giác chứa tập hợp ký tự. Tốc độ di chuyển mũi tên và dừng mũi tên được tùy chỉnh theo người sử dụng. Để tăng hiệu quả của hệ BCI đánh vần, có thể tích hợp thêm một mô hình ngôn ngữ cho phép dự đoán được ký tự sẽ được nhắm tới tiếp theo. Hình 15. Giao diện thí nghiệm Berlin BCI [68] 4.4. Một số nghiên cứu BCI và tín hiệu điện não khác Ở Việt nam, nghiên cứu và ứng dụng tín hiệu điện não để phát triển giao diện não – máy tính là một lĩnh vực còn mới mẻ. Trong lĩnh vực nghiên cứu về tín hiệu điện não, có thể kể đến một số nghiên cứu ứng dụng bước đầu của nhóm nghiên cứu tại Đại học Công nghệ ứng dụng EEG cho dự đoán bệnh động kinh. Dựa vào tín hiệu EEG và đặc trưng của gai động kinh (spike, sharp wave), quá trình phát hiện gai tự động được chia thành nhiều giai đoạn, kết hợp các phương pháp xử lý tín hiệu và học máy, sử dụng tổng hợp các thông tin về hình dạng, thời gian, tần số và không gian giúp hệ thống dự đoán đưa ra các quyết định đáng tin cậy. Trong một nghiên cứu khác, còn có nhóm nghiên cứu tại Đại học Bách khoa ứng dụng phân tích tín hiệu EEG để nhận diện cảm xúc, sử dụng tín hiệu sóng điện não EEG cho mục đích xác thực người dùng và nhóm sinh viên của Đại học FPT sử dụng tín hiệu EEG cho mục đích điều khiển Robot. Hệ thống phát hiện gai động kinh được nhóm nghiên cứu của Đại học Công nghệ phát triển từ năm 2010 trong khuôn khổ Đề tài QG-10.40 “Nghiên cứu xử lý 43
tín hiệu điện não phục vụ phân tích và chẩn đoán bệnh động kinh”. Hệ thống gồm 4 khối chính: tiền xử lý, trích chọn đặc trưng, phân lớp và hệ chuyên gia. Hệ thống sử dụng một số phương pháp xử lý tín hiệu số và học máy như biến đổi Wavelet, Mạng Nơ-ron nhân tạo, So với các hệ thống phát hiện gai động kinh khác trên thế giới, hiệu quả của hệ thống này còn chưa tốt bằng. Nguyên nhân có thể do điều kiện ghi tín hiệu tại Việt Nam còn chưa đạt chuẩn (thời gian ghi tín hiệu chỉ trong khoảng 10 phút so với hơn 20 phút của thế giới) và hệ thống này còn chưa áp dụng các phương pháp khử nhiễu. Nghiên cứu của Đại học Bách khoa về tín hiệu điện não được bắt đầu từ những năm 2008. Nghiên cứu này đã đạt được một số giải thưởng như giải nhất cuộc thi ImagineCup do Microsoft tổ chức, giải nhất Nhân tài đất Việt 2010. Ngoài ra nhóm nghiên cứu này còn chủ trì đề tài nghiên cứu cấp nhà nước KC.01.TN13/11-15 “Nghiên cứu giải mã thông tin trong sóng điện não, ứng dụng xây dựng Hệ thống nhận diện cảm xúc con người”. Một số sản phẩm đạt được như Bộ công cụ MDK (Mimas Development Kit) làm nền tảng cho việc thu nhận và xử lý tín hiệu điện não và phần mềm thu nhận và nhận dạng cảm xúc người sử dụng. Nghiên cứu này sử dụng thiết bị đo EPOC do Emotiv sản xuất. Bài toán sử dụng tín hiệu điện não áp dụng điều khiển Robot được nhóm sinh viên tại Đại học FPT nghiên cứu và phát triển. Tín hiệu điện não được dùng để phân tích bốn loại tín hiệu điều khiển của não bộ: trên, dưới, trái, phải. Thí nghiệm chia làm 2 loại: phân loại 2 loại tín hiệu điều khiển trên và dưới (độ chính xác 66-96%) và phân loại cả 4 loại tín hiệu điều khiển (độ chính xác 28-73%). Thiết bị đo mà nhóm này sử dụng là EEG-SMT gồm 4 đầu đo. Như vậy, nghiên cứu của nhóm này mới chỉ ở mức bắt đầu và để tiến tới mục tiêu điều khiển robot được còn cần đầu tư thêm nhiều thời gian. Gần đây, nghiên cứu về tín hiệu điện não EEG nhận được khá nhiều sự quan tâm. Bộ Khoa học và Công nghệ đã giao cho Ban Quản lý Khu Công nghệ cao Hòa Lạc phối hợp với Công ty Công nghệ Emotiv và SapienLab (một tổ chức phí lợi nhuận chuyên nghiên cứu về thần kinh học) triển khai nhiệm vụ “Khảo sát, điều tra 44
dữ liệu sóng não của người Việt”. Mục tiêu của nhiệm vụ là phân tích các tín dữ liệu sóng điện não thu thập được từ các đối tượng có phân bố về giới tính, việc làm, độ tuổi đa dạng để hiểu sâu hơn về não bộ của người Việt Nam. Trên cơ sở đó lập ra báo cáo so sánh các đặc trưng về não bộ của con người Việt Nam với các quốc gia khác trên thế giới. 5. Kết luận Chương 1 Có nhiều cách tiếp cận để thực hiện hệ BCI trong đó sử dụng tín hiệu điện não EEG một trong những phương thức phổ biến nhất. Các ưu điểm của tín hiệu điện não EEG so với các phương thức thu tín hiệu từ não bộ khác đã được tóm tắt và chỉ rõ trong nội dung Chương này. Nguồn gốc, cơ chế sinh học và cách thức thu tín hiệu cũng đã được trình bày trong Chương này. Đấy chính là cơ sở đề xuất sử dụng tín hiệu điện não trong chủ đề nghiên cứu của luận án này. Một số phương pháp xử lý, phân tích tín hiệu điện não được trình bày ở trong Chương 1 là các phương pháp cơ sở để phát triển các phương pháp đề xuất ở các chương tiếp theo, hỗ trợ đánh giá kết quả thí nghiệm. Các chương nội dung chính của luận án 2, 3, 4 sẽ mô tả chi tiết các phương pháp đề xuất trong xử lý, phân loại tín hiệu điện não và một ứng dụng hệ BCI trong điều khiển các thiết bị điện tử thông minh. 45
CHƯƠNG 2. PHƯƠNG PHÁP HỌC SÂU TỰ MÃ HÓA THƯA WAVELET TRONG KHỬ TÍN HIỆU ĐIỆN NÃO BẤT THƯỜNG DO NHÁY MẮT 1. Đặt vấn đề Tín hiệu điện não về bản chất là các tín hiệu điện có giá trị điện thế rất nhỏ sinh ra khi các tế bào thần kinh kích hoạt và tạo ra các xung điện [30]. Thông thường, tín hiệu điện não cho biết thông tin về các hoạt động theo nhịp (rhythmic activities) trên các dải tần số khác nhau như dải tần Delta (0.5–4 Hz), Theta (4-8 Hz), Alpha (8-13 Hz), Beta (13-30 Hz) và Gamma (30-50 Hz). Tín hiệu điện não được ghi lại bởi các thiết bị thu với các đầu đo đặt tại các vị trí trên da dầu. Tín hiệu điện não hay sóng điện não được đặc trưng bởi ba thành phần là hình dạng, tần số và biên độ. Dựa trên các thành phần này, các đặc trưng của tín hiệu điện não có thể được trích chọn bởi các kỹ thuật khác nhau. Thực tế là sóng điện não thường bị ảnh hưởng bởi các loại nhiễu như tín hiệu bất thường do nháy mắt EOG, nhiễu tim, nhiễu cơ Các loại nhiễu này thường xuất hiện lẫn với tín hiệu điện não và là yếu tố gây cản trở đến việc phân tích tín hiệu điện não, dẫn đến việc giảm độ chính xác phân loại tín hiệu điện não [31]. Khi mắt di chuyển con ngươi (eye movement) hay nháy mắt (eye blinks) gây ra các tín hiệu điện não bất thường có giá trị biên độ lớn (Electroculographic artifacts - EOG) trong bản ghi sóng điện não. Tín hiệu điện não bất thường do nháy mắt (Hình 16) gây ảnh hưởng mạnh nhất trên các dải tần Delta, Theta, Alpha [32]. Nháy mắt gây ra tín hiệu điện não bất thường dạng xung với đỉnh có thể có giá trị lên tới 800 µV và xuất hiện trong một khoảng thời gian khá ngắn khoảng từ 200-400 ms [33]. Khử tín điện não bất thường EOG là một yêu cầu cần thiết trong xử lý, phân tích tín hiệu điện não. Tuy nhiên, việc loại bỏ tín hiệu bất thường EOG không đơn giản bởi tín hiệu EOG xuất hiện và chồng lên tín hiệu điện não “sạch” trên cả miền tần số và thời gian. 46
Hình 16. Tín hiệu bất thường do nháy mắt EOG Gần đây, khử tín hiệu bất thường EOG được nhiều nhóm nghiên cứu về tín hiệu điện não quan tâm [31]. Một số nghiên cứu chỉ ra việc khử tín hiệu bất thường EOG có ảnh hưởng tốt đến việc phân tích, xử lý sóng điện não và làm tăng độ chính xác trong phân loại tín hiệu điện não [34-35]. Một số nhóm nghiên cứu tiếp cận vấn đề khử tín hiệu bất thường EOG dựa trên các phương pháp hồi quy trong đó giả thiết giả tượng mắt là một tổ hợp tuyến tính của tín hiệu điện não sạch và tín hiệu sinh ra do nháy mắt. Theo hướng nghiên cứu này, việc lấy tín hiệu điện não thu được trừ đi phần gây ra bởi tín hiệu bất thường EOG sẽ cho kết quả là tín hiệu điện não sạch. Các phương pháp hồi quy có thể được thực hiện trên miền tần số bằng cách lấy giá trị biến đổi tần số của tín hiệu điện não thu được trừ đi giá trị trên miền tần số gây ra bởi nháy mắt để thu được tín hiệu điện não sạch. Hồi quy trên miền tần số được thực hiện trên nguyên lý phép trừ trên miền tần số tương được với phép lọc (filtering) trên miền thời gian. Cả hai loại phương pháp dựa trên hồi quy nêu trên có hạn chế là phải thực hiện off-line và phải có bộ phận thu tín hiệu nháy mắt riêng biệt [20]. Một số phương pháp dựa trên phân tích thành phần cơ bản (Principal Component Analysis - PCA) hay phân tích thành phần độc lập (Independent Component Analysis - ICA) cũng được sử dụng để khử tín hiệu bất thường EOG [20, 30]. Cả ICA và PCA đều giả thiết tín hiệu điện não là một tổ hợp của các thành phần độc lập với nhau và do đó, khi phân tích tín hiệu điện não thành các thành phần độc lập này ta sẽ thu được các phần tín hiệu điện não sạch và tín hiệu gây ra do tín hiệu bất thường EOG riêng biệt. Thay đổi phần tín hiệu gây ra do tín hiệu bất thường EOG bằng các giá trị thích hợp sẽ cho phép tái cấu trúc lại được phần tín hiệu điện 47
não sạch, không có nhiễu. Các phương pháp dựa trên ICA, PCA thường có kết quả khử nhiễu tốt tuy nhiên lại không thực hiện một cách tự động, theo thời gian thực được. Lý do là phương pháp phân tích thành phần độc lập ICA là một phương pháp tính toán theo lô (batch algorithm) do đó để khai triển ICA cần một tập dữ liệu đa kênh. ICA đồng thời yêu cầu phải thực hiện một bước nhận dạng thủ công, bằng mắt thường để nhận biết các thành phần chính không phù hợp cần loại bỏ. Những yêu cầu này làm cho không thể sử dụng các phương pháp loại bỏ nhiễu tín hiệu điện não dựa trên ICA cho các hệ phân tích tín hiệu điện não theo thời gian thực. Wavelet thresholding thường rất nhạy cảm với sự lựa chọn hàm cơ sở wavelet do đó sản sinh ra những kết quả khử nhiễu có chất lượng không ổn định. Biến đổi wavelet kết hợp mạng nơ-ron cũng được sử dụng trong khử nhiễu EOG. Một trong các công bố được kể đến là [25], nhóm nghiên cứu này đề xuất một phương pháp gọi là Mạng nơ-ron wavelet (Wavelet neural network - WNN) cho phép khử nhiễu trên đơn kênh tín hiệu điện não, theo thời gian thực và tự động. Tuy nhiên, nhược điểm của phương pháp này là việc huấn luyện mạng nơ-ron vẫn phải làm một cách thủ công, do đó cả quy trình không tự động hóa được. Xuất phát từ việc tìm kiếm một phương pháp có thể giải quyết các hạn chế của các phương pháp đã được công bố trước đây như đã trao đổi ở phần trên, luận án này đề xuất một phương pháp mới gọi là Mạng học sâu tự mã hóa thưa wavelet (Deep wavelet sparse autoencoder - DWSAE). DWSAE là một phương pháp khử tín hiệu bất thường EOG có thể thực hiện đơn kênh, tự động theo thời gian thực và có thể tự động huấn luyện, khắc phục được các hạn chế của các phương pháp kể trên trong đó có WNN. Kết quả thực nghiệm cho thấy DWSAE cho kết quả khử nhiễu tốt, đáng tin cậy so với các phương pháp được so sánh. Phần tiếp theo của luận án sẽ trình bày cách thức thực hiện phương pháp Mạng học sâu tự mã thưa wavelet DWSAE trong khử tín hiệu điện não bất thường sinh ra do nháy mắt. 48
2. Đề xuất phương pháp học sâu tự mã hóa thưa wavelet Việc triển khai DWSAE gồm hai pha là huấn luyện không giám sát và tự động sửa tín hiệu sẽ được mô tả chi tiết ở phần bên dưới. Phương pháp mạng học sâu tự mã hóa thưa wavelet DWSAE được đề xuất kế thừa tính chất của SAE và là một phương pháp khử nhiễu tín hiệu điện não không giám sát. Hình 17. Cấu trúc mạng học sâu tự mã hóa thưa kết hợp wavelet DWSAE SAE được áp dụng thành công trên nhiều lĩnh vực khác nhau trong nhận dạng biểu cảm khuông mặt, dự đoán tương tác của protein, khử nhiễu ảnh SAE cũng được áp dụng trong một số công trình nghiên cứu đã được công bố để khử nhiễu tín hiệu điện não. Ví dụ, trong công bố [35], SAE được sử dụng để khử EOG trên miền thời gian. Phương pháp này sử dụng một hàm phản-chuẩn hóa (anti-standardization) để ánh xạ đầu ra của SAE về một dải giá trị phù hợp với tín hiệu điện não được khử nhiễu. Phương pháp DWSAE được đề xuất trong luận án này được thực hiện dựa trên một cách tiếp cận khác với các phương pháp đã được báo cáo trước đây. DWSAE sử dụng SAE trên miền thời gian tần số và không cần sử dụng hàm ánh xạ hỗ trợ (assistant mapping function). DWSAE gồm 5 thành phần chính là biến đổi wavelet, vector hóa (vectorization), mạng học sâu tự mã hóa thưa, giải vector hóa (de-vectorization) và khôi phục wavelet (Hình 17). Đầu vào của DWSAE là tín hiệu điện não chứa nhiễu EEGcont(t) và đầu ra là tín hiệu điện não đã được “làm sạch” EEGcor(t). Để thực hiện việc khử nhiễu, DWSAE được triển khai theo hai bước là huấn luyện không giám sát và “làm sạch” tự động. Tín hiệu EEGcont(t) được biến đổi wavelet thành một tập các hệ số ở 49
các dải thời gian – tần số khác nhau. Các hệ số ở dải tần số thấp, vốn mang cả thông tin về EOG và tín hiệu điện não sạch được lựa chọn và sắp xếp thành một vec-tơ. Quá trình này được gọi là vector hóa. Vector này được sử dụng làm đầu vào của máy học sâu tự mã hóa thưa. Máy mã hóa thưa này có khả năng sửa lỗi những hệ số này trở thành những hệ số sạch, chỉ chứa thông tin về tín hiệu điện não. Đầu ra của máy SAE sau đó được giải vector hóa và sử dụng để thay thế các hệ số wavelet chứa nhiễu tương ứng ở tín hiệu ban đầu. Các hệ số wavelet đã được sửa lỗi cuối cùng được sử dụng để tái tạo wavelet nhằm khôi phục lại tín hiệu điện não sạch. Phần tiếp theo của Luận án sẽ giới thiệu các cấu phần tạo nên phương pháp DWSAE mạng học sâu tự mã hóa thưa, thuật toán dò tìm EOG dựa trên biến đổi wavelet Haar, huấn luyện và tự động sửa lỗi với mạng học sâu tự mã hóa thưa wavelet và các độ đo để đánh giá kết quả. 2.1. Mạng học sâu tự mã hóa thưa Máy tự mã hóa thưa (Sparse autoencoder - SAE) [36-37, 67] là một mạng nơ- ron nhân tạo, có thể được huấn luyện không giám sát, gồm ba lớp: lớp đầu vào, lớp ẩn và lớp đầu ra. Số lượng các nút trong lớp đầu vào và đầu ra là bằng nhau. Các nút ở trong lớp ẩn còn được gọi là các mã thể hiện ẩn (hidden representation codes) cho phép tái thể hiện dữ liệu dưới dạng các đặc trưng. Hai thành phần để tạo nên một máy tự mã hóa thưa với một lớp ẩn là các mạng mã hóa và giải mã. Trong mạng mã hóa (Hình 18), SAE chuyển đổi các giá trị vec- tơ đầu vào 풙푖 thành các giá trị của vec-tơ thể hiện ẩn 풉푖 bằng phương trình chuyển đổi sau: (푒) (푒) 풉푖 = (푾 풙푖 + ) (14) Trong đó, f , (푒) và 푾(푒) lần lượt tương ứng với hàm kích hoạt phi tuyến, vec-tơ bias mã hóa và ma trận trọng số mã hóa. Trong mạng giải mã, SAE chuyển đổi các giá trị của vec-tơ thể hiện ẩn 풉푖 về vec-tơ tín hiệu đầu ra 풙̂풊 với phép biến đổi sau: ( ) ( ) 풙̂풊 = (푾 풉푖 + ) (15) 50
Trong đó, ( ) là vec-tơ bias giải mã và 푾( )là ma trận trọng số giải mã. 푾( ) 풉푖 푾(푒) Hình 18. Mô hình đơn giản một máy tự mã hóa Autoencoder Bằng cách đặt đầu vào 풙푖 giống với đầu ra 풙̂풊 một cách tốt nhất có thể, SAE tìm cách học cấu trúc liên kết giữa các mẫu tín hiệu đầu vào. Hàm mất mát tổng sẽ trở thành: 푠2 sparse(푾, ) = (푾, ) + 훽 ∑ KL( 휌 ||휌̂푖) (16) 푗=1 Trong đó β kiểm soát trọng số của giá trị phạt của tính thưa. Đại lượng ̂푗 (ngầm hiểu) cũng phụ thuộc vào 푾, bởi vì nó là giá trị kích hoạt trung bình của nút ẩn 퐽, và giá trị này phục thuộc bộ tham số 푾, . Số nút ẩn được biểu diễn bởi 푠2. Trong phương trình (16), đại lượng đầu tiên (푾, ) chính là hàm mất mát khi mạng tự mã hóa thưa cố ép để đầu ra giống với giá trị đầu vào trên toàn bộ số mẫu được dùng trong huấn luyện, được định nghĩa như sau: 1 2 훼 (푾, ) = [∑ ( ‖ℎ ( ) − 풙̂ ‖ )] + ∑ ∑ ∑(푊 )2 (17) 2 푊, 푖 풊 2 푖 Trong đó, 훼 là hệ số suy giảm trọng số, thực hiện vai trò kiểm soát sự tác động của trọng số và giảm overfitting (khi mô hình học quá tốt trên tập huấn luyện nhưng lại không thực hiện được tốt nhiệm vụ trên tập thử nghiệm). Đại lượng còn lại trong phương trình (16) là đại lượng phạt thưa (sparse penalty term) được định nghĩa như sau: 51
휌 1−휌 KL(휌||휌̂푗) = 휌푙표 + (1 − 휌)푙표 (17a) 휌̂푗 1−휌̂푗 KL(휌||휌̂푗) là hội tụ Kullback-Leibler (KL) giữa một biến ngẫu nhiên Bernoulli với giá trị trung bình và một biến ngẫu nhiên Bernoulli với giá trị trung bình 휌̂푗. Hội tụ KL có giá trị càng bé thì 휌̂푗 càng đạt giá trị gần với 휌. 1 휌 là giá trị kịch hoạt đích và 휌̂ = ∑푛 ℎ푗 là hàm kích hoạt trung bình của nút 푖 푛 푗=1 푖 ẩn thứ i. Mục tiêu của quá trình huấn luyện máy tự mã hóa thưa là giảm tối đa giá trị của hàm mất mát tổng; đồng nghĩa với việc ép giá trị 휌̂푖 về càng gần giá trị 휌 càng tốt. Nếu giá trị 휌 ban đầu là rất bé (rất gần với 0) sẽ dẫn đến phần lớn các nút trong lớp ẩn sẽ có giá trị rất nhỏ hay nói một cách khác là mạng như vậy có tính thưa. Trong mạng học sâu tự mã hóa thưa kết hợp wavelet, máy học sâu tự mã hóa thưa được dùng để học không giám sát các tính chất của tín hiệu điện não không chứa tín hiệu bất thường EOG. Sau đó, khi được dùng trong pha khử tín hiệu điện não bất thường do nháy mắt, mạng học sâu tự mã hóa thưa SAE sẽ tìm cách để sửa các giá trị bất thường về giá trị tương đồng tín hiệu điện não thông thường. Trong mạng DWSAE đề xuất trong khử EOG, hàm kích hoạt được sử dụng là hàm sigmoid (훼) = 1/(1 + 푒−훼) và phương pháp lan truyền ngược được sử dụng để huấn luyện mạng tự mã hóa thưa. Trong một số trường hợp khác, có thể sử dụng hàm kích hoạt là hàm ReLU. Hàm mất mát trong huấn luyện được tối ưu hóa với thuật toán L-BFGS-B [38]. 2.2. Phương pháp dò đếm EOG dựa trên biến đổi wavelet Haar 2.2.1. Biến đổi wavelet Haar Biến đổi wavelet Haar là biến đổi wavelet trong đó hàm wavelet mẹ được sử dụng là hàm Haar. Sóng wavelet Haar có hình dạng xung vuông và không liên tục, do đó không khả vi. Wavelet Haar đặc biệt hữu ích khi sử dụng để phân tích tín hiệu với các chuyển đổi giá trị đột ngột như là tín hiệu điện não chứa EOG. Hàm wavelet Haar mẹ ψ(x) được định nghĩa bởi phương trình dưới đây: 52
1 1, 푛ế ∈ [0, ) , 2 1 ψ (x) = −1, 푛ế ∈ [ , 1) (18) 2 { 0, 푡 표푛 푡 ườ푛 ℎợ ℎá với hàm tỉ lệ Φ(x) được định nghĩa bởi công thức: 1, 푛ế 0 ≤ GA Lưu vị trí kết quả nhiễu? * ∂ ? sai sai Đúng Cập nhật tham số Chuyển khoảng cách trung đoạn? bình toàn cục sai Hiển thị tín hiệu đánh dấu EOG Kết thúc Hình 19. Lưu đồ thuật toán dò đếm tín hiệu bất thường do nháy mắt EOG Việc phát hiện và đếm được số lượng tín hiệu bất thường do nháy mắt EOG trên một đoạn tín hiệu điện não có nhiều ý nghĩa và có thể được sử dụng trong việc cải tiến các thuật toán khử EOG cũng như áp dụng để trong các hệ phân tích tín hiệu điện não khác. Luận án này đề xuất một phương pháp mới dựa trên biến đổi wavelet và xác định ngưỡng thích hợp để dò đếm nhiễu [65]. Trong phương pháp này, đoạn 53
tín hiệu điện não đầu tiên được phân tích với biến đổi wavelet Haar bậc 4. Các hệ số ở thành phần xấp xỉ (approximation) được sử dụng để tái tạo wavelet. Đầu ra của việc sử dụng tái tạo wavelet này là tín hiệu wavelet Haar xấp xỉ tín hiệu ban đầu chứa các đoạn tín hiệu được chia nhỏ. Nếu một đoạn tín hiệu chứa EOG, vị trí của đoạn tín hiệu được lưu lại. Độ dài của các đoạn tín hiệu nhỏ này được lựa chọn dựa trên giá trị của tần số lấy mẫu. Trong phạm vi của luận án này, các tập dữ liệu được sử dụng đều có tần số lấy mẫu là 128 Hz, do đó việc lựa chọn độ dài của đoạn tín hiệu là 1 giây dữ liệu. Việc lựa chọn này giúp cho việc thi triển biến đổi wavelet một cách thuận lợi do có thể trả về kết quả là một tập các hệ số wavelet chẵn theo lũy thừa của 2. Ví dụ số bậc biến đổi và tái tạo wavelet là 4 thì độ dài của đoạn tín hiệu nhỏ có thể được lựa chọn trong khoảng 32 – 64 mẫu hay là tương đương 2 – 4 lần độ dài một cạnh hệ số Haar wavelet. Trong bước tiếp theo, các kỹ thuật phân ngưỡng và trung bình hóa khoảng cách được sử dụng để nhận diện EOG xuất hiện trong các đoạn tín hiệu này. Cuối cùng hệ số khoảng cách trung bình được cập nhật để tiếp tục xử lý đoạn tiếp theo. Lưu đồ của thuật toán thể hiện ở Hình 19. Tham số LA và GA lần lượt là giá trị trung bình độ dài cạnh trên đoạn ngắn và giá trị trung bình độ dài cạnh toàn cục của hệ số biến đổi wavelet Haar. Hình 20: Kết quả nhận diện EOG Để kiểm chứng phương pháp dò EOG này, gần 481 đoạn tín hiệu chứa nhiễu EOG đã được nhận diện và thu thập thủ công. Số lượng đoạn tín hiệu điện não sạch là 687. Mỗi đoạn tín hiệu chứa EOG và tín hiệu sạch dài 1 giây, tương đương với 128 mẫu dữ liệu (128 data samples). Hình 20 thể hiện kết quả nhận diện tín hiệu bất thường do nháy mắt EOG trên một đoạn tín hiệu. 54
Bảng 1. Kết quả nhận diện EOG P N TP FN FP TN Độ nhạy Độ đặc hiệu Độ chính xác 481 687 420 18 61 626 0.87 0.91 0.89 Trong đó: - Dương thật (True Positive – TP): Các tín hiệu EOG được thuật toán xác định chính xác là EOG - Dương giả (Fase Positive - FP): Tín hiệu điện não nhưng thuật toán xác định là EOG - Âm thật (True Negative - TN): Tín hiệu điện não được thuật toán xác định chính là tín hiệu điện não - Âm giả (False Negative – FN): EOG nhưng thuật toán xác định là tín hiệu điện não - Tổng số EOG (Conditional positive - P) - Tổng số đoạn tín hiệu điện não sạch (Conditional negative - N) Độ chính xác xác định trên tập dữ liệu EOG là Accuracy = (TP+TN)/(P+N) x 100% = 89% (19a) Sở dĩ độ chính xác khoảng 89% là do dữ liệu chưa được chuẩn hóa và việc xác định EOG chỉ bằng mắt thường không có căn cứ về thời gian xuất hiện EOG. Các kết quả xác định khi đối tượng chủ động nhắm mắt có thể đạt độ phát hiện chính xác đến 100%. 2.3. Mạng học sâu tự mã hóa thưa wavelet trong khử EOG Phần dưới đây sẽ trình bày chi tiết quy trình thực hiện phương pháp DWSAE. 2.3.1. Huấn luyện tự động DWSAE được huấn luyện tự động với dữ liệu điện não sạch, không gán nhãn ở trong pha này. Cụ thể, thuật toán dò tìm các đoạn tín hiệu chứa EOG được triển khai. Các đoạn tín hiệu điện não không chứa EOG sau đó được thu thập. Mỗi đoạn có độ dài tương đương 1 giây dữ liệu. Trong nghiên cứu này do tần số lấy mẫu là 128 Hz nên một đoạn gồm 128 mẫu tín hiệu. Mỗi đoạn tín hiệu sạch sau đó được biến đổi wavelet thành tập các hệ số wavelet. Hàm wavelet cơ sở được lựa chọn trên 55
cơ sở chia sẻ nhiều đặc điểm với EOG nhất. Dựa trên việc triển khai thực tế, hàm wavelet cơ sở từ họ wavelet Daubechies và Coiflet là những sự lựa chọn phù hợp. Tương tự, số bậc biến phân rã wavelet được lựa chọn để đảm bảo hệ số ở trong các giải thời gian – tần số phản ánh đúng tính chất của tín hiệu ban đầu và có thể được khai thác một cách hiệu quả trong pha sau khi SAE được sử dụng để cân chỉnh giá trị hệ số chứa nhiễu. Những hệ số ở dải tần số thấp sau đó được vec-tơ hóa ở bước tiếp theo để tạo thành một vec-tơ gồm 16 thành phần trong đó có hệ số xấp xỉ (0-2 Hz) và các hệ số chi tiết tại bậc 6 (2- 4 Hz), 5 (4 – 8 Hz) và 4 (8 – 16 Hz). Việc lựa chọn 16 thành phần này nhằm đảm bảo tất cả các thành phần tín hiệu chứa EOG trên miền thời gian tần số đã được thu thập phục vụ việc khử EOG. Trong các trường hợp khác, ví dụ nếu tần số lấy mẫu là 256 Hz, một giây dữ liệu chứa 256 mẫu và do đó cần chọn bậc phân rã wavelet là bậc 7. Các hệ số chi tiết ở các giải tần bậc 7, 6, 5 và hệ số xấp xỉ được vec-tơ hóa. Việc lựa chọn số bậc phân rã tuân theo cách thức vừa được trình bày ở trên. Quá trình vec-tơ hóa được lập lại cho toàn bộ các đoạn tín hiệu điện não sạch nhằm tạo ra một tập dữ liệu huấn luyện. Hình 21. Quy trình huấn luyện không giám sát mạng học sâu tự mã hóa thưa wavelet Đối với nghiên cứu thuộc Luận án này, một mạng học sâu tự mã hóa thưa gồm 03 lớp ẩn được lựa chọn. Kết quả khử EOG cho thấy mạng SAE này có khả năng khử EOG hiệu quả. Số lượng nút trong các lớp ẩn được lựa chọn để đảm bảo không có quá nhiều nút so với số lượng nút ở lớp đầu vào và đầu ra vốn đã được xác định trong quá trình biến đổi wavelet. Việc lựa chọn cấu hình mạng SAE như vậy đảm bảo rằng mạng SAE không gồm một số lượng quá lớn các nút vốn dễ dẫn đến những khó khăn trong tính toán và quá trình tối ưu hóa giá trị trọng số của mạng SAE. Mục 56
tiêu cuối cùng của quá trình huấn luyện tự động(Hình 21) là tạo ra một mạng học sâu SAE có khả năng sửa lỗi hệ số wavelet chứa thông tin về EOG. 2.3.2. Tự động sửa lỗi tín hiệu Tín hiệu điện não chứa nhiễu EEGcont(t) và tín hiệu điện não đã được “làm sạch” EEGcor(t) là đầu vào và đầu ra của quá trình sửa lỗi tín hiệu điện não trong phương pháp DWSAE. Hình 22. Quy trình tự động khử EOG với DWSAE Bước đầu tiên của quá trình tự động sửa lỗi là dò tìm EOG để nhận diện các đoạn tín hiệu chứa nhiễu cần được làm sạch. Mỗi đoạn tín hiệu chứa nhiễu này có độ dài 1 giây dữ liệu và EOG xuất hiện trong đoạn tín hiệu này. Đoạn tín hiệu này tiếp tục được biến đổi wavelet để tạo ra một tập hệ số trên miền thời gian – tần số ở các bậc khác nhau. Các hệ số ở bậc thấp được vec-tơ hóa thành một vec-tơ một chiều, như đã được mô tả chi tiết ở mục 2.3.1. Đầu ra của quá trình huấn luyện không giám sát ở trên là một mạng tự mã hóa thưa SAE đã được huấn luyện. Trong pha sửa lỗi này, mạng SAE được sử dụng để thay đổi giá trị của các hệ số trong vec-tơ đầu vào nhằm tạo ra một tập giá trị đầu ra mới không còn mang thông tin về các thành phần nhiễu không mong muốn. Các hệ số được sửa lỗi sau đó được sử dụng để thay thế các hệ số chứa nhiễu ban đầu trước khi SAE khử nhiễu. Quá trình đang bàn ở đây được gọi là giải vec-tơ hóa hay Devectorization. Trong quá trình giải vec-tơ hóa, thứ tự sắp xếp các hệ số wavelet giống hệt với thứ tự sắp xếp các hệ số trong quá trình vec-tơ hóa. Các hệ số đã được cân chỉnh ở các dải tần thấp và các hệ số không bị thay đổi ở các dải tần cao sau đó được sử dụng trong quá trình khôi phục wavelet để tạo ra các đoạn tín hiệu điện não đã được khử EOG. Lưu đồ của quá trình này 57
được tổng quát hóa ở Hình 22. Trong pha sửa lỗi tín hiệu này, các thông số của mô hình DWSAE và biến đổi wavelet đều được giữ nguyên giống như trong pha huấn luyện. 2.4. Độ đo đánh giá kết quả Để đánh giá kết quả ngoài việc hiển thị kết quả khử nhiễu của phương pháp DWSAE so với các phương pháp khác như ICA (SOBI [39-40], Infomax [41] và JADE [42]), wavelet thresholding và WNN trên miền thời gian, các chỉ số đánh giá khác được sử dụng trên miền tần số là mật độ phổ công suất (Power Spectral Density - PSD) và tương quan tần số (Frequency Correlation - FC). PSD là một chỉ số phổ biến cho biết thông tin trên miền tần số của tín hiệu. PSD có thể được tính toán dựa trên các phương pháp như Barlett, Welch, Blackman hay Burg Việc tính toán và định lượng tương quan trên miền tần số của tín hiệu trước và sau khi khử nhiễu tương đương với xác định tương quan trên miền thời gian trước và sau quá trình lọc nhiễu. Độ đo tương quan tần số FC giữa hai tín hiệu 1 và 2 được tính bởi công thức sau: 푤2 ∗ ∗ 1 ∑ ( 2+ 1) 퐹 = ∗ 푤1 1 2 (20) 2 푤 푤 √∑ 2 ∗∗∑ 2 ∗ 푤1 1 1 푤1 2 2 Ở công thức trên, 푤1 và 푤2 là cận trên và cận dưới của vùng phổ công suất được tính; FC là độ tương quan tại tần số có giá trị (푤1 + 푤2)/2. Nếu 1 và 2 có giá trị bằng nhau, giá trị của FC là 1, trong các trường hợp khác, FC nhận giá trị từ 0 tới 1. Kích cỡ của cửa số (푤1 - 푤2) được chọn bằng 2 để tiện tính toán. Chỉ số bình phương sai số trung bình (Mean square error - MSE) giữa tín hiệu điện não được khử nhiễu và tín hiệu gốc được sử dụng để đánh giá hiệu quả của các phương pháp khử nhiễu dựa trên wavelet. MSE được định nghĩa như sau: 1 푆 = ∑ ( − ̃ )2 (21) 푖=1 푖 푖 Trong đó 푖 và ̃푖 là các giá trị mẫu dữ liệu điện não trước và sau khi khử nhiễu. N là tổng số điểm dữ liệu trên đoạn tín hiệu điện não được khử nhiễu. 58
3. Kết quả Phần này trình bày về kết quả thí nghiệm khi sử dụng phương pháp Mạng học sâu tự mã hóa thưa wavelet DWSAE khử nhiễu trên ba tập dữ liệu là tập thực hiện nhiệm vụ chú ý quan sát (tập dữ liệu 1), tập dữ liệu nhận dạng trạng thái suy nghĩ (tập dữ liệu 2) và một tập dữ liệu mô phỏng tín hiệu điện não chứa tín hiệu điện não bất thường EOG (tập dữ liệu 3). 3.1. Dữ liệu kiểm thử Tập dữ liệu 1 - thực hiện nhiệm vụ chú ý quan sát: Tập dữ liệu này được thu bởi một hệ thống thu tín hiệu điện não gồm 32 kênh với tần số lấy mẫu là 128 Hz trong thời gian 238 giây. Đối tượng thực hiện một nhiệm vụ đòi hỏi phải chú ý đến việc các hình tròn sẽ nháy sáng một cách ngẫu nhiên tại 1 trong 5 vị trí được hiển thị [20, 25]. Mặc dù đối tượng đã hạn chế di chuyển và nháy mắt, tín hiệu điện não thu được trong tập dữ liệu vẫn bị ảnh hưởng khá mạnh bởi tín hiệu bất thường do nháy mắt tại các kênh tín hiệu phía gần thùy trán như F3, Fz, F4 Tập dữ liệu này có thể được tải về tại địa chỉ (truy cập lần cuối 3/5/2020). Tập dữ liệu 2 - nhận dạng trạng thái suy nghĩ: Tín hiệu điện não được ghi lại trên đối tượng là 12 sinh viên Đại học có tình trạng sức khỏe tốt. Tất cả đối tượng được yêu cầu không uống đồ uống có cồn hay chất kích thích hoặc điều trị bằng thuốc trong vòng 24 tiếng trước khi thực hiện phiên thí nghiệm. Ba tác vụ suy nghĩ được đưa ra và yêu cầu các đối tượng thực hiện là Neutral (đưa não bộ về trạng thái không suy nghĩ, thiền định), Light (nghĩ đến chuyện bật đèn sáng) và Paper (nhớ về nội dung một bài báo khoa học đã đọc trước đó). Phòng thu tín hiệu là một phòng bá âm để tránh cho các đối tượng bị ảnh hưởng bởi tiếng ồn hay điều kiện ánh sáng thay đổi. Thiết bị đo là thiết bị Epoc+ của công ty Emotiv sản xuất. Thiết bị Epoc+ gồm 14 kênh và tần số lấy mẫu là 128 Hz. Đối tượng có 30 phút trước khi chính thức thu tín hiệu để làm quen với thiết bị, điều kiện đo và được hướng dẫn về thiết kế thí nghiệm cũng như cách thức thực hiện các tác vụ suy nghĩ này. 59
Tập dữ liệu 3 - mô phỏng tín hiệu điện não chứa nhiễu: Thuật toán dò đếm tín hiệu bất thường do nháy mắt thực hiện nhiệm vụ trên tập dữ liệu 1 và tập hợp được khoảng 6400 đoạn dữ liệu điện não không chữa tín hiệu điện não mạnh, tín hiệu bất thường do nháy mắt EOG. Mỗi đoạn tín hiệu gồm 128 mẫu hoặc tương đương 1 giây dữ liệu. Các đoạn tín hiệu chứa giả tượng mắt được thu thập từ các đoạn tín hiệu chứa nhiễu sẽ được cho qua bộ lọc thông thấp và trở thành các giả tượng mắt EOG. Các giả tượng này sau đó được tổng hợp với các đoạn tín hiệu điện não sạch bằng phép cộng tín hiệu. Việc lựa chọn vùng nào để cộng tín hiệu được thực hiện một cách ngẫu nhiên để đảm bảo các đoạn tín hiệu điện não chứa nhiễu được mô phỏng có tính chất giống với các đoạn tín hiệu nhiễu thực sự nhất. 3.2. Thiết kế thí nghiệm Sáu phương pháp khử nhiễu được thực hiện trên ba tập dữ liệu cho mục đích đánh giá hiệu quả trên các tập dữ liệu đã được chuẩn bị. Các phương pháp này gồm có Infomax, JADE, SOBI, WNN, Wavelet thresholding và DWSAE. Bên cạnh việc đánh giá trực quan kết quả khử nhiễu trên miền thời gian, giá trị mật độ phổ công suất PSD và tương quan tần số FC giữa tín hiệu trước và sau khi khử nhiễu được sử dụng để đánh giá sự tác động lên tín hiệu của các phương pháp này trên miền tần số. Sai số trung bình bậc hai được tính toán giữa tín hiệu gốc và tín hiệu khử nhiễu cho thấy hiệu quả của các phương pháp khử nhiễu đơn kênh dựa trên biến đổi wavelet là WNN, Wavelet thresholding và DWSAE.Các phương pháp ICA gồm Infomax, JADE và SOBI được thực hiện với phần mềm EEGLAB được công bố rộng rãi tại địa chỉ (truy cập lần cuối 3/5/2020). Phương pháp WNN được thực hiện như mô tả trong công bố [25]. Wavelet thresholding được thực hiện theo hướng dẫn tại [43]. 3.3. Kết quả thí nghiệm 3.3.1. Kết quả trên Tập dữ liệu 1: thực hiện nhiệm vụ chú ý quan sát Ba phương pháp ICA gồm Infomax, JADE và SOBI được thực hiện để khử nhiễu trên toàn bộ tập dữ liệu này. Sau khi chạy trên tập dữ liệu, các phương pháp này sẽ trả về một tập các thành phần độc lập (Independent component - IC). Một số IC bị 60
nhận diện trực quan là nguồn gây nhiễu sẽ bị loại bỏ và thay bằng các giá trị 0. Sau đó tập IC mới sẽ được nhân với ma trận trộn để thu được tín hiệu điện não sạch. Các IC bị nhận diện là nguồn nhiễu của tập dữ liệu này lần lượt là số 7, 2 của phương pháp Infomax, 2, 15, 19, 20 của phương pháp JADE và 3, 10 , 12 của phương pháp SOBI. Khi thực hiện khử nhiễu với DWSAE, thuật toán dò đếm tín hiệu bất thường do nháy mắt EOG được sử dụng để nhận diện các đoạn tín hiệu chứa tín hiệu bất thường do nháy mắt EOG. Các đoạn tín hiệu điện não không chứa EOG sau đó được ghép nối để tạo thành một chuỗi tín hiệu điện não dài 6400 giây. Đoạn tín hiệu điện não này sau đấy được phân chia thành 6400 đoạn tín hiệu điện não, mỗi đoạn gồm 128 mẫu dữ liệu tương đương với 1 giây tín hiệu. Các đoạn tín hiệu này chính là đầu vào để huấn luyện không giám sát máy học sâu tự mã hóa thưa. Trong quá trình huấn luyện không giám sát này, mỗi đoạn dữ liệu gồm 128 mẫu dữ liệu, không chứa tín hiệu bất thường do nháy mắt EOG được phân tích bởi biến đổi wavelet bậc 6 để thu được các hệ số biến đổi wavelet tại các giải tần 0-2 Hz, 2-4 Hz, 4-8 Hz, 8-16 Hz, 16- 32 Hz, 32–64 Hz và 64–128 Hz. Các hệ số wavelet tại bốn giải tần thấp nhất (từ 0 – 16 Hz) được lựa chọn và sắp thành một vector gồm 16 giá trị thành phần (chứa lần lượt (2, 2, 4, 8 hệ số từ các giải tần 0-2 Hz, 2-4 Hz, 4-8 Hz, 8-16 Hz). Tương ứng với 6400 đoạn tín hiệu điện não là 6400 vector được tổng hợp và làm dữ liệu đầu vào để huấn luyện không giám sát mạng học sâu tự mã hóa thưa (sparse autoencoder - SAE). Bằng cách đặt các tham số và xây dựng mô hình thích hợp, máy SAE sẽ học tính chất, cầu trúc và sự liên hệ giữa các mẫu dữ liệu này bằng cách đặt xấp xỉ đầu ra bằng với đầu vào. Các hệ số suy giảm α, hệ số thưa ρ và hệ số phạt thưa β lần lượt nhận giá trị 0.002, 0.03 và 0.0035 trong mô hình SAE do hiệu quả khử nhiễu thực tế phương pháp DWSAE thể hiện. Máy SAE có cấu trúc 5 lớp 16-32-64-32-16 gồm 1 lớp đầu vào (16 nút), 1 lớp đầu ra (16 nút) và 03 lớp ẩn (gồm 32-64-32 nút). Trong pha khử nhiễu, thuật toán dò tìm EOG được thực hiện để nhận diện vùng chứa tín hiệu bất thường do nháy mắt EOG và sau đó DWSAE sẽ tiến hành khử nhiễu tự động trên vùng dữ liệu đã được nhận diện này. Mỗi đoạn dữ liệu chứa nhiễu gồm 61