Báo cáo Xếp hạng các trường Đại học dựa trên độ đo web và áp dụng vào bài toán xếp hạng các trường Đại học Việt Nam

Nội dung text: Báo cáo Xếp hạng các trường Đại học dựa trên độ đo web và áp dụng vào bài toán xếp hạng các trường Đại học Việt Nam

1. ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ BÁO CÁO CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC SINH VIÊN NĂM 2009 Đề tài: XẾP HẠNG CÁC TRƯỜNG ĐẠI HỌC DỰA TRÊN ĐỘ ĐO WEB VÀ ÁP DỤNG VÀO BÀI TỐN XẾP HẠNG CÁC TRƯỜNG ĐẠI HỌC VIỆT NAM Người thực hiện: Trần Nam Khánh – K50HTTT Phùng Văn Huy – K50HTTT Nguyễn Tiến Thanh – K51CA Giáo viên hướng dẫn: PGS.TS Hà Quang Thụy Cử nhân Nguyễn Thu Trang Hà Nội, 2009
2. Tĩm tắt nội dung Xếp hạng các trường đại học (university ranking) nhận được rất nhiều sự quan tâm của các tổ chức xã hội và tổ chức giáo dục trên thế giới. Hiện nay, nhiều hệ thống xếp hạng dựa trên các phương pháp định tính cũng như định lượng đã được cơng bố. Trong đĩ, xếp hạng trường đại học dựa trên độ đo web được khởi xướng bởi phịng nghiên cứu Cybermetrics thuộc trung tâm nghiên cứu CSIC - trung tâm nghiên cứu lớn nhất của Tây Ban Nha - cơng bố vào tháng 1 và thang 7 hàng năm. Báo cáo đưa ra mơ hình thực nghiệm áp dụng phương pháp “xếp hạng dựa trên độ đo web” vào bài tốn xếp hạng các trường đại học Việt Nam. Thực nghiệm ban đầu cho kết quả khả quan của mơ hình. 1
3. Mục lục 1. Giới thiệu 4 2. Khái quát về Webometrics 5 2.1. Xếp hạng trang web 5 2.2. Xếp hạng các thực thể trên web 7 2.3. Khái quát về Webometrics 10 3. Một số hệ thống xếp hạng trường đại học điển hình 13 3.1. Phương pháp chung 13 3.1.1. Thu thập dữ liệu 13 3.1.2. Xác định các tiêu chí đánh giá, tính điểm và đánh trọng số cho từng tiêu chí. 13 3.1.3. Tổng hợp và cơng bố kết quả 15 3.2. Các hệ thống xếp hạng quốc gia 15 3.2.1. Mỹ - US News and World Report (USNWR) 15 3.2.2. Anh - Times Higher Education Supplement (THES) 15 3.2.3. Australia - Good Universities Giude (GUG) 16 3.2.4. Canada - Macleans Raking 16 3.3. Các hệ thống xếp hạng quốc tế 17 3.3.1. Hệ thống xếp hạng học thuật các trường đại học trên thế giới của trường đại học Giao Thơng Thượng Hải (Shanghai Jiao Tong University – SJTU) 17 3.3.2. Hệ thống xếp hạng các trường đại học quốc tế của Times Higher Education Supplemen (THES) 18 4. Hệ thống xếp hạng trường đại học dựa trên độ đo Web 19 4.1. Giới thiệu 19 4.2. Phương pháp luận 20 4.2.1. Thu thập dữ liệu 20 4.2.2. Chuẩn hĩa chỉ số và xác định trọng số cho các chỉ số 21 5. Mơ hình thực nghiệm phương pháp dựa độ đo web trong xếp hạng các trường đại học Việt Nam 22 5.1. Xác định các chỉ số 23 5.1.1. Chỉ số nhận diện (V – Visibility) 23 5.1.2. Chỉ số kích thước (Size – S) 26 5.1.3. Chỉ số phong phú tài liệu (Rich files - R) 26 5.1.4. Chỉ số bài báo khoa học (Scholar – Sc) 26 5.2. Xác định trọng số cho các chỉ số 27 6. Bảng xếp hạng - Phân tích đánh giá 28 7. Kết luận và định hướng nghiên cứu 30 2
4. Danh sách hình vẽ Hình 1. Đồ thị biểu diễn liên kết web Hình 2. Mơ hình chung của tìm kiếm thực thể Hình 3. Một thuật tốn xếp hạng thực thể. Hình 4. Mơ hình thực nghiệm chung Hình 5. Đồ thị web các trường đại học Hình 6. Sử dụng máy tìm kiếm để xác định liên kết đến (inlinks) Hình 7. Mơ hình mở rộng phương pháp 2 Danh sách bảng biểu Bảng 1.Các tiêu chí và trọng số trong xếp hạng của SJTU Bảng 2. Bảng xếp hạng 5 trường hàng đầu theo TJTU (2008) Bảng 3. Bảng xếp hạng 5 trường hàng đầu theo THES (2008) Bảng 4: So sánh về độ bao phủ của Webometrics với ARWU và THES Bảng 5: Bảng xếp hạng 10 trường hàng đầu thế giới theo Webometrics Bảng 6: Các câu truy vấn trong xác định chỉ số V Bảng 7. Các câu truy vấn xác định chỉ số S Bảng 8: Câu truy vấn xác định chỉ số R Bảng 9: Trọng số cho các chỉ số S, V, R, Sc Bảng 10. Bảng xếp hạng các trường đại học Việt Nam Bảng 11. Danh sách các trường Việt Nam được Webometrics xếp hạng Danh sách biểu đồ Biểu đồ 1: Mối quan hệ giữa các độ đo Biểu đồ 2. So sánh kết quả kết quả thực nghiệm và webometrics 3
5. 1. Giới thiệu Chất lượng giáo dục được coi là địn bẩy quan trọng bậc nhất để thúc đẩy sự phát triển của một quốc gia, và là nguồn đầu tư mang lại lợi nhuận lớn nhất đối với từng cá nhân. Xuất phát với mục tiêu ban đầu của việc xếp hạng các trường đại học là đáp ứng các nhu cầu thơng tin về các trường đại học của cha mẹ học sinh, sinh viên và các nhà tuyển dụng lao động thì ngày nay nĩ đã trở thành một yếu tố chuẩn mực tại đa số các quốc gia cĩ hệ thống giáo dục đại học lớn, mơt hiện tượng tồn cầu và là mối quan tâm chung của tất cả các cộng đồng trong các quốc gia của tất cả các châu lục trên thế giới. Bắt đầu từ năm 1983, US News and World Report lần đầu tiên xếp hạng các trường đại học tại Hoa Kỳ. Tiếp sau đĩ là Tuần Báo Canada Macleeans (1991), rồi Tuần Báo Đức Stern (1998), Thời báo chủ nhật – Sunday Times (2001) cũng lần lượt đưa ra bảng xếp hạng cho các trường đại học nước mình. Sau đĩ, vào cuối thế kỉ 20, các bảng xếp hạng các trường đại học tốt nhất trong khu vực và tồn cầu cũng xuất hiện, tiêu biểu là bảng xếp hạng các trường đại học trên thế giới của trường đại học Giao thơng Thượng Hải (2003), Times Higher Education Supplement của Vương Quốc Anh (2004) và của Webometrics (2004). Trong lúc đĩ, Việt Nam chưa cĩ một hệ thống xếp hạng các trường đại học chính thức. Theo GS. TSKH Bành Tiến Long, Thứ trưởng Bộ Giáo dục và Đào tạo Việt Nam, Đại học Quốc gia Hà Nội (ĐHQGHN) được xếp hạng 54 khu vực và 2850 thế giới, trong đĩ Trường Đại học Cơng nghệ thuộc ĐHQGHN được xếp hạng 90 khu vực và 4217 thế giới [Long98]. Chưa hề cĩ một cơng trình nghiên cứu nào thử xác định xem, nếu dùng bộ tiêu chí xếp hạng của Tin tức Hoa Kỳ, hoặc Thời báo Luân Đơn, hoặc Tuần san Châu Á, hoặc tổ chức nào khác để đánh giá các trường đại học Việt Nam. Trong hội thảo quốc tế “Xếp hạng các trường đại học: Xu thế tồn cầu và quan điểm” tại Đại học Quốc gia Hà Nội, PGS.TS Nguyễn Phương Nga đã trình bày báo cáo “Phương pháp và các tiêu chí xếp hạng của các trường đại học Việt Nam” với mong muốn trong năm 2009 đưa ra một bảng xếp hạng chính thức cho các trường đại học tại Việt Nam [Nga08]. Báo cáo này tập trung vào việc nghiên cứu phương pháp sử dụng độ đo web trong xếp hạng các trường đại học trên thế giới, được Phịng nghiên cứu Cybermetrics thuộc trung tâm nghiên cứu CSIC (Tây Ban Nha) khởi xướng. Cuối cùng là áp dụng phương pháp trên để xây dựng mơ hình thực nghiệm cho việc xếp hạng các trường đại học Việt Nam. Dữ liệu về website các trường đại học Việt Nam được lấy về từ trang chủ của Bộ Giáo dục và Đào tạo Việt Nam (cĩ bổ sung sửa đổi). Phần cịn lại của báo cáo sẽ được chức thành năm mục. Mục đầu sẽ trình bày khái quát về Webometrics. Mục thứ hai sẽ giới thiệu về phương pháp chung thực hiện trong xếp hạng trường đại học và các hệ thống xếp hạng quốc gia, quốc tế. Tiếp theo 4
6. báo cáo trình bày phương pháp xếp hạng trường đại học dựa trên độ đo web - webometrics. Mục thứ tư sẽ trình bày mơ hình thực nghiệm áp dụng phương pháp trong xếp hạng các trường đại học tại Việt Nam. Mục cuối cùng sẽ đưa ra kết quả - bảng xếp hạng- phân tích đánh giá kết quả và định hướng nghiên cứu 2. Khái quát về Webometrics 2.1. Xếp hạng trang web Ngày nay với sự phát triển của Internet, người dùng đã cĩ được một nguồn tài nguyên tri thức phong phú, đa dạng. Tuy nhiên, do số lượng các trang web quá lớn, con người khơng cĩ đủ thời gian cũng như kiên nhẫn để mà cĩ thể ghé thăm qua từng trang cho tới khi tìm ra thơng tin mình mong muốn. Chính vì lý do đĩ máy tìm kiếm ra đời với cách thức hoạt động khá đơn giản và thân thiện: người dùng đưa ra từ khĩa về thơng tin mong muốn, máy sẽ liệt kê ra các trang liên quan. Song thực sự thì lượng kết quả máy cho là phù hợp với truy vấn của người dùng cũng khơng hề nhỏ! Do đĩ, đặt ra yêu cầu xếp hạng các trang để máy hiển thị kết quả trả về tốt hơn cho người dùng. Các trang web trên Internet được xây dựng và liên kết với nhau. Nếu coi mỗi trang web là một điểm, và mỗi liên kết từ một trang web này tới một trang web khác là một tia, thì ta cĩ thể biểu diễn được tập hợp các trang web, mối quan hệ giữa chúng bằng một đồ thị G - gọi là đồ thị Web. Đồ thị G là đồ thị cĩ hướng. Mỗi đỉnh p i của G tương ứng với một trang. Cung p i -> p j cho biết rằng trang ứng với đỉnh p i cĩ liên kết tới trang ứng với đỉnh p j. Kí hiệu N(p) là số liên kết vào p. B(p) là số liên kết ra từ p. Trong tính tốn, G được biểu diễn bằng ma trận. Cĩ hai dạng ma trận thường được sử dụng đĩ là ma trận kề A và ma trận chuyển P. Dưới đây là một ví dụ của đồ thị G để minh họa, làm rõ cách biểu diễn G bằng ma trận P P P P Hình 1. Đồ thị biểu diễn liên kết web 5
7. Ma trận kề A: a ij = 1 nếu trang i cĩ liên kết tới j, bằng 0 trong các trường hợp khác (ko tính tự liên kết, tức a ii = 0 với mọi i) a11 a 12 a 13 a 14  0 1 0 1      a a a a 1 0 0 1 21 22 23 24  =   a a a a  0 0 0 0  31 32 33 34    a41 a 42 a 43 a 44  0 0 0 0  Ma trận chuyển P: p ij = 1/B(i) nếu trang i cĩ liên kết trỏ tới j, bằng 0 trong các trường hợp khác 1 1 p11 p 12 p 13 p 14  02 0 2      p p p p 10 0 1 21 22 23 24  = 2 2  p p p p  0 0 0 0  31 32 33 34    p41 p 42 p 43 p 44  0 0 0 0  Do tính chất đặc thù cĩ khả năng liên kết giữa các trang web, nên sự xếp hạng các trang web ở mức tồn cục luơn cĩ việc phân tích liên kết trên đồ thị web. Nội dung dưới đây sẽ trình bày khái quát về 2 phương pháp xếp hạng dựa trên liên kết phổ biến PageRank và HITS Phương pháp PageRank Là phương pháp tính hạng được phát triển tại đại học Stanford bởi Lary Page (cũng bởi vậy mà cĩ tên PageRank) và tiếp đĩ bởi cùng Sergey Brin. Sau này trở thành thương hiệu của Google [PBMW98]. Ý tưởng: Độ quan trọng của một trang thừa hưởng một phần độ quan trọng từ trang liên kết đến nĩ. Cơng thức tính hạng trang p i Trong đĩ: N là tổng số trang, d là hệ số hãm (qua thực nghiệm, tác giả cơng bố chọn 0.85), M(p i) là tập các trang liên kết tới pi, L(p j) là số trang p j liên kết đến. Ưu điểm của PageRank: đơn giản, tính tốn nhanh, đáng tin; khơng phụ thuộc vào truy vấn của người dùng, nội dung của trang web; cĩ thể tính tốn ngoại tuyến với đầu vào là cấu trúc đồ thị web. Dĩ nhiên trên thực tế Google khơng chỉ sử dụng nguyên PageRank “cổ điển” để xếp hạng trang. Phương pháp HITS (Hyperlink-Induced Topic Search – KleinBerg) Ý tưởng: Độ quan trọng của một trang web được xác định dựa trên 2 trọng số authority và hub. Trang cĩ hub tốt là trang cĩ nhiều liên kết ra. Trang cĩ authority tốt 6
8. là trang cĩ nhiều liên kết tới. 2 trọng số này cĩ quan hệ qua lại với nhau: trang trỏ tới trang cĩ authority cao thì trọng số hub càng cao, trang nào được nhiều trang cĩ hub cao trỏ tới thì trọng số authority càng cao. Quá trình tính tốn: Từ câu truy vấn, xác định tập nhân, mở rộng thành tập cơ sở S gồm n trang. Ban đầu khởi tạo trọng số hub và authority cho mỗi trang bằng 1. ai=h i=1. Sau đĩ tiến hành tính a i và h i theo cơng thức ai= ∑ h j và hi= ∑ a j j∈ B( i ) j∈ N( i ) Ưu điểm: Áp dụng với tập nhỏ, tính tốn trực tuyến Minh họa áp dụng PageRank vào xếp hạng các blog ở Việt Nam Bài tốn: Blog ngày càng phát triển và trở nên phổ biến đối với mọi người. Xếp hạng các blogger để đánh giá sự “nổi tiếng”, “đĩng gĩp” của họ với cộng đồng, ưu tiên hiển thị các bài viết mới “chất lượng” của họ trên máy tìm kiếm blog. Nhận xét: Mạng blog là một loại của mạng xã hội. Chúng ta cĩ thể mơ hình hĩa bằng đồ thị G cĩ hướng. Mỗi đỉnh ứng với một blogger. Cung AB chỉ ra rằng blogger A cĩ lời bình - nhận xét cho bài viết của B, và được đánh trọng số là tổng số lời bình, nhận xét của A cho các bài viết của B. Khi đĩ dễ dang nhận thấy “liên kết thơng qua comment” giữa các blogger khá giống “liên kết” giữa các trang web. Vì thế chúng ta cĩ thể áp dụng PageRank sửa đổi để tính tốn phục vụ việc xếp hạng. Sự sửa đổi ở đây chính là ở trọng số lời bình - nhận xét. Cơng thức áp dụng tính hạng cho blogger i PR(i) = Trong đĩ: N là tổng số blogger, α là hệ số hãm (0.85), N j,i là số lời bình - nhận xét của j cho i, N j là số lời bình – nhận xét của j cho tất cả các blogger 2.2. Xếp hạng các thực thể trên web Các máy tìm kiếm hiện nay: Google, Yahoo hay Live Search đều tâp trung tìm kiếm dựa từ khĩa mà khơng quan tâm đến dữ liệu. Cụ thể hơn thì các máy tìm kiếm hiện nay cĩ 2 hạn chế chính: § Indirect Input and Output . Người dùng khơng thể miêu tả chính xác những gì họ cần do đĩ khi tìm kiếm người dùng cĩ thể tìm vào những trang web mà khơng cĩ thơng tin họ mong muốn. Tiếp đĩ, người dùng khơng thể trực tiếp lấy những gì họ muốn. Vì họ phải chọn lọc qua một danh sách các trang để tìm kết quả. § Singular Matching Mechanism . Máy tìm kiếm hiện nay tìm mỗi trang một cách rất đơn giản chỉ bằng cách so sánh văn bản (text) 7
9. trên từng trang. Mặc dù thực thể kết quả cĩ thể chứa trong nhiều trang khác nhau. Do đĩ, tìm kiếm thực thể được đưa ra để giải quyết các giới hạn trên: § Input: Người dùng cĩ thể đưa ra một cách rõ ràng loại dữ liệu nào mà họ đang tìm kiếm. Họ chỉ đơn giản chỉ rõ thực thể đích là gì và từ khĩa nào xuất hiện trong ngữ cảnh đĩ. Eg: o Q1: (amazon customer service #phone) o Q2: (#professor #university #research=’database’) o Q3 ow (sigmod 2006 #pdf_file #ppt_file) o Q4 (title=’hamlet’ #image #price) Cĩ 2 phần chính trong câu truy vấn: o Context pattern (Mẫu ngữ cảnh)– thực thể đích xuất hiện như thế nào? Q1: #phone sẽ xuất hiện trong các từ khĩa với pattern mặc định. Chúng ta cũng cĩ thể chỉ rõ ra các mẫu như Q3 sử dụng ow (order window)- từ khĩa phải xuất hiện trước #pdf_file #ppt_file. o Content restriction (Giới hạn về nội dung). Chúng ta cĩ thể giới hạn domain cho vùng tìm kiếm như Q2 chỉ nghiên cứu trong lĩnh vực database (sử dụng “=” hoặc “contain”) Output: Người dùng nhận được kết quả như họ mong đợi. Hình 2. Mơ hình chung của tìm kiếm thực thể 8
10. Xếp hạng thực thể là cốt lõi của máy tìm kiếm thực thể. Do đĩ, xếp hạng thực thể đang nhận được sự quan tâm nghiên cứu của các nhà khoa học. Các nhân tố chung ảnh hưởng đến việc xếp hạng: - R-Contextual: Xác suất (từ khĩa, thể hiện) sẽ khác nhau trong các ngữ cảnh khác nhau.Chúng phụ thuộc vào các yếu tố: o Pattern: Từ khĩa và các thể hiện sẽ cĩ một quan hệ thơng thường nhât định. Ví dụ: Tên cơng ty thường xuất hiện trước số điện thoại. o Proximity: (Từ khĩa và thể hiện) sẽ cĩ xác suất khơng giống nhau trong trang web. Sự kết hợp sẽ mạnh hơn khi chúng ở gần nhau hơn. Ví dụ hình trên hiển nhiên thể hiện e 1 sẽ là thích hợp hơn với từ khĩa Amazon so với thể hiện e 6 - R-Holistic: Một thể hiện cĩ thể xuất hiện cùng với từ khĩa nhiều lần trong một trang. Tất cả việc matchings sẽ được tổng hợp lại cho việc đánh giá xác suất sự thích hợp của chúng - R-Uncertainty: Việc trích chọn thực thể luơn luơn là khơng hồn hảo. Do đĩ luơn phải cĩ một xác suất cho chúng. - R-Associative: Chúng ta phải cẩn thận để phân biệt giữa việc kết hợp đúng (từ khĩa, thể hiện) và sự ngẫu nhiên. Do đĩ chúng ta cũng cần phải kiểm tra lại tính hợp lệ của các kết hợp R-Discriminative: Các thể hiện match trên trang phổ biến hơn sẽ được đánh giá cao hơn so với các thể hiện trên trang ít phổ biến hơn. Giả sử chúng ta cĩ tập tài liệu D = {d 1, d 2, ,d n} và câu truy vấn q(t). T là khoảng thời gian quan sát và nghiên cứu câu truy vấn q(t) trong tập tài liệu. Chúng ta cĩ cơng thức xác định xác suất tính độ phù hợp của q(t) trong D: Dựa vào Score(q(t)) chúng ta đưa ra xếp hạng cho kết quả trả về. Tao Cheng, Xifeng Yan, Kevin Chen-Chuan Chang [TXK07] đã đưa ra mơ hình Impression để xác định cơng thức (1) và đưa ra thuật tốn cho việc xác định xếp hạng thực thể 9
11. Hình 3. Một thuật tốn xếp hạng thực thể. 2.3. Khái quát về Webometrics Bắt đầu từ một mạng tài liệu tồn cầu phục vụ cho các mục đích học thuật, ngày nay Web đã trở thành một lĩnh vực nghiên cứu quan trọng của bibiometrics, scientometrics và infometrics. Biểu đồ 1: Mối quan hệ giữa các độ đo Webometrics và Cybermetrics hiện tại là hai thuật ngữ được sử dụng rộng rãi nhất trong trong lĩnh vực nghiên cứu khoa học thư viện và thơng tin (LIS). Mối quan hệ giữa chúng được thể thiện trên Biểu đồ 1 nhưng thường được sử dụng với nghĩa tương đương nhau. Cần phân biệt giữa nghiên cứu về Web và nghiên cứu về tất cả những ứng dụng Web. Theo đĩ, thuật ngữ “webometrics ” được định nghĩa bởi Bjưrneborn and Ingwersen [BI04] là “Nghiên cứu các thống kê định lượng của việc xây dựng và sử 10
12. dụng các tài nguyên thơng tin, cấu trúc và cơng nghệ trên Web trên cơ sở của phương pháp bibliometric và informetrics ” (nguyên văn tiếng Anh "The study of the quantitative aspects of the construction and use of information resources, structures and technologies on the Web drawing on bibliometric and informetric approaches"). Định nghĩa này vì vậy bao trùm tất các các thống kê định lượng cả về mặt xây dựng (construction side) và mặt sử dụng (usage side) của Web bao gồm 4 lĩnh vực chính của các nghiên cứu webometric hiện tại: (1) Phân tích nội dung trang Web; (2) Phân tích cấu trúc liên kết Web; (3) Phân tích sử dụng Web (bao gồm các file log các hành vi tìm kiếm và truy cập trang web của người sử dụng); (4) Phân tích cơng nghệ Web (bao gồm hiệu năng, hoạt động của các máy tìm kiếm). Định nghĩa trên đây đặt webometrics như là một thuật ngữ LIS đặc trưng song song với bibliometrics và informetrics [BI04]. Điều này được nhấn mạnh bởi cơng thức “ Web drawing on bibliometric and informetric approaches ” bởi “ drawing on ” chỉ rõ một sự kế thừa khơng giới hạn sự phát triển bất cứ một phương pháp Web đặc biệt nào, bao gồm sự hợp nhất các phương pháp nghiên cứu về Web trong khoa học máy tính, phân tích mạng xã hội (social netwwork analysis), nghiên cứu siêu văn bản, đa phương tiện và hơn thế nữa. Trong [BI04], hai ơng cũng đề xuất định nghĩa cho cybermetrics là một thuật ngữ dùng để chỉ: “ Nghiên cứu các thống kê định lượng của việc khởi tạo và sử dụng các tài nguyên, cấu trúc và cơng nghệ thơng tin trên tồn bộ Internet theo hướng tiếp cận bibliometric và informetric ” (nguyên văn tiếng Anh "The study of the quantitative aspects of the construction and use of information resources, structures and technologies on the whole Internet drawing on bibliometric and informetric approaches"). Theo [BI04, Payn08, Rous08], cybermetrics vì vậy bao gồm các phương pháp nghiên cứu thơng kê của một nhĩm thảo luận, danh sách địa chỉ email và các giao tiếp máy tính gián tiếp khác trên mạng bao gồm cả Web. Bên cạnh việc bao phủ tất cả các phương tiện giao tiếp gián tiếp khác sử dụng các ứng dụng Internet, định nghĩa này cũng bao trùm cả các đo lường định lượng đối với cơng nghệ đường truyền Internet (Internet backbone technology), topology, và lưu lượng. Các nghiên cứu [Ailr05, Ailr06, BI04, Rous08, Payn08] khẳng định rằng mức độ bao phủ của cybermetrics và webometrics chồng lên các phương pháp khoa học máy tính cơ sở với một sự gia tăng nhanh chĩng trong các phân tích nội dung Web, cấu trúc liên kết, sử dụng Web và cơng nghệ Web. Một loạt các phương pháp nổi lên trong giữa những năm 1990 như cyber geography và cyber cartography , Web ecology , Web mining , Web graph analysis , Web dynamics , và Web intelligence. Cĩ một vài khác biệt về mặt khái niệm trong informetrics , bilbiometrics và scientometrics . Theo định nghĩa được thừa nhận rộng rãi của, ví dụ, Brookes (1990), 11
13. Egghe và Rouseau (1990), Tague-Sutcliffe (1992), lĩnh vực informetrics bao trùm các lĩnh vực của bibliometrics và scientometrics Theo Tague-Sutcliffe, “ informetrics là nghiên cứu các thống kê định lượng của thơng tin ở bất cứ một dạng nào, khơng chỉ các bản ghi hay sách, và trong bất cứ một nhĩm xã hội nào, khơng chỉ nhĩm các nhà khoa học ” (nguyên văn tiếng Anh "the study of the quantitative aspects of information in any form, not just records or bibliographies, and in any social group, not just scientists"). Cịn bibliometrics được định nghĩa là “ nghiên cứu các thống kê định lượng về sự sản xuât, sự phổ biến và sử dụng các thơng tin đã được mã hĩa ” (nguyên văn tiếng Anh "the study of the quantitative aspects of the production, dissemination and use of recorded information"). Và, scientometrics là “nghiên cứu các thống kê định lượng của khoa học như là một ngành hay hoạt động kinh tế” (nguyên văn tiếng Anh "the study of the quantitative aspects of science as a discipline or economic activity") Theo các thống kê thuộc kinh tế - chính trị thì scientometrics và bibliometrics cĩ phần giao nhau như minh họa trên biểu đồ 1. Tuy nhiên, hiện nay, sau khi Pritchard và Nalimov, Mulchenko đưa ra các định nghĩa của mình về bibliometrics và sciencometrics, hai khái niệm này đã được dùng đồng nhất với một ý nghĩa là “ sử dụng các phương pháp tốn học và thống kê cho việc phân tích các dữ liệu khoa học bao gồm sách và các dữ liệu khác ” [Payn08, Rous08]. Biểu đồ 1 hơn nữa chỉ rõ, webometrics hồn tồn nằm trong bibliometrics, bởi vì các văn bản Web, cho dù là dạng văn bản hay đa phương tiện, đều là các thơng tin đã được mã hĩa (theo như định nghĩa) lưu trữ trên các Web server. Các bản ghi này cĩ thể chỉ lưu trữ tạm thời, chỉ đơn giản vì khơng phải tất cả các bản ghi được lưu trữ. Webometrics cĩ một phần giao với scientometrics, vì rất nhiều các hoạt động học thuật ngày nay diễn ra trên Web, trong khi đĩ, lại cĩ các hoạt động khác thậm chí vượt ra ngồi bibliometrics, ví dụ, những thứ khơng được ghi lại, chảng hạn các giao tiếp giữa người với người. Hơn nữa, webometrics hồn tồn nằm trong cybermetrics như theo định nghĩa. Trong biểu đồ 1, lĩnh vực cybermetrics nằm ngồi bibliometrics bởi vì một vài hoạt động trong vùng của cybermetrics thơng thường khơng được lưu trữ nhưng đúng hơn là được giao tiếp đồng thời, chẳng hạn trong phịng chat. Cybermetrics nghiên cứu các hoạc động mà nĩ vẫn nằm trong lĩnh vực thơng thưởng của infometrics như là sự nghiên cứu thống kê định lượng của thơng tin ở bất cứ dạng nào và bất cứ nhĩm xã hội nào. Một cách tự nhiên, ý tưởng lấy bibliometrics, scientometrics và informetrics là điểm bắt đầu của việc phân tích trên web đã mở rộng lĩnh vực bibliometrics. Trên cơ sở coi web như là một thư viện số, các cơng cụ và thủ thuật sử dụng trong phân tích 12
14. các cấu trúc tri thức trong thư viện giấy truyền thống được sử dụng trong mơi trường mới này. Các trang web được nhĩm thành các miền (domain) cĩ cùng thuộc tính cần khảo sát, mỗi một miền được coi như là một node của hệ thống mạng và sau đĩ, sử dụng các máy tìm kiếm phân tích các trích dẫn, liên kết (links) giữa các node rồi từ đĩ sử dụng các phương pháp xác suất thống kê để tạo nên các độ đo giữa các node domain này. Chính nhờ việc nhĩm thành các domain mà webometrics trở thành một phần quan trọng trong các bài tốn về tìm kiếm và xếp hạng các đối tượng trên web. Như vậy, webometrics là độ đo về hạng các đối tượng trên web mà trường đại học là một đối tượng trong đĩ. 3. Một số hệ thống xếp hạng trường đại học điển hình 3.1. Phương pháp chung Vấn đề xếp hạng khá đa dạng về cách tiếp cần nhưng đều cĩ một quy trình chung, gồm 4 bước: Ø Thu thập dữ liệu về các trường Ø Xác định và tiêu chuẩn hĩa các tiêu chí đánh giá Ø Phân tích và tính trọng số cho từng tiêu chí trên dữ liệu thu về Ø Tổng hợp và cơng bố bảng xếp hạng Tùy thuộc vào cách thực hiện các bước khác nhau mà ta cĩ các bảng xếp hạng khác nhau 3.1.1. Thu thập dữ liệu Cĩ nhiều phương pháp thu thập dữ liệu, trong đĩ cĩ 3 dạng chính: Thu thập dữ liệu theo phương pháp khảo sát, sử dụng các bảng hỏi (Bản tin thế giới và tin tức Hoa Kỳ - USNWR; Xếp hạng các trường đại học Canada – Maclean; Xếp hạng các trường đại học trên thế giới của AsiaWeek ). Thu thập dữ liệu từ tổ chức chính phủ hay tổ chức cĩ chức năng thích hợp (Xếp hạng trường đại học của Vương Quốc Anh). Thu thập dữ liệu từ các nguồn trên Internet (Xếp hạng webometrics). Hay thu thập dữ liệu kết hợp giữa khảo sát và số liệu quốc gia. 3.1.2. Xác định các tiêu chí đánh giá, tính điểm và đánh trọng số cho từng tiêu chí. Việc xác định, lựa chọn và đánh trọng số các tiêu chi đánh giá thể hiện quan điểm (phương pháp luận) của các bảng xếp hạng cũng như mục tiêu mà nĩ hướng tới. Cĩ những bảng xếp hạng sử nhiều chỉ số tập trung vào một phạm trù nào đĩ và cĩ những loại nhiều chỉ số dàn trải trên các phạm trù khác nhau . Các loại chỉ số thường được dùng nhiều nhất gồm cĩ 7 loại (phạm trù): 13
15. Ø Các đặc điểm bắt đầu (đại diện cho các đặc điểm, phẩm chất và năng lực của sinh viên khi họ bắt đầu nhập học) Ø Đầu vào của việc học – nguồn lực tài chính, cơ sở vật chấtvà nhân viên Ø Mơi trường học tập; Ø Sản phẩm của việc học tập (kỹ năng hoặc phẩm chất khác của sinh viên cĩ được sau khi tốt nghiệp) Ø Các kết quả cuối cùng (mục đích cuối cùng mà hệ thống giáo dục đĩng gĩp) Ø Nghiên cứu Ø Danh tiếng Chẳng hạn bảng xếp hạng các trường đại học nghiên cứu của Hoa Kì (ĐH Florida) cho rằng “khơng một chỉ số hay con số đơn lẻ nào cĩ thể mơ tả một cánh chính xác một trường đại học đã đạt được những gì, cĩ thê làm gì và sẽ làm gì” mà cần cĩ “một tập các chỉ số gơp chung lại cĩ thể phản ánh rõ nét nhất những kết quả, năng lực và điểm mạnh của trường”. Họ cho rằng, nghiên cứu là yếu tố quan trọng nhất để chứng minh đại học nào là đại học tốt nhất và họ đã lựa chọn các chỉ số liên quan tới nghiên cứu khoa học như tổng chi cho nghiên cứu và phát triển khoa học, tổng kinh phí từ chính phủ liên bang cho các đề tài nghiên cứu, các giảng viên (số lượng viện sỹ, tiến sĩ, giáo sư ), sinh viên, và thêm một vài chỉ số khác cho các nguồn lực khác hay bảng xếp hạng Iberoamericano – Tồn bộ các nước thuộc Tây Ban Nha và Bồ Đào Nha chỉ sử dụng một trọng số duy nhất: nghiên cứu. Cũng cĩ những bảng xếp hạng quan tâm tới yếu tố đầu vào như các đặc điểm bắt đầu; đầu vào của việc học: nhân viên, nguồn lực (như các bảng xếp hạng của Hoa Kỳ, Anh Quốc, bảng xếp hạng của đại học Ukranian, La repubblica, Rzezcspospolita, Exellencia, the Times, Maclean’s, .) Trong khi đĩ các bảng xếp hạng quan tâm nhiều tới đĩng gĩp cho lĩnh vực nghiên cứu (bảng xếp hạng của ĐH Giao thơng Thượng Hải dành tới 90% cho lĩnh vực nghiên cứu với các trọng số cĩ được từ việc đếm các trích dẫn trong hệ đo sách và dành rất ít trọng số cho các nguồn lực đầu vào). Cĩ những bảng xếp hạng quan tâm tới danh tiếng của trường xếp hạng, coi đĩ là một trọng số quan trọng (chẳng hạnTHES dành 50% trọng số cho điều này) trong khi đĩ các bảng xếp hạng ở Anh lại tránh sử dụng chỉ số này. Nếu chỉ số này thường ít được sử dụng, nhưng nếu được dùng thì lại cĩ trọng số rất cao Cĩ những bảng lại quan tâm tuyệt đối tới yếu tố đầu ra như bảng xếp hạng của Chile dành 100% cho chỉ số các kết quả cuối cùng Cĩ những bảng dành mối quan tâm đặc biệt tới mơi trường học tập (như bảng xếp hạng của Hà Lan hay của Viện Khoa học Quản lý Quảng Đơng) 14
16. Tuy cĩ nhiều điểm khác biệt, nhưng cĩ một chỉ số luơn được đánh giá cao tại hầu hết trong tất cả các bảng đĩ là chỉ số về thực hiện nghiên cứu và kết quả nghiên cứu (trung bình chiếm trong số > 1/3 trên tổng số) 3.1.3. Tổng hợp và cơng bố kết quả Việc tổng hợp và cơng bố các bảng xếp hạng cũng diễn ra với nhiều hình thức khác nhau, trong đĩ, cĩ 2 hình thức chính: Ø Dữ liệu được tổng hợp và trình bày dưới dạng một chỉ số duy nhất. Kết quả của nĩ là một sự sắp xếp thứ tự từ cao xuống thấp cho các trường đại học, xuất hiện các trường đại học hàng đầu (top) Ø Sử dụng sự tương tác trên trang web, cho phép người dùng xếp hạng các trường đại học dựa trên sự lựa chọn các chỉ số của chính mình. Kết quả là khơng cĩ trường đại học “tốt nhất”, chỉ cĩ kết quả của các chỉ số được trình bày© 3.2. Các hệ thống xếp hạng quốc gia 3.2.1. Mỹ - US News and World Report (USNWR) Hệ thống xếp hạng các trường đại học ở Mỹ được nhắc đến nhiều nhất là ấn phẩm tờ thời báo Tin Tức nước Mỹ và thế giới (US News and World Report – USNWR). Xuất hiện lần đầu tiên năm 1983 tại Mỹ, thơng tin xếp hạng thường niên của tờ báo này là một nguồn tham khảo quan trọng khơng chỉ dành riêng cho người học mà cịn cho cả các giới hàn lâm, cũng như quản lý các trường đại học. Việc xếp hạng được phân theo các ngành học – Kinh doanh, Luật, Y, Giáo dục, Kỹ thuật, Thư viện học, và các chương trình đào tạo Tiến sĩ. Các chỉ tiêu (indicators) được USNWR sử dụng để xếp hạng bao gồm 6 loại chính là danh tiếng học thuật , chọn lọc sinh viên , nguồn lực đội ngũ , nguồn lực tài chính , tỷ lệ tốt nghiệp , và sự hài lịng của cựu sinh viên . Việc “chấm điểm” của hệ thống USNWR chủ yếu dựa trên hai nguồn thơng tin chính: ý kiến của các học sinh tốt nghiệp trung học, những người thường đã cân nhắc rất nhiều trước khi quyết định chọn học tại một trường cụ thể nào đĩ, và ý kiến đánh giá của các nhà quản lý các trường đại học khác (khơng phải là trường được xếp hạng). US News and World Report khẳng định rằng: mục đích của họ là giúp cho sinh viên và phụ huynh xác định trường nào là phù hợp với họ về mặt học thuật, xã hội và tài chính. 3.2.2. Anh - Times Higher Education Supplement (THES) Hệ thống xếp hạng trường đại học phổ biến nhất ở Anh được thực hiện bởi báo Times qua ấn phẩm phụ trương giáo dục đại học (Times Higher Education Supplement – THES) bắt đầu năm 2001. HES sử dụng các nguồn dữ liệu được cơng bố chính thức để thực hiện việc xếp hạng bao gồm: 15
17. * Cơ quan thống kê giáo dục đại học (Higher Education Statistics Agency) * Hội đồng Ngân sách giáo dục đại học (Higher Education Funding Council) * Cơ quan Đảm bảo chất lượng (Quality Assurance Agency) * Cục Tiêu chuẩn giáo dục (Office for Standards in Education) * Kết quả khảo sát riêng đối với một số trường đại học Những tiêu chí được THES sử dụng để xếp hạng trường đại học bao gồm 10 loại như sau: điểm thi đầu vào , tỷ lệ giảng viên và sinh viên , dịch vụ nhà ở cho sinh viên , tỷ lệ tốt nghiệp, số lượng sinh viên đạt điểm A , giá trị tăng thêm của nhà trường , chi tiêu cho thư viện, số lượng sinh viên sau đại học, và việc làm của sinh viên sau khi ra trường. So với các chỉ tiêu của USNWR , cĩ thể thấy THES chú trọng nhiều hơn đến quá trình đào tạo của nhà trường, và vì vậy cĩ thể là một nguồn tham khảo đầy đủ hơn cho người học so với hệ thống của USNWR . 3.2.3. Australia - Good Universities Giude (GUG) Cẩm nang các trường đại học đạt chất lượng ( Good Universities Guide - GUG ) do tờ nhật báo The Australian thực hiện là hệ thống xếp hạng phổ biến được biết đến ở Austrailia. GUG sử dụng các thơng tin chính thức từ 5 nguồn cung cấp sau đây: * Bộ Giáo dục, Khoa học và Đào tạo (Department of Education, Science and Training) * Ấn phẩm “Nghề nghiệp của sinh viên tốt nghiệp” (Graduate Careers Australia) * Trung tâm tuyển sinh đại học ở từng tiểu bang (tertiary admissions centres in each state) * Các bộ dữ liệu quốc gia khác * Kết quả khảo sát riêng với các trường đại học Các chỉ tiêu được GUG sử dụng để xếp hạng gồm 16 loại, trong đĩ cĩ uy thế và vị trí của nhà trường , các hoạt động hợp tác quốc tế, giảng dạy và các khĩa học, việc làm sau tốt nghiệp, và đặc điểm của sinh viên. Những chỉ tiêu này cũng phản ánh quan điểm chú trọng đến người học và quá trình học tập tại nhà trường hơn hệ thống xếp hạng của USNWR . 3.2.4. Canada - Macleans Raking Một sản phẩm khác của giới truyền thơng là việc xếp hạng các trường do tạp chí phổ thơng của Canada mang tên Macleans thực hiện. Kết quả xếp hạng do Macleans thực hiện được cơng bố lần đầu tiên vào năm 1991. Macleans thu thập 22 chỉ tiêu về chất lượng trường đại học bằng cách gửi các phiếu hỏi đến các trường đề nghị cung cấp thơng tin. Các chỉ tiêu dùng để xếp hạng gồm cĩ sinh viên , lớp học, giảng viên , tài chính , thư viện, và danh tiếng của nhà trường . Những chỉ tiêu này cho 16
18. thấy ảnh hưởng khá lớn của USNWR đối với Macleans, hay cĩ thể nĩi cách khác là phản ánh khuynh hướng xếp hạng trường đại học của các nước Bắc Mỹ (Mỹ và Canada) so với các nước Anh và Australia. 3.3. Các hệ thống xếp hạng quốc tế 3.3.1. Hệ thống xếp hạng học thuật các trường đại học trên thế giới của trường đại học Giao Thơng Thượng Hải (Shanghai Jiao Tong University – SJTU) Theo N.C. Liu, and Y. Cheng [LC06], SJTU sử dụng 4 tiêu chí cho việc xếp hạng bao gồm chất lượng cựu sinh viên (tính bằng số lượng cựu sinh viên đoạt các giải thưởng và huy chương đặc biệt như giải Nobel), chất lượng giảng viên (tính theo cùng phương pháp đo lường chất lượng cựu sinh viên), kết quả nghiên cứu (tính bằng số bài báo đăng trên các tạp chí khoa học), tầm cỡ của nhà trường (tính bằng kết quả hoạt động so với quy mơ của nhà trường). Tham số Tiêu chí Trọng số Chất lượng giáo Số lượng cựu sinh viên đoạt các giải thưởng Nobel 10% dục và Fields Số các nhà nghiên cứu giành giải Nobel từ 1911 20 % Chất lượng giảng đến 2007 viên Số các nhà nghiên cứu cĩ nhiều trích dẫn trong các ngành khoa học tự nhiên và xã hội 20% Số các bài báo được cơng bố tại Nature and 20% Kết quả nghiên Science từ 2003 – 2007 cứu Số các bài báo được liệt kê trong Thomson Scientific’s Science Citation Index Expanded 20% Tầm cỡ nhà Điểm trọng số của 2 tiêu chí trên chia cho số giảng 10% trường viên biên chế Bảng 1.Các tiêu chí và trọng số trong xếp hạng của SJTU Với các chỉ tiêu vừa nêu, cĩ thể thấy rõ đây là một hệ thống xếp hạng nghiêng về đại học nghiên cứu, chú trọng các thành tích nghiên cứu của cựu sinh viên và giảng viên của nhà trường nhưng khơng quan tâm đến các yếu tố khác như sự hài lịng của sinh viên, hoặc chương trình giáo dục. Đây là một đặc điểm thường xuyên bị chỉ trích của ARWU , vì như đã nêu ở phần mở đầu, nhiệm vụ của một trường đại học trước hết là cung cấp các chương trình giảng dạy cho người học. 17
19. Mặc dù vẫn cịn những nhược điểm, bảng xếp hạng ARWU của SJTU vẫn là một trong những hệ thống xếp hạng trường đại học cĩ tầm ảnh hưởng lớn đến cơng chúng cũng như những nhà lãnh đạo các quốc gia cũng như các nhà quản lý các trường đại học, và kết quả xếp hạng ARWU hàng năm vẫn được các đối tượng cĩ liên quan nĩng lịng chờ đợi Xếp hạng Tên trường Quốc gia 1 Harvard University Americas 2 Stanford University Americas 3 University California – Berkeley Americas 4 Cambridge University Europe 5 Massachusetts Institution Technology Americas Bảng 2. Bảng xếp hạng 5 trường hàng đầu theo TJTU (2008) 3.3.2. Hệ thống xếp hạng các trường đại học quốc tế của Times Higher Education Supplemen (THES) Các chỉ tiêu được THES sử dụng cho việc xếp hạng bao gồm 5 loại: kết quả khảo sát đồng nghiệp (các giảng viên, nhà khoa học) (40%), đánh giá của nhà tuyển dụng (10%), sự hiện diện của giảng viên/ nhà khoa học quốc tế (5%), s ự hiện diện của sinh viên quốc tế (5%), tỷ lệ giảng viên trên sinh viên (20%), và tỷ lệ bài báo khoa học trên giảng viên (20%). So với ARWU vốn rất chú trọng đến các yếu tố bên ngồi trường đại học (các bài báo, các cơng trình nghiên cứu, các giải thưởng, vv) THES chú trọng nhiều hơn đến chính cộng đồng giảng viên và sinh viên và vì vậy được xem là một hệ thống bổ sung rất tốt cho ARWU 18
20. Xếp hạng Tên trường Quốc gia 1 Harvard University Americas 2 Yale University Americas 3 Cambridge University Europe 4 Oxford University Europe 5 California Institution of Technology Americas Bảng 3. Bảng xếp hạng 5 trường hàng đầu theo THES (2008) 4. Hệ thống xếp hạng trường đại học dựa trên độ đo Web 4.1. Giới thiệu Năm 2004, “Webometrics Ranking of World Universities”, một sáng kiến của phịng thí nghiệm Cybermetrics, một trung tâm nghiên cứu thuộc Consejo Superior de Investigaciones Científicas (CSIC) (Tây Ban Nha) đã cung cấp các thơng tin về hơn 4000 trường đại học trên tồn thế giới được xếp hạng theo thứ tự các chỉ số Web. Từ năm 2006, bảng xếp hạng được cập nhật và cơng bố trên trang web vào tháng 1 và tháng 7 hàng năm. Mục tiêu ban đầu của việc xếp hạng là khuyến khích việc xuất bản trên Web chứ khơng phải là việc xếp hạng các học viện, trường đại học. Sáng kiến hỗ trợ truy cập mở, cho phép truy cập điện tử tới các cơng bố khoa học và các tài nguyên học thuật khác là mục tiêu ban đầu. Tuy nhiên, các chỉ số web rất hữu dụng trong mục đích xếp hạng vì chúng khơng biểu diễn dựa trên số lần truy cập hay kiểu thiết kế của trang web mà dựa trên các kết quả tổng thể và khả năng nhận diện của một trường đại học. Các bảng xếp hạng khác, tập trung chủ yếu vào một vài các lĩnh vực cĩ liên quan, đặc biệt là các kết quả nghiên cứu, thì các nhân tố web (web indicators) là cơ sở của các xếp hạng sẽ phản ánh tốt hơn bức tranh tồn cảnh của một trường đại học, bởi rất nhiều các hoạt động của các giáo sư và những nhà nghiên cứu được chỉ ra bởi sự hiện diện trên web của họ. Web khơng chỉ bao trùm các trao đổi học thuật chính thức (formal) (như báo điện tử, tạp chí) mà cịn chứa đựng các trao đổi khơng chính thức nữa. Hơn nữa, việc xuất bản Web thì rẻ hơn, giúp cho việc duy trì một chuẩn cao chất lượng các hoạt động phê bình. Ngồi ra, các xuất bản web cĩ thể tiếp cận tới nhiều độc giả tiềm năng, cung cấp khả năng truy cập các tri thức khoa học cho các nhà nghiên cứu, các cơ sở giáo dục ở các nước đang phát triển hay các bên thứ ba (về kinh tế, cơng nghiệp, chính trị, văn hĩa ). 19
21. Xếp hạng Webometrics cĩ độ bao phủ trung bình lớn hơn các bảng xếp hạng khác cùng loại. Việc xếp hạng khơng chỉ tập trung vào các kết quả nghiên cứu mà cịn ở các lĩnh vực khác phản ánh chất lượng tổng thể của một trường, hay học viện tốt hơn. Tiêu chí Webometrics ARWU (Shanghai) THES (Times/QS) Số trường được đưa 13,000 2,000 520+ vào phân tích Số trường thực sự 4,000 500 200 (520) được xếp hạng Bảng 4: So sánh về độ bao phủ của Webometrics với ARWU và THES Mục tiêu chính của bảng xếp hạng dựa trên độ đo web là khuyến khích các trường – học viện cĩ một “biểu diễn web” phản ánh tương đối đầy đủ và chính xác hoạt động của mình. Nếu kết quả biểu diễn web của một trường – học viện nằm dưới vị trí được mong đợi về chất lượng thì các nhà quản lý của đơn vị đĩ nên quan tâm tới chính sách của họ về “biểu diễn web” của trường mình nhằm tăng số lượng và chất lượng các xuất bản điện tử. 4.2. Phương pháp luận Xếp hạng Webometrics sử dụng các dữ liệu thu thập trên web và dựa vào 4 chỉ số (độ đo) để xếp hạng: • S - (Size - kích cỡ trang web):Số lượng các trang web xuất hiện dưới cùng một tên miền (domain) trên 4 cơng cụ tìm kiếm: Google, Yahoo, Live Search, Exalead • V - (Visibility - Khả năng nhận diện): Số các đường dẫn từ bên ngồi liên kết đến các kết nối bên trong trên một tên miền được xác định dựa trên 3 máy tìm kiếm: Yahoo, Live Search, Exalead. • R - (Rich file): Số lượng các loại file Microsoft Word (doc), Adobe Acrobat (pdf), Microsoft Powerpoint (ppt), Adobe PostScript (ps) được xác định dựa trên máy tìm kiếm Google. • Sc (Scholar - Các cơng bố nghiên cứu trên mạng): Số lượng các bài báo khoa học, cùng các trích dẫn trên một tên miền trường qua cơng cụ Google Scholar. Xếp hạng dựa trên độ đo web cĩ mối tương quan rất tốt đối với chất lượng giáo dục và uy tín của trường 4.2.1. Thu thập dữ liệu 20
22. Đơn vị cho việc phân tích là các domain của các trường hoặc học viện. Vì vậy, chỉ cĩ các trường đại học, học viện và các trung tâm nghiên cứu với một web domain độc lập mới được xếp hạng. Nếu một đơn vị cĩ nhiều hơn một tên miền chính, hai hoạc nhiều entries này sẽ được sử dụng như là các địa chỉ độc lập. Sử dụng các máy tìm kiếm là phương tiện trung gian chính khi tra cứu. Sự hiện diện của một tên miền trong cơ sở dữ liệu của chúng là một chỉ số về khả năng nhận diện. Do bản thân các máy tìm kiếm cũng cĩ các hạn chế như khơng nhất quán, các số liệu bị làm trịn, thiên lệch về địa lý và phạm vi ngơn ngữ, cĩ thay đổi thường xuyên và khơng rõ ràng trong quy trình làm việc nên phải dùng phối hợp sử dụng một số cơng cụ tìm kiếm. Trong đĩ, yêu cầu đối với máy tìm kiếm là: cơng cụ tìm kiếm độc lập, cĩ cơ sở dữ liệu lớn nên sử dụng 4 máy tìm kiếm: Google (và Google Sholar), Yahoo Search, Live (khơng phải là Academic Live), Exalead và Alexa. 4.2.2. Chuẩn hĩa chỉ số và xác định trọng số cho các chỉ số Đầu tiên là chuẩn hĩa các số liệu thu về từ máy tìm kiếm theo cơng thức sau: log (n a+1) Na= log (max(n i)+1) Trong đĩ: N: search engine (Google, Yahoo, Live, Exalead) a : web domain Sau đĩ đi xác định các chỉ số Size (S): Sa= ½ * ((G a + Y a + L a +E a) – max (G a,Y a,L a,E a) - min (G a,Y a,L a,E a)) Rich File: Ra= PDF a + DOC a + PPT a + Ps a Xác định trọng số cho các chỉ số như sau Chỉ số Trọng số Kích thước - S 25% Khả năng nhìn thấy được - V 50% Độ phong phú tài liệu - R 12.5% Các cơng bố nghiên cứu - Sc 12.5% Kết quả xếp hạng được xác định như sau: Ra à Rank(R) Sa à Rank(S) Va à Rank(V) Sc a à Rank(Sc) 21
23. è Rank(vị trí) = 4 * V + 2 * S + 1 * R + 1 * Sc Kết quả xếp hạng được Webometrics cơng bố vào tháng 1 và tháng 7 hàng năm Ví Tên trường Quốc gia Size Visibility Rich files Scholar trí Massachusetts Institute 1 Mỹ 1 3 2 6 of Technology 2 Stanford University Mỹ 2 2 3 12 3 Harvard University Mỹ 3 1 17 1 University of California 4 Mỹ 6 4 5 24 Berkeley 5 Cornell University Mỹ 4 5 8 37 University of Texas 6 Mỹ 10 6 15 22 Austin California Institute of 7 Mỹ 8 8 21 17 Technology California Institute of 8 Mỹ 3 16 4 19 Technology University of Illinois 9 Mỹ 14 10 6 38 Urbana Champaign University of Texas 10 Mỹ 11 9 10 45 Austin Bảng 5: Bảng xếp hạng 10 trường hàng đầu thế giới theo Webometrics 5. Mơ hình thực nghiệm phương pháp dựa độ đo web trong xếp hạng các trường đại học Việt Nam Qua nghiên cứu phương pháp xếp hạng trường đại học thơng qua độ đo web, chúng tơi nhận thấy hồn tồn cĩ thể áp dụng phương pháp này với các trường đại học Việt Nam. Mơ hình chung của phương pháp được xác định như sau: Tập các câu truy vấn MÁY TÌM KIẾM Các chỉ số 22
24. Hình 4. Mơ hình thực nghiệm chung Chúng tơi thực hiện thực nghiệm với danh sách 100 trường đại học Việt Nam.cùng với 5 trường trong khu vực để so sánh. Danh sách các trường đại học Việt Nam cùng website được thống kê từ trang web chính thức của Bộ Giáo dục và Đào tạo (cĩ bổ sung – Phụ lục 1). Sau đây chúng tơi xin trình bày chi tiết áp dụng phương pháp trên vào bài tốn xếp hạng trường đại học Việt Nam. 5.1. Xác định các chỉ số 5.1.1. Chỉ số nhận diện (V – Visibility) Chỉ số đại diện cho khía cạnh ảnh hưởng giáo dục và sự nổi tiếng của trường đại học. Ý tưởng chung cùa việc xác định chỉ số về khả năng nhìn thấy được dựa trên đồ thị web với các link liên kết giữa các nút của đồ thị. Cĩ hai phương pháp tiếp cận cho việc thực thi ý tưởng trên áp dụng tại Việt Nam. * Phương pháp tiếp cận thứ nhất Xây dựng đồ thị web của các trường đại học Việt Nam. Trong đĩ các nút của đồ thị là các website của các trường. Các link liên kết giữa các nút được xác định như sau: Nút A link đến nút B nếu như cĩ link liên kết từ trang web của trường A chỉ đến trang web của trường B A B Kết quả của việc xác định trên cho ta một đồ thị tồn cảnh liên kết giữa các trường đại học A B C E F D Hình 5. Đồ thị web các trường đại học Sau khi xây dựng đồ thị web các trường đại học, chúng ta xác định xác link liên kết đến (inlink) của từng trường ví dụ: inlink(A) = 0, inlink(B)=2, inlink(C)=1 .Từ đĩ xác định chỉ số V 23
25. Trong mơi trường giáo dục tại Việt Nam, qua khảo sát thực tế cĩ thể dễ dàng nhận ra rằng: Việc liên kết giữa các trường đại học cịn yếu, do đĩ các link liên kết đến nhau cũng khơng nhiều. Hơn nữa, phương pháp tiếp cận thứ nhất bỏ qua sự ảnh hưởng của các yếu tố bên ngồi: các trường đại học nước ngồi, các tổ chức giáo dục, các tổ chức xã hội . Vì vậy, chỉ số V xác định theo phương pháp này là khơng thực sự hiệu quả như mong đợi. * Phương pháp tiếp cận thứ hai Ý tưởng cơ bản của phương pháp này dựa trên đồ thị web đã được xây dựng trên các máy tìm kiếm: Google, Yahoo, Alta vista để xác định inlink đến các trang web trong đĩ cĩ các trang web của các trường đại học Câu truy vấn Máy tìm kiếm Inlinks Hình 6. Sử dụng máy tìm kiếm để xác định liên kết đến (inlinks) Chúng tơi đưa ra tập các câu truy vấn thích hợp, cho qua máy tìm kiếm để xác định số lượng các liên kết đến. Dễ dàng nhận thấy ưu thế của phương pháp thứ 2: Đưa ra được ảnh hưởng của các trường đại học với nhau, các trường đại học trong nước và ngồi nước, các tổ chức giáo dục, các tổ chức xã hội trên cơ sở đồ thị web đã được xây dựng bởi máy tìm kiếm. Tuy nhiên vấn đề đặt ra cho phương pháp thứ 2 đĩ là việc xác định câu truy vấn như thế nào cho thích hợp với các máy tìm kiếm khác nhau, và việc chọn lựa máy tìm kiếm nào cũng là một vấn đề cần xem xét kỹ lưỡng. Hiện tại, Google, Yahoo, Alta vista là các máy tìm kiếm phổ biến nhất hiện nay, vì vậy chúng ta hồn tồn cĩ thể chọn lựa các máy tìm kiếm trên để sử dụng trong phương pháp này. Với mỗi máy tìm kiếm chúng ta xác định các tập câu truy vấn riêng Việc đưa ra cách giải quyết cho vấn đề trên là hồn tồn cĩ thể chấp nhận được. Tuy nhiên một vấn đề khác cũng được đưa ra: Trường đại học A cĩ 100 website liên kết đến trong đĩ cĩ 70 website nĩi về giáo dục, 30 website nĩi về các lĩnh vực khác, hoặc các báo tin tức. Trường đại học B cĩ 100 website liên kết đến: 50 website nĩi về giáo dục, 50 nĩi về các lĩnh vực khác. Như vậy cĩ thể đánh giá theo khía cạnh giáo 24
26. dục thì trường A phải cĩ chỉ số V cao hơn trường B. Giải quyết vấn đề này như thế nào? Qua nghiên cứu tham khảo và phân tích thì các trường được nhiều website thuộc lĩnh vực giáo dục liên kết đến sẽ được đánh giá cao hơn. Do đĩ, chúng tơi đưa ra mơ hình cải tiến cho phương pháp thứ hai như sau: Câu truy vấn Máy tìm kiếm Phân lớp Các lĩnh vực khác Lĩnh vực GD Tổ hợp Inlinks Hình 7. Mơ hình mở rộng phương pháp 2 § Phương pháp thực hiện Hiện tại, chúng tơi xác định chỉ số V theo phương pháp thứ 2 áp dụng với 2 máy tìm kiếm: Yahoo và Alta vista. Kết quả lấy về sẽ chấp nhận với việc các trang từ chính domain đĩ trỏ tới A Yahoo link:vnu.edu.vn OR link:www.vnu.edu.vn AltaVista linkdomain:www.vnu.edu.vn OR linkdomain:vnu.edu.vn Bảng 6: Các câu truy vấn trong xác định chỉ số V 25
27. Chỉ số V được xác định V = 1/2 (V_yahoo | V_altavista) 5.1.2. Chỉ số kích thước (Size – S) Chỉ số đại diện cho kích cỡ website của trường đại học. Mơ hình chung để xác định chỉ số S cũng tương tự việc xác định chỉ số V dựa trên ý tưởng tận dụng khả năng của máy tìm kiếm (Hình 1) . Trong đĩ, chúng ta đi xác định một tập các câu truy vấn cho từng máy tìm kiếm: Google, Yahoo, Alta vista. Ví dụ Google: site:vnu.edu.vn, Yahoo: site: vnu.edu.vn Chúng ta nhận kết quả từ máy tìm kiếm trả về để đưa ra giá trị cuối cùng cho chỉ số S. S = 1/3 (S_google + S_yahoo + S_altavista) Yahoo site:vnu.edu.vn OR site:www.vnu.edu.vn Google site:vnu.edu.vn OR site:www.vnu.edu.vn Alta vista domain:vnu.edu.vn OR domain:www.vnu.edu.vn Bảng 7. Các câu truy vấn xác định chỉ số S 5.1.3. Chỉ số phong phú tài liệu (Rich files - R) Chỉ số đại diện cho kết quả nghiên cứu, tài liệu học tập được các trường cơng bố trên internet.Chỉ số được xác định dựa trên máy tìm kiếm Google. Trong đĩ các kiểu file được đưa ra là: Microsoft Word (.doc), Microsoft Power Point (.ppt), Adobe Acrobat (.pdf). Mơ hình xác định chỉ số R dựa theo hình 1. Với các câu truy vấn (bảng 3) ví dụ: filetype:.doc + site:vnu.edu.vn. Chỉ số R sẽ là tổng kết quả của từng loại file mà máy tìm kiếm Google trả về R = DOC + PPT + PDF filetype:doc + (site:vnu.edu.vn OR site:www.vnu.edu.vn) Google filetype:pdf + (site:vnu.edu.vn OR site:www.vnu.edu.vn) filetype:ppt + (site:vnu.edu.vn OR site:www.vnu.edu.vn) Bảng 8: Câu truy vấn xác định chỉ số R 5.1.4. Chỉ số bài báo khoa học (Scholar – Sc) Chỉ số này cùng với chỉ số R đại diện cho kết quả nghiên cứu của từng trường. Chỉ số Sc được xác định dựa trên Google Scholar. Do khơng cĩ khả năng lấy về chính xác chỉ số Sc từ cơ sở dữ liệu của Google Scholar, vì vậy chúng tơi dựa vào cùng tập câu truy vấn thích hợp để lấy kết quả trả về. 26
28. 5.2. Xác định trọng số cho các chỉ số Các chỉ số sẽ được tổ hợp lại theo các trọng số khác nhau để đưa ra kết quả cuối cùng cho việc xếp hạng Chỉ số Trọng số Kích thước S 25% Khả năng nhìn thấy được V 50% Độ phong phú tài liệu R 12.5% Các cơng bố nghiên cứu Sc 12.5% Bảng 9: Trọng số cho các chỉ số S, V, R, Sc Xác định chỉ số Ra = DOC a + PDF a + PTT a Sa = 1/3 (G a + Y a + A a) Va = 1/2 (Y a + A a) Sc a Xếp hạng: Ra à Rank(R) Sa à Rank(S) Va à Rank(V) Sc a à Rank(Sc) è Rank(vị trí) = 4 * V + 2 * S + 1 * R + 1 * Sc 27
29. 6. Bảng xếp hạng - Phân tích đánh giá Xếp Chỉ số Chỉ số Chỉ số Tổng Tên trường Chỉ số S hạng R V Sa hợp 1 Mahidol University Thailand 4 2 1 3 17 Nanyang Technological 2 5 3 2 1 22 University, Singapore 3 Thammasat University Thailand 2 4 3 5 25 Chulalongkorn University 4 1 1 5 2 25 Thailand 5 Trường ĐH Cần Thơ 8 5 4 6 43 6 ĐH Quốc Gia Hà Nội 9 14 9 4 72 Trường Đại học Bách khoa Hà 7 7 26 6 13 77 nội 8 Trường ĐH Bách khoa TP HCM 3 10 13 21 89 Trường Đại học Cơng Nghệ 9 17 9 14 12 111 (QGHN) Trường ĐH KH Tự Nhiên TP 10 10 6 19 15 117 HCM Trường Đại học Nơng Lâm TP 11 15 12 15 16 118 HCM 12 Trường ĐH Y Tế Cơng Cộng 29 21 7 22 129 Bina Nusantara University, 13 25 33 8 24 139 Indonesia 14 Assumption University Thailand 14 7 25 14 149 15 ĐH Quốc Gia TPHCM 31 38 12 8 156 16 Trường ĐH Sư phạm Hà Nội 6 29 23 27 160 17 Đại Học Huế 21 36 21 7 169 Trường ĐH Giao thơng vận tải 18 19 47 11 51 180 TP Hồ Chí Minh 19 Trường ĐH Kinh tế TP HCM 11 8 26 54 188 Trường ĐH Kỹ Thuật Cơng 20 28 11 20 45 192 Nghệ TPHCM 21 Trường ĐH An Giang 16 16 31 28 200 22 Trường ĐH DL Thăng Long 13 70 17 41 204 23 ĐH Đà Nẵng 22 25 27 32 209 24 Trường ĐH Thuỷ Lợi Hà Nội 20 23 34 20 219 25 Trường ĐH Giao thơng vận tải 12 19 33 45 220 Trường ĐH KHXH Và Nhân 26 45 17 22 26 221 Văn TP HCM Trường ĐH Ngoại Thương Hà 27 35 60 16 30 224 Nội 28 Trường ĐH Y Hà Nội 61 53 10 9 224 Trường ĐH Bách Khoa Đà 29 24 39 30 49 256 Nẵng 30 Trường Học Viện Tài Chính 33 50 24 51 263 Bảng 10. Bảng xếp hạng các trường đại học Việt Nam Phịng thí nghiệm Cybermetrics cũng xếp hạng các trường đại học Việt Nam dựa trên các tiêu chí đã xếp hạng các trường quốc tế. Năm 2008 Cybermetrics xếp hạng 71 trường đại học Việt Nam, trong đĩ cĩ 7 trường được xếp hạng top 100 trong khu vực. Tuy nhiên cĩ nhiều mơ hồ hặc nhầm lẫn về tên tiếng Anh của trường được 28
30. xếp hạng. Ví dụ như Ho Chi Minh City University of Technology. Điều này dẫn đến 2 cách hiểu khác nhau: người thì khẳng định đây là ĐH Bách khoa thuộc ĐHQG-HCM, nhưng cũng cĩ những người cả quyết rằng đĩ là ĐH Dân lập Kỹ thuật và Cơng nghệ TP Hồ Chí Minh vì tên tiếng Anh trên trang web của trường này chính là Ho Chi Minh City University of Technology. Dưới đây là bảng các trường hàng đầu Việt Nam và một số trường trong khu vực được Webometrics xếp hạng Xếp RICH Tên trường SIZE VISIBILITY SCHOLAR hạng FILES 442 Nanyang Technological University, Singapore 518 508 587 463 548 Mahidol University Thailand 437 681 1008 407 675 Thammasat University Thailand 609 808 916 818 1522 Ho Chi Minh City University of Technology 773 2230 1486 1813 Ho Chi Minh City University of Natural 1596 Sciences 1957 1576 1546 3006 1698 Can Tho University 1164 2582 1413 1717 1732 Vietnam National University, Hanoi 1146 1680 2336 4022 2421 Hanoi University of Technology 2850 1585 5514 4251 Posts and Telecommunications Institute of 2997 Technology 1297 477 10360 9238 3088 Ho Chi Minh City University of Economics 2101 3500 2944 6161 3413 Hanoi School of Public Health 3710 3491 3799 5420 3430 National University of Education 775 3769 4330 7014 3541 Ho Chi Minh City Vietnam National University 3808 2275 6088 8014 3709 Water Resources University 1898 4352 4264 6531 3864 Nong Lam University 2661 5575 3830 2775 3921 University of Da Nang 2703 3811 4815 8014 4279 Hue University 3779 3629 4908 9238 4855 Ho Chi Minh City Open University 4021 5100 4576 8014 4891 Ho Chi Minh City University of Pedagogy 2282 7107 3548 4914 4986 HCMC University of Technology 2906 6697 4535 5078 5010 University of Technology 6561 3186 8573 8014 Hanoi University of Communications and 5329 Transport 2194 6584 4963 8014 5437 Hanoi University 2504 6531 6343 7071 Bảng 11. Danh sách các trường Việt Nam được Webometrics xếp hạng Kết quả bảng 9 và bảng 10 cho thấy rằng: Việc áp dụng phương pháp xếp hạng trường đại học dựa trên đọ do web với mơ hình chúng tơi áp dụng cho kết quả tốt so với kết quả phịng thí nghiệm Cybermetrics đã thực hiện. Hai kết quả trên là khá giống nhau, cĩ một số sai khác cĩ thể được giải thích do biến động website từ thời điểm Cybermetrics thống kê và thời điểm chúng tơi làm thực nghiệm. 29
31. Biểu đồ 2. So sánh kết quả kết quả thực nghiệm và webometrics 7. Kết luận và định hướng nghiên cứu Chúng tơi đã nghiên cứu và áp dụng phương pháp xếp hạng các trường đại học trên thế giới dựa trên các chỉ số web vào bài tốn xếp hạng các trường đại học Việt Nam và đã đưa ra một bảng xếp hạng tốt và khá hồn thiện. Mặc dù hiện tại việc xác định chỉ số về Scholar cịn cĩ nhiều khĩ khăn tuy nhiên chúng tơi sẽ khắc phục và thu thập dữ liệu tốt hơn để đưa ra một bảng xếp hạng hồn chỉnh nhất cho các trường đại học Việt Nam. Một trong những cải tiên của phương pháp tiếp cận thứ 2 trong đánh giá chỉ số V cũng được chúng tơi nghiên cứu theo 2 hướng: Dựa theo url để tách các trang web trả về thành 2 lĩnh vực: lĩnh vực giáo dục, lĩnh vực khác, hoặc dựa vào nội dung các trang web để phân lơp chúng thành 2 lớp tương ứng (academic, non- academic). Qua đĩ sẽ xác định được chỉ số V hiệu quả hơn 30
32. Tài liệu tham khảo [AJ09] Alex Usher, Jon Medow. Các loại xếp hạng trường đại học và các bảng xếp hạng – cách xây dựng và sử dụng. Hội thảo quốc tế “Xếp hạng các trường đại học: Xu thế tồn cầu và quan điểm [Long08] Bành Tiếng Long (2008) . Báo cáo chất lượng giáo dục đại học Việt Nam, , http:// www.oaq.hcmut.edu.vn/ftailieu/BaocaoTTrBTLong.ppt [Nga08] Nguyễn Phương Nga (2008) , “ Phương pháp và các tiêu chí xếp hạng của các trường Đại học Việt Nam”. Hội thảo quốc tế “Xếp hạng các trường đại học: Xu thế tồn cầu và quan điểm [VSVP08] Vladimir Briller, Shnara Iskakova , Vũ Thị Phương An, Pham Thi Ly , “ Xếp hạng các trường Đại học: Kinh nghiệm quốc tế và thực tiễn Việt Nam ” [Agui07] Isidro F. Aguillo. Webometrics Ranking ofWorld Universities. 3rd Meeting of the International Rankings Expert Group (IREG-3), Shanghai Jiao Tong University, October 28 - 31, 2007 [Agui07] Isidro F.Auillo (2007). Web indicators – Evidence of an academic digital divide. Third Annual Conference , Pisa, Italy – January 29-February 1,2007 [Alir05] Alireza Noruzi (2005). Web Impact Factors of Iranian Universities. Webology , 2 (1), April 2005 [Alir06] Alireza Noruzi A.(2006). The Web Impact Factor: A critical review. The Electronic Library . [BPRH06] Berlin Principles on Ranking of Higher Education Institutions. Berlin 20/5/2006 www.che.de/downloads/Berlin_Principles_IREG_534.pdf [Fede08] Federkeil, G.(2008). Ranking Higher Education Institutions – A European Perpectives. International Symposium : Ranking in Higher Education on the Global and National Stages [HF08] H.Kretschmer & F.Havemann (2008). A webometric analysis of Australia Universities using Staff and Size dependent Web Impact Factors.Fourth International Conference on Webometrics, Informetrics and Scientometrics & Ninth COLLENET Meeting 30-May-2008 [HU08] Huang, MUHsuan (2008). Performance Ranking of Sicentific Papers for World Universities. Internaltional Symposium Ranking in Higher Education on the Global and National Stages [Hunt95] Hunter, B.(1995). College guidebooks: Background and development, In D. Walleri and M.K.Moss, New Directions in Institutional Research: No 88. evaluating and responding to college guidebooks and rankings. 31
33. [BI04] Lennart Bjưrneborn and Peter Ingwersen (2004). Toward a Basic Framework for Webometrics, Journal of the American cociety for information and Technology – December 2004 [LC06] N.C. Liu, and Y. Cheng (2006). Academic Ranking of World Universities: – Methodologies and Problems. Technical report , Institute of Higher Education, Shanghai Jiao Tong University. M&P.pdf [MBP99] Moses A. Boudourides, Beatrice Sigrist and Philippos D. Alevizos (1999). Webometrics and the self –organization of the European information society, Task 2.1 of the SOEIS project , Rome Meeting, June 17-19, 1999 [MW07] Marginson, S. and Wende, M.V.D (2007). Globalisation and Higher Education ( Education Working Paper No. 8 ) EDU/WKP(2007)3. OECD, 06 Jul.2007 [Payn08] Nigel Payne (2008). A Longitudinal Study of Academic Web Links: Identifying and Explaining Change, PhD. Thesis , University of Wolverhampton, 2008 [PBMW98] Page, L., Brin, S., Motwani, R. and Winograd, T. (1998). The PageRank citation ranking: bringing order to the Web , Technical report , Stanford University, 1998. . [Rous08] Rousseau, R. (2008). An introduction to webometrics, Technical report , KHBO & Leuven University [TXK07] Tao Cheng, Xifeng Yan, Kevin Chen-Chuan Chang. EntityRank: Searching Entities Directly and Holistically, In SIGMOD 2007 . [TXK07] Tao Cheng, Xifeng Yan, Kevin Chen-Chuan Chang (2007). Supporting Entity Search: A Large-Scale Prototype Search Engine. In SIGMOD 2007 [URG08] University Ranking Guide 07-08 [Webo] [Thec] [Thes] [Theg] [Ed] 32
34. Phụ lục 1 Xếp Tên trường Địa chỉ website hạng 1 Mahidol University Thailand Nanyang Technological University, 2 Singapore 3 Thammasat University Thailand 4 Chulalongkorn University Thailand 5 Trường ĐH Cần Thơ 6 ĐH Quốc Gia Hà Nội 7 Trường Đại học Bách khoa Hà nội 8 Trường ĐH Bách khoa TP HCM 9 Trường Đại học Cơng Nghệ (QGHN) 10 Trường ĐH KH Tự Nhiên TP HCM 11 Trường Đại học Nơng Lâm TP HCM 12 Trường ĐH Y Tế Cơng Cộng 13 Bina Nusantara University, Indonesia 14 Assumption University Thailand 15 ĐH Quốc Gia TPHCM OR 16 Trường ĐH Sư phạm Hà Nội 17 Đại Học Huế Trường ĐH Giao thơng vận tải TP Hồ 18 Chí minh 19 Trường ĐH Kinh tế TP HCM Trường ĐH Kỹ Thuật Cơng Nghệ 20 TPHCM 21 Trường ĐH An Giang 22 Trường ĐH DL Thăng Long 23 ĐH Đà Nẵng 24 Trường ĐH Thuỷ Lợi Hà Nội Trường ĐH Giao thơng vận tải 25 OR (Nam) Trường ĐH KHXH Và Nhân Văn TP 26 HCM 27 Trường ĐH Ngoại Thương Hà Nội 28 Trường ĐH Y Hà Nội 29 Trường ĐH Bách Khoa Đà Nẵng 30 Trường Học Viện Tài Chính 31 Trường ĐH Nha Trang OR 32 Trường ĐH Sư Phạm TP HCM Trường ĐH Bán Cơng Tơn Đức 33 Thắng Trường ĐH Khoa học Xã hội và Nhân 34 văn (QGHN) 35 Trường ĐH Y Dược TP HCM 33
35. 36 Trường ĐH Mở BC TP Hồ Chí Minh 37 Trường ĐH Kinh Tế Quốc Dân 38 Viện ĐH Mở Hà Nội 39 Trường ĐH Nơng Nghiệp Hà Nội Trường ĐH Sư phạm Kỹ Thuật Tp 40 HCM 41 Trường ĐH Mỏ Địa Chất Trường HV Cơng nghệ Bưu chính OR 42 Viễn Thơng HN Trường Đại học Cơng nghiệp TP Hồ 43 Chí Minh 44 Trường ĐH Kinh Tế Huế 45 Trường ĐH Đà Lạt 46 Trường ĐH Kinh Tế (ĐHQGHN) 47 Trường ĐH DL QL Kinh Doanh HN 48 Trường ĐH Tây Bắc 49 Trường ĐH Hàng Hải 50 Trường ĐH Marketing Trường ĐH Khoa học Tự nhiên 51 (QGHN) 52 Trường ĐH Trà Vinh 53 Trường ĐH Sư Phạm Vinh 54 Trường ĐH Luật TP HCM 55 Trường ĐH Hà Nội 56 Trường ĐH DL Đơng Đơ 57 Trường ĐH DL Hải Phịng 58 Trường ĐH Hoa Sen 59 Khoa Kinh tế (ĐHQG TP HCM) 60 Trường ĐH Ngoại Ngữ (QGHN) 61 Trường ĐH FPT 62 Trường ĐH Xây Dựng Hà Nội 63 Trường ĐH Sư Phạm Huế Trường ĐH Quốc Tế (ĐH QG Tp 64 HCM) Trường ĐH Kỹ thuật Cơng nghiệp 65 (ĐH TNguyên) 66 Trường ĐH Y Huế 67 Trường ĐH Y Thái Bình 68 Trường Học Viện Ngân Hàng 69 Trường ĐH Tiền Giang 70 Trường ĐH Khoa Học Huế 71 Trường ĐH Thương Mại 72 Trường ĐH Cơng Nghiệp Hà Nội 73 Trường ĐH Văn Hố Hà Nội 74 Trường ĐH Luật Hà Nội 34
36. 75 Trường ĐH Nơng Lâm (ĐH TNguyên) 76 Trường ĐH DL Duy Tân 77 Trường ĐH DL Cơng nghệ Sài Gịn 78 Trường ĐH Ngoại Ngữ Huế 79 Trường ĐH Kiến Trúc Hà Nội 80 Trường CĐ Cộng đồng Đồng Tháp 81 Trường ĐH Hồng Đức 82 Trường ĐH Kinh Tế Đà Nẵng 83 Trường ĐH Kiến Trúc TPHCM 84 Trường ĐH Nơng Lâm Huế 85 Trường ĐH Hùng Vương 86 Trường ĐH DL Phương Đơng 87 Trường ĐH Sư phạm Thái Nguyên 88 Trường CĐ Thương mại và Du lịch 89 Trường ĐH Ngoại Ngữ Đà nẵng 90 Trường ĐH DL Hồng Bàng 91 Trường CĐ DL KT KT Bình Dương 92 Trường ĐH Dân Lập Văn Lang 93 Trường ĐH Bình Dương OR 94 Trường Học Viện Quan Hệ Quốc Tế OR 95 Đại học Thái Nguyên 96 Trường ĐH Hải Phịng 97 Trường ĐH Sư Phạm Đà Nẵng 98 Trường ĐH Y Khoa Thái Nguyên 99 Trường ĐH Thể dục Thể thao I 100 Học Viện Báo chí - Tuyên truyền 101 Trường CĐ Sư Phạm Quảng Trị Trường ĐH Ngoại Ngữ Tin Học 102 TPHCM 103 Trường ĐH Khoa học ĐH TNguyên Trường ĐH Kinh tế và Quản trị kinh 104 doanh (ĐH Tnguyên) 105 Trường CĐ TC Quản Trị Kinh Doanh 106 ĐH Quang Trung 35