ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Nguyễn Song Hà
HỆ THỐNG TƯ VẤN WEBSITE CHO MÁY TÌM
KIẾM DỰA TRÊN KHAI PHÁ QUERY LOG
KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY
Ngành: Công nghệ Thông tin
Hà Nội – 2009
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Nguyễn Song Hà
HỆ THỐNG TƯ VẤN WEBSITE CHO MÁY TÌM
KIẾM DỰA TRÊN KHAI PHÁ QUERY LOG
KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY
Ngành: Công nghệ Thông tin
Cán bộ hướng dẫn:
PGS.TS Hà Quang Thuỵ
Cán bộ đồng hướng dẫn:
Th.S Nguyễn Thu Trang
Hà Nội – 2009
HÀ NỘI – 200
(chữ hoa, 12pt, đậm, căn giữa)
Lời cảm ơn
Trước tiên, tôi xin gửi lời cảm ơn và lòng biết ơn sâu sắc nhất tới Phó Giáo sư
Tiến sĩ Hà Quang Thụy và Thạc sỹ Nguyễn Thu Trang, người đã tận tình chỉ bảo
và hướng dẫn tôi trong suốt quá trình thực hiện khoá luận tốt nghiệp.
Tôi chân thành cảm ơn các thầy, cô đã tạo cho tôi những điều kiện thuận lợi để học tập
và nghiên cứu tại trường Đại Học Công Nghệ.
Tôi cũng xin gửi lời cảm ơn tới các anh chị và các bạn sinh viên trong nhóm ―Khai phá
dữ liệu‖ đã giúp tôi rất nhiều trong việc thu thập và xử lý dữ liệu.
Cuối cùng, tôi muốn gửi lời cảm vô hạn tới gia đình và bạn bè, những người thân yêu
luôn bên cạnh và động viên tôi trong suốt quá trình thực hiện khóa luận tốt nghiệp.
Tôi xin chân thành cảm ơn !
Sinh viên
Nguyễn Song Hà
i
Tóm tắt nội dung
Hệ tư vấn (recommender system) đã trở thành một trong những lĩnh vực nghiên cứu
quan trọng kể từ khi bài báo đầu tiên về lọc cộng tác (collaborative filtering) xuất hiện
vào giữa những năm 1990. Hiện nay, sự quan tâm đối với hệ tư vấn đang rất cao vì sự
cần thiết của những ứng dụng có thể giúp người dùng xử lý với tình trạng quá tải
thông tin & đưa ra những nội dung hoặc lời khuyên phù hợp cho từng cá nhân. Một
vài ứng dụng nổi tiếng như: hệ tư vấn sách, CDs của Amazon.com, hệ tư vấn phim của
MovieLens… Nhưng so với sách, phim… thì số lượng website bùng nổ mỗi ngày còn
lớn hơn rất nhiều. Khóa luận đề xuất phương pháp xây dựng một hệ thống tư vấn
website dựa trên việc khai phá query logs của máy tìm kiếm. Các website được tư vấn
là kết quả có được dựa trên phân tích những lựa chọn của hàng nghìn người dùng
trước đó. Thực nghiệm ban đầu của hệ thống cho kết quả khá tốt.
ii
Mục lục
Tóm tắt nội dung
………………………………………………………………………………………. i
Mục lục
…………………………………………………………………………………………………… ii
Danh sách bảng ……………………………………………………………………………………….
iv
Danh sách hình vẽ …………………………………………………………………………………….
v
Lời mở đầu ………………………………………………………………………………………………
1
Chương 1. Tổng quan về hệ tư vấn ……………………………………………………………
3
1.1. Giới thiệu về hệ tư vấn
………………………………………………………………………
3
1.2. Bài toán tư vấn
…………………………………………………………………………………
4
1.3. Phân loại hệ tư vấn
…………………………………………………………………………..
5
1.3.1. Phương pháp dựa trên nội dung
……………………………………………………
5
1.3.2. Phương pháp cộng tác
…………………………………………………………………
7
1.3.3. Phương pháp lai ghép ……………………………………………………………….
10
1.4. Sơ bộ về hệ tư vấn trong khóa luận …………………………………………………..
12
Chương 2. Bài toán khai phá query log và ứng dụng
………………………………..
14
2.1. Cấu trúc query log ………………………………………………………………………….
14
2.2. Khai phá query log …………………………………………………………………………
16
2.2.1. Một số dạng thống kê ……………………………………………………………….
16
2.2.2. Khai phá luật
……………………………………………………………………………
20
2.3. Ứng dụng của khai phá query log …………………………………………………….
22
Chương 3. Mô hình
…………………………………………………………………………………
24
3.1. Các công trình liên quan …………………………………………………………………
24
3.1.1. Phân cụm query ……………………………………………………………………….
24
3.1.2. Phân tích chủ đề ẩn …………………………………………………………………..
27
3.2. Mô hình …………………………………………………………………………………………
31
3.2.1. Mô hình tổng quan
……………………………………………………………………
31
3.2.2. Phần xử lý ngoại tuyến ……………………………………………………………..
33
iii
3.2.3. Phần xử lý online ……………………………………………………………………..
34
Chương 4. Thực nghiệm và đánh giá
……………………………………………………….
36
4.1. Môi trường …………………………………………………………………………………….
36
4.2. Dữ liệu và công cụ ………………………………………………………………………….
36
4.3. Thực nghiệm ………………………………………………………………………………….
38
4.3.1. Lọc nội dung query …………………………………………………………………..
38
4.3.2. Xử lý offline
…………………………………………………………………………….
39
4.3.3. Xử lý online …………………………………………………………………………….
41
4.4. Đánh giá ……………………………………………………………………………………….
42
Kết luận và định hướng
…………………………………………………………………………..
44
Tài liệu tham khảo ………………………………………………………………………………….
45
Tiếng việt
……………………………………………………………………………………………..
45
Tiếng Anh
…………………………………………………………………………………………….
45
iv
Danh sách bảng
Bảng 1. Đánh giá của người dùng về một số bộ phim đã xem ………………………….
5
Bảng 2. Ba phương pháp tư vấn …………………………………………………………………
12
Bảng 3. Thống kê sơ bộ trên query log của AOL ………………………………………….
16
Bảng 4. Thống kê sơ bộ trên query log của AltaVista ……………………………………
17
Bảng 5. Phân loại query dài trong MSN log ………………………………………………..
17
Bảng 6. Những từ được tìm nhiều nhất trên Google ……………………………………..
18
Bảng 7. Phân loại chủ đề query của AOL ……………………………………………………
20
Bảng 8. Phân loại chủ đề query của Excite
………………………………………………….
20
Bảng 9. Môi trường thực nghiệm
………………………………………………………………..
36
Bảng 10. Một số từ khóa liên quan tới miền sản phẩm điện tử ……………………….
38
Bảng 11. Tổng hợp thực nghiệm phân cụm query
…………………………………………
41
Bảng 12. Bảng kết quả thực nghiệm ……………………………………………………………
43
v
Danh sách hình vẽ
Hình 1. Giải thưởng 1 triệu USD của Netflix …………………………………………………
3
Hình 2. Ba hội nghị của ACM về hệ tư vấn được tổ chức ở châu Âu và Mỹ
……….
3
Hình 3. Tư vấn dựa trên nội dung ………………………………………………………………..
6
Hình 4. Tư vấn dựa trên cộng tác
…………………………………………………………………
8
Hình 5. Một phần query log của AOL …………………………………………………………
14
Hình 6. Cấu trúc log của Google
………………………………………………………………..
14
Hình 7. Tỉ lệ từ/query trong query log của AltaVista …………………………………….
17
Hình 8. Tỉ lệ lặp lại query trong log của AltaVista ……………………………………….
18
Hình 9. Phân bố query trong ngày của AOL ………………………………………………..
19
Hình 10. Số query trong một phiên trong query log của AltaVista ………………….
19
Hình 11. Khai phá luật trong query log ………………………………………………………
21
Hình 12. Quan hệ giữa 2 query cùng click 1 url …………………………………………..
24
Hình 13. Quan hệ giữa 2 url được click bởi cùng 1 query
……………………………..
25
Hình 14. Đồ thị phân đôi query – url ………………………………………………………….
25
Hình 15. Hai query có chứa từ tương tự nhau ……………………………………………..
26
Hình 16. Tiến trình sinh văn bản LDA ………………………………………………………..
29
Hình 17. Kí hiệu khối lặp lại ……………………………………………………………………..
29
Hình 18. Mô hình LDA ……………………………………………………………………………..
30
Hình 19. Sơ đồ hệ thống tư vấn website ………………………………………………………
32
Hình 20. 3 bước xử lý ngoại tuyến
………………………………………………………………
33
Hình 21. 3 bước xử lý trực tuyến ………………………………………………………………..
34
Hình 22. Sử dụng quan hệ giữa các query để tính hạng url
……………………………
36
Hình 23. Query log của MSN …………………………………………………………………….
37
Hình 24. Phân bố chiều dài query trong MSN log ………………………………………..
37
1
Lời mở đầu
Trong thời đại bùng nổ thông tin, khi người dùng thường bị ngập trong khối lượng
thông tin khổng lồ thì hệ tư vấn ngày càng có vai trò quan trọng. Có khá nhiều hệ
thống tư vấn nổi tiếng, nhưng hầu hết chỉ tập trung vào một số lĩnh vực hẹp như: sách,
phim, ca nhạc…Các hệ thống đó thường dựa vào đánh giá của các chuyên gia
(reviewer) với những bộ tiêu chuẩn cụ thể, hoặc dựa trên việc chấm điểm sản phẩm
bởi người dùng. Nhưng các lĩnh vực trong cuộc sống rất phong phú, số lượng chủng
loại sản phẩm rất lớn. Để có hệ tư vấn dựa trên chuyên gia hay những bộ tiêu chuẩn cụ
thể như vậy trên mọi lĩnh vực, mọi sản phầm là điều không thể.
Khi cần tìm thông tin về một sản phẩm nào đó, giải pháp được hầu hết người
dùng sử dụng là đưa câu hỏi vào máy tìm kiếm thay vì tìm đến những website/forum
chuyên ngành. Tuy nhiên, máy tìm kiếm không phải lúc nào cũng hiệu quả. Máy tìm
kiếm chỉ có thể đưa ra một danh sách các lựa chọn (có thể lên đến hàng triệu) chứ
không thể nói được lựa chọn nào là tốt nhất.
Ví dụ, một du khách lần đầu đến Hà Nội, muốn tìm khách sạn bằng query:
“hanoi hotel”, sẽ nhận được từ Google gần hai triệu kết quả trả về. Hầu hết mọi khách
sạn trong danh sách kết quả đều xa lạ và tự quảng cáo mình là tốt nhất, làm cho du
khách bối rối trong biển thông tin. Không thể có thời gian để tìm hiểu lại về từng
khách sạn (dù chỉ là trong 10-20 kết quả đầu); người khách cần lời khuyên cho trường
hợp này. Những nhu cầu như vậy có thể bắt gặp rất nhiều trong cuộc sống hàng ngày,
ngay cả khi người ta tìm kiếm những sản phầm đơn giản như một chiếc đầu DVD, một
hãng sơn, một công ty taxi …, mà vì không có thông tin nên với họ mọi thương hiệu
đều như nhau. Cần có một phương pháp có thể đưa ra gợi ý, tư vấn cho người dùng đủ
tốt để áp dụng cho những chủ đề rất đa dạng của cuộc sống.
Một giải pháp rất tốt và hiệu quả là gợi ý dựa trên chính kinh nghiệm của những
người đã từng tìm về chủ đề này trước đó. Những thông tin được lưu lại trong log của
máy tìm kiếm sẽ cho biết những người tìm về chủ đề đó thường hay truy cập vào
website nào. Những website này đã qua hai lần ―lọc‖, một của máy tìm kiếm và một
của người dùng (không phải ngẫu nhiên mà nhiều người dùng lại có cùng một lựa
chọn). Đôi khi những kết quả này còn tốt hơn cả kết quả máy tìm kiếm trả lại. Ví dụ:
những website tin tức lớn,được nhiều người tìm & truy cập nhất của Vietnam như:
VnExpress, Vietnamnet, Dân Trí… đều không xuất hiện trong top 10 khi tìm “vietnam
news” trên cả Yahoo & Live Search (phiên bản mới của MSN).
2
Vì lí do đó, khóa luận đề xuất việc xây dựng một hệ thống tư vấn website cho
máy tìm kiếm dựa trên khai phá query log. Bài toán khai phá query logs là bài toán
phải xử lý khối lượng dữ liệu rất lớn (lên tới hàng gigabyte) nên việc chọn được một
thuật toán tốt và hiệu quả về thời gian là rất khó khăn. Hệ thống này được phát triển từ
đề tài nghiên cứu khoa học về hệ tư vấn website của nhóm chúng tôi [1] (thuộc phòng
thí nghiệm Sislab – đại học Công Nghệ). [1] tập trung vào việc thống kê website và
khai phá mẫu có thứ tự (tìm ra quy luật giữa từ khóa trong query và url được click) để
đưa ra tư vấn. Khác với [1], hệ thống được đề xuất trong khóa luận tập trung vào việc
xác định tập website có giá trị và xếp hạng lại chúng theo query người dùng đưa vào.
Ý tưởng chính của hệ thống gồm ba bước:
Bước một: nhóm các query tương đồng vào các cụm. Mỗi cụm tương ứng với
một chủ đề.
Bước hai: tìm ra tập những website (url) tốt, đại diện cho từng cụm. Tập website
này gọi là tập website tư vấn.
Bước ba: khi người dùng đưa vào một query mới, query này sẽ được phân cụm.
Hệ thống sẽ phân tích, và đưa ra các website trong tập website tư vấn thích hợp nhất
với query đó.
Phần còn lại của khóa luận được chia thành bốn chương:
Chương 1. Tổng quan về hệ tư vấn: Trình bày những nội dung cơ bản về hệ tư
vấn (các hệ thống nổi tiếng, mô tả bài toán tư vấn, phân loại các hệ tư vấn theo phương
pháp xây dựng). Giới thiệu hệ tư vấn website được xây dựng trong khóa luận.
Chương 2. Khai phá query log và ứng dụng: Giới thiệu về cấu trúc query log của
máy tìm kiếm, các thông tin có thể khai phá, phương pháp khai phá và các ứng dụng
của việc khai phá query log.
Chương 3. Hệ thống tư vấn website cho máy tìm kiếm dựa trên khai phá query
log: Trình bày mô hình hệ thống tư vấn website do chúng tôi đưa ra và các công trình
liên quan.
Chương 4. Thực nghiệm và đánh giá: Xây dựng, thử nghiệm và đánh giá hệ
thống với các query liên quan tới miền sản phẩm điện tử.
Phần kết luận tổng kết nội dung chính của khóa luận, các vấn đề còn tồn tại và
định hướng phát triển của hệ thống.
3
Chương 1. Tổng quan về hệ tư vấn
1.1. Giới thiệu về hệ tư vấn
Trong cuộc sống hàng ngày, trong rất nhiều trường hợp, người ta đưa ra các lựa chọn
dựa trên những ý kiến hay lời khuyên của mọi người xung quanh, có thể qua lời nói,
các bản đánh giá sản phẩm, khảo sát thị trường, thư giới thiệu …v..v. Nhưng trong kỉ
nguyên thông tin, hàng triệu thông tin được đưa lên internet mỗi ngày, điều này dẫn
tới yêu cầu phải có các phương pháp tự động thu thập thông tin và đưa ra lời khuyên
để hỗ trợ cho các phương pháp truyến thống trên . Hệ tư vấn (recommender system) là
một giải pháp như vậy. Hệ thống này đưa ra gợi ý dựa trên những gì người dùng đã
làm trong quá khứ, hoặc dựa trên tổng hợp ý kiến của những người dùng khác. Hệ tư
vấn đã trở thành một ứng dụng quan trọng và thu hút được sự quan tâm lớn của các
nhà nghiên cứu cũng như các doanh nghiệp.
Một vài hệ tư vấn nổi tiếng [8] :
o Phim / TV/ âm nhạc: MovieLens, EachMovie, Morse, Firefly, Flycasting,
Ringo…
o Tin tức / báo chí: Tapestry, GroupLens, Lotus Notes, Anatagonomy…
o Sách / Tài liệu: Amazon.com, Foxtrot, InfoFinder…
o Web: Phoaks, Gab, Fab, IfWeb, Let’s Browse …
o Nhà hàng: Adaptive Place Advisor, Polylens, Pocket restaurent finder…
o Du lịch: Dietorecs, LifestyleFinder …
Hình 1. Giải thưởng 1 triệu USD của
Netflix cho ai đưa ra được thuật toán
giúp tăng độ chính xác của hệ thống tư
vấn phim của họ thêm 10% [21]
Hình 2. Ba hội nghị của ACM về
hệ tư vấn được tổ chức ở châu Âu
và Mỹ [3]
$1,000,000
4
1.2. Bài toán tư vấn
Theo Adomavicius và Tuzhilin trong [4], trong hầu hết các trường hợp, bài toán tư vấn
được coi là bài toán ước lượng trước hạng (rating) của các sản phẩm (phim, cd, nhà
hàng …) chưa được người dùng xem xét. Việc ước lượng này thường dựa trên những
đánh giá đã có của chính người dùng đó hoặc những người dùng khác. Những sản
phẩm có hạng cao nhất sẽ được dùng để tư vấn.
Một cách hình thức, bài toán tư vấn được mô tả như sau:
Gọi C là tập tất cả người dùng; S là tập tất cả các sản phẩm có thể tư vấn. Tập S
có thể rất lớn, từ hàng trăm ngàn (sách, cd…) đến hàng triệu (như website). Tập C
trong một số trường hợp cũng có thể lên tới hàng triệu.
Hàm u(c,s) đo độ phù hợp (hay hạng) của sản phẩm s với user c: 𝑢: 𝐶 × 𝑆→𝑅
với R là tập được sắp thứ tự. Với mỗi người dùng 𝑐∈𝐶, cần tìm sản phẩm 𝑠′ ∈𝑆 sao
cho hàm u(s’, c) đạt giá trị lớn nhất: ∀𝑐∈𝐶, 𝑠′𝑐= arg max𝑠∈𝑆𝑢 (𝑐, 𝑠)
Trong hệ tư vấn, độ phù hợp của một sản phẩm thường được cho bằng điểm, ví
dụ người dùng A đánh giá bộ phim ―Star war 3‖ được điểm 7/10. Tuy nhiên, nhìn
chung độ phù hợp có thể là một hàm bất kì tùy thuộc vào ứng dụng cụ thể. Giá trị của
hàm u có thể được xác định bởi người dùng hoặc được tính toán bởi công thức nào đó.
Mỗi người dùng trong không gian C được xác định bởi một hồ sơ (profile). Hồ
sơ này có thể gồm rất nhiều loại thông tin: tuổi, giới tính, thu nhập, … hoặc có thể chỉ
gồm một trường mã số người dùng (user id) duy nhất. Tương tự, mỗi sản phẩm trong
không gian S cũng được xác định bởi một tập các đặc trưng. Ví dụ, trong hệ thống tư
vấn phim, đặc trưng của mỗi bộ phim có thể là : tên phim, thể loại, đạo diễn, năm sản
xuất, diễn viên chính …v…v.
Vấn đề chính của hệ tư vấn là hàm u không được xác định trên toàn không gian
𝐶× 𝑆 mà chỉ trên một miền nhỏ của không gian đó. Điều này dẫn tới việc hàm u phải
được ngoại suy trong không gian 𝐶× 𝑆. Thông thường, độ phù hợp được thể hiện
bằng điểm và chỉ xác định trên tập các sản phẩm đã từng được người dùng đánh giá từ
trước (thường khá nhỏ). Ví dụ, bảng 1 là đánh giá của một số người dùng với các phim
mà họ đã xem (thang điểm từ 0-10, kí hiệu ∅ nghĩa là bộ phim chưa được người dùng
cho điểm). Từ những thông tin đó, hệ thống tư vấn phải dự đoán (ngoại suy) điểm cho
các bộ phim chưa được người dùng đánh giá, từ đó đưa ra những gợi ý phù hợp nhất.
5
Harry potter
Star trek
Xmen
Transformer
A
5
∅
7
9
B
9
5
5
∅
C
6
6
∅
8
D
∅
∅
8
9
Bảng 1. Đánh giá của người dùng về một số bộ phim đã xem
1.3. Phân loại hệ tư vấn
Có rất nhiều cách để dự đoán, ước lượng hạng/điểm cho các sản phẩm như sử dụng
học máy, lí thuyết xấp sỉ, các thuật toán dựa trên kinh nghiệm… Theo [4], các hệ
thống tư vấn thường được phân thành ba loại dựa trên cách nó dùng để ước lượng hạng
của sản phẩm:
o Dựa trên nội dung (content-based): người dùng được gợi ý những sản phẩm
tương tự như các sản phẩm từng được họ đánh giá cao.
o Cộng tác (collaborative): người dùng được gợi ý những sản phẩm mà những
người cùng sở thích với họ đánh giá cao.
o Lai ghép (hybrid): kết hợp cả phương pháp dựa trên.
1.3.1. Phương pháp dựa trên nội dung
Theo [4], với phương pháp tư vấn dựa trên nội dung, độ phù hợp 𝑢(𝑐, 𝑠) của sản phẩm
s với người dùng c được đánh giá dựa trên độ phù hợp 𝑢(𝑐, 𝑠𝑖), trong đó si ϵ S và
―tương tự‖ như s. Ví dụ, để gợi ý một bộ phim cho người dùng c, hệ thống tư vấn sẽ
tìm các đặc điểm của những bộ phim từng được c đánh giá cao (như diễn viên, đạo
diễn…); sau đó chỉ những bộ phim tương đồng với sở thích của c mới được giới thiệu.
Hướng tiếp cận dựa trên nội dung bắt nguồn từ những nghiên cứu về thu thập
thông tin (IR – information retrieval) và lọc thông tin (IF – information filtering). Do
đó, rất nhiều hệ thống dựa trên nội dung hiện nay tập trung vào tư vấn các đối tượng
chứa dữ liệu text như văn bản, tin tức, website… Những tiến bộ so với hướng tiếp cận
cũ của IR là do việc sử dụng hồ sơ về người dùng (chứa thông tin về sở thích, nhu
cầu…) . Hồ sơ này được xây dựng dựa trên những thông tin được người dùng cung
6
cấp trực tiếp (khi trả lời khảo sát) hoặc gián tiếp (do khai phá thông tin từ các giao
dịch của người dùng).
Hình 3. Tư vấn dựa trên nội dung [17]
Để cụ thể hơn, đặt Content(s) là tập thông tin (hay tập các đặc trưng) về sản
phẩm s. Do hệ thống dựa trên nội dung được thiết kế chủ yếu để dành cho các sản
phẩm là text, nên nội dung sản phẩm thường được biểu diễn bởi các từ khóa
(keyword): Content(s) = (w1s, …wks), với w1s,..wks là trọng số của các từ khóa từ 1
tới k (có thể được tính bằng TF-IDF). Ví dụ, hệ tư vấn website Fab biểu diễn nội dung
các trang web bằng 100 từ quan trọng nhất. Tương tự, hệ thống Syskill & Webert biểu
diễn văn bản bằng 128 từ có trọng số cao nhất.
Đặt Profile(c) là hồ sơ về người dùng c, bao gồm các thông tin về sở thích của
c. Những thông tin này có được bằng cách phân tích nội dung của các sản phẩm từng
được c đánh giá (cho điểm) trước đó. Phương pháp được sử dụng thường là các kĩ
thuật phân tích từ khóa của IR, do đó, Profile(c) cũng có thể được định nghĩa như một
vector trọng số:
Profile(c) = (w1c, …,wkc) với xic biểu thị độ quan trọng của từ khóa i với người
dùng c.
7
Trong hệ thống tư vấn dựa trên nội dung, độ phù hợp u(c,s) được xác định bởi
công thức:
u(c,s) = score(Profile(c), Content(s))
Cả Profile(c), Content(s) đều có thể được biểu diễn bằng vector trọng số từ TF-
IDF (tương ứng là 𝑤𝑐
, 𝑤𝑠
) nên có thể đo độ tương đồng của chúng bằng độ đo cosin:
𝑢(𝑐, 𝑠) = cos( 𝑤𝑐
, 𝑤𝑠
) =
𝑤𝑐
. 𝑤𝑠
||𝑤𝑐||
× || 𝑤𝑠||
Ví dụ, nếu c đọc nhiều bài báo thuộc lĩnh vực sinh học thì các từ khóa liên quan
tới sinh học (như gen, protein, tế bào, ADN…) trong Profile(c) sẽ có trọng số cao. Hệ
quả là với các bài báo s cũng thuộc lĩnh vực này sẽ có độ phù hợp u(c,s) cao hơn với
người dùng c.
Bên cạnh các phương pháp IR, hệ tư vấn dựa trên nội dung còn sử dụng nhiều
phương pháp học máy khác như: phân lớp Bayes, cây quyết định, mạng nơron nhân
tạo… Các phương pháp này khác với các phương pháp của IR ở chỗ nó dựa trên các
mô hình học được từ dữ liệu nền. Ví dụ, dựa trên tập các trang web đã được người
dùng đánh giá là có nội dung ―tốt‖ hoặc ―xấu‖ có thể sử dụng phân lớp Bayes để phân
loại các trang web chưa được đánh giá.
1.3.2. Phương pháp cộng tác
Theo [4], không giống như phương pháp tư vấn dựa trên nội dung, hệ thống cộng tác
dự đoán độ phù hợp u(c,s) của một sản phẩm s với người dùng c dựa trên độ phù hợp
u(cj, s) giữa người dùng cj và s, trong đó cj là người có cùng sở thích với c. Ví dụ, để
gợi ý một bộ phim cho người dùng c, đầu tiên hệ thống cộng tác tìm những người dùng
khác có cùng sở thích phim ảnh với c. Sau đó, những bộ phim được họ đánh giá cao sẽ
được dùng để tư vấn cho c.
Có rất nhiều hệ thống cộng tác đã được phát triển như: Grundy, GroupLens (tin
tức), Ringo (âm nhạc), Amazon.com (sách), Phoaks (web)… Các hệ thống này có thể
chia thành hai loại: dựa trên kinh nghiệm (heuristic-based hay memory-based) và dựa
trên mô hình (model-based).
8
Hình 4. Tư vấn dựa trên cộng tác [17]
1.3.2.1. Hệ thống cộng tác dựa trên kinh nghiệm
Các thuật toán dựa trên kinh nghiệm dự đoán hạng của một sản phẩm dựa trên toàn bộ
các sản phẩm đã được đánh giá trước đó bởi người dùng. Nghĩa là, hạng của sản phẩm
s với người dùng c (rc,s ) được tổng hợp từ đánh giá của những người dùng khác về s
(thường là N người có sở thích tương đồng nhất với c).
𝑟
𝑐,𝑠= aggr 𝑟
𝑐′,𝑠 với 𝑐′ ∈𝐶
(tập N người dùng cùng sở thích với c)
Một số ví dụ về hàm tổng hợp (aggregate):
(𝑎) 𝑟
𝑐,𝑠= 1
𝑁 𝑟
𝑐′,𝑠
𝑐′∈𝐶
(𝑏) 𝑟
𝑐,𝑠= 𝑘× 𝑠𝑖𝑚(𝑐, 𝑐′) × 𝑟
𝑐′,𝑠
𝑐′∈𝐶
(𝑐) 𝑟
𝑐,𝑠= 𝑟
𝑐
+ 𝑘× 𝑠𝑖𝑚(𝑐, 𝑐′) × (𝑟
𝑐′,𝑠−
𝑐′∈𝐶
𝑟
𝑐′
)
Với:
k = hệ số chuẩn hóa
sim(c, c’) = độ tương đồng (về sở thích) giữa người dùng c và c’
𝑟
𝑐
, 𝑟
𝑐′
= trung bình của các đánh giá được cho bởi người dùng c và c’
Có nhiều cách để tính độ tương đồng (về sở thích) giữa hai người dùng, nhưng
trong hầu hết các phương pháp, độ tương đồng chỉ được tính dựa trên các sản phẩm
9
được cả hai người cùng đánh giá. Hai phương pháp phổ biến nhất là dựa trên độ tương
quan (correlation-based) và dựa trên cosin (cosine-based).
Đặt 𝑆𝑥𝑦= 𝑠∈𝑆| 𝑟
𝑥,𝑠≠∅ & 𝑟
𝑦,𝑠≠∅ là tập các sản phẩm được đánh giá bởi cả
hai người dùng x, y.
Công thức dựa trên độ tương quan của Pearson [27]:
𝑠𝑖𝑚 (𝑥, 𝑦) =
(𝑟
𝑥,𝑠−𝑟
𝑥
) × (𝑟
𝑦,𝑠−𝑟
𝑦
)
𝑠∈𝑆𝑥𝑦
(𝑟
𝑥,𝑠−𝑟
𝑥
)2 ×
(𝑟
𝑦,𝑠−𝑟
𝑦
)2
𝑠∈𝑆𝑥𝑦
𝑠∈𝑆𝑥𝑦
Với phương pháp dựa trên cosin, hai người dùng được biểu diễn bởi 2 vector m
chiều, với m = |Sxy|. Độ tương đồng giữa 2 vector được tính bởi công thức:
𝑠𝑖𝑚(𝑥, 𝑦) = cos( 𝑥
, 𝑦
) =
𝑥
. 𝑦
𝑥
× 𝑦
=
𝑟
𝑥,𝑠× 𝑟
𝑦,𝑠
𝑠∈𝑆𝑥𝑦
𝑟
𝑥,𝑠2
𝑠∈𝑆𝑥𝑦
×
𝑟
𝑦,𝑠2
𝑠∈𝑆𝑥𝑦
1.3.2.2. Hệ thống cộng tác dựa trên mô hình
Khác với phương pháp dựa trên kinh nghiệm, phương pháp dựa trên mô hình (model-
based) sử dụng kĩ thuật thống kê và học máy trên dữ liệu nền (các đánh giá đã biết) để
xây dựng nên các mô hình. Mô hình này sau đó sẽ được dùng để dự đoán hạng của các
sản phẩm chưa được đánh giá.
Breese trong [14] đề xuất hướng tiếp cận xác suất cho lọc cộng tác (collaborative
filtering), trong đó công thức sau ước lượng đánh giá của người dùng c về sản phẩm s
(thang điểm đánh giá từ 0 đến n):
𝑟
𝑐,𝑠= 𝐸 𝑟
𝑐,𝑠 = 𝑖× Pr
(𝑟
𝑐,𝑠= 𝑖|𝑟𝑐,𝑠′ , 𝑠′ ∈𝑆𝑐)
𝑛
𝑖=0
Billsus và Pazzani trong [12] đề xuất phương pháp lọc cộng tác trên nền học
máy, trong đó rất nhiều các kĩ thuật học máy (như mạng nơron nhân tạo) và các kĩ
thuật trích chọn đặc trưng (như SVD – một kĩ thuật đại số nhằm làm giảm số chiều của
ma trận) có thể được sử dụng.
Ngoài ra còn nhiều hướng tiếp cận khác như mô hình thống kê, mô hình bayes,
mô hình hồi quy tuyến tính, mô hình entropy cực đại…
10
Hệ thống tư vấn cộng tác khắc phục được nhiều nhược điểm của hệ thống dựa
trên nội dung. Một điểm quan trọng là nó có thể xử lý mọi loại dữ liệu và gợi ý mọi
loại sản phẩm, kể cả những sản phẩm mới, khác hoàn toàn so với những gì người dùng
từng xem.
1.3.3. Phương pháp lai ghép
Một vài hệ tư vấn kết hợp cả phương pháp cộng tác và dựa trên nội dung nhằm tránh
những hạn chế của cả hai. Có thể phân thành bốn cách kết hợp như sau:
o Cài đặt hai phương pháp riêng rẽ rồi kết hợp dự đoán của chúng.
o Tích hợp các đặc trưng của phương pháp dựa trên nội dung vào hệ thống cộng
tác
o Tích hợp các đặc trưng của phương pháp cộng tác vào hệ thống dựa trên đặc
trưng
o Xây dựng mô hình hợp nhất, bao gồm các đặc trưng của cả hai phương pháp.
1.3.3.1. Kết hợp hai phương pháp riêng rẽ
Có hai kịch bản cho trường hợp này:
o Cách 1: Kết hợp kết quả của cả hai phương pháp thành một kết quả chung
duy nhất, sử dụng cách kết hợp tuyến tính (linear combination) hoặc voting
scheme.
o Cách 2: Tại mỗi thời điểm, chỉ chọn phương pháp cho kết quả tốt hơn (dựa
trên một số độ đo chất lượng tư vấn nào đó). Ví dụ, hệ thống DailyLearner
system chọn phương pháp nào đưa ra gợi ý với độ chính xác (confidence)
cao hơn.
1.3.3.2. Thêm đặc trưng của mô hình dựa trên nội dung vào mô hình cộng tác
Một số hệ thống lai (như Fab) dựa chủ yếu trên các kĩ thuật cộng tác nhưng vẫn duy trì
hồ sơ về người dùng (theo dạng của mô hình dựa trên nội dung). Hồ sơ này được dùng
để tính độ tương đồng giữa hai người dùng, nhờ đó giải quyết được trường hợp có quá
ít sản phẩm chung được đánh giá bởi cả hai người. Một lợi ích khác là các gợi ý sẽ
không chỉ giới hạn trong các sản phẩm được đánh giá cao bởi những người cùng sở
11
thích (gián tiếp), mà còn cả với những sản phẩm có độ tương đồng cao với sở thích của
chính người dùng đó (trực tiếp).
1.3.3.3. Thêm đặc trưng của mô hình cộng tác vào mô hình dựa trên nội dung
Hướng tiếp cận phổ biến nhất là dùng các kĩ thuật giảm số chiều trên tập hồ sơ của
phương pháp dựa trên nội dung. Ví dụ, [29] sử dụng phân tích ngữ nghĩa ẩn (latent
semantic analysis) để tạo ra cách nhìn cộng tác (collaborative view) với tập hồ sơ
người dùng (mỗi hồ sơ được biểu diễn bởi một vector từ khóa).
1.3.3.4. Mô hình hợp nhất hai phương pháp
Trong những năm gần đây đã có khá nhiều nghiên cứu về mô hình hợp nhất. [10] đề
xuất kết hợp đặc trưng của cả hai phương pháp vào một bộ phân lớp dựa trên luật
(rule-based classifier). Popescul và cộng sự trong [25] đưa ra phương pháp xác suất
hợp nhất dựa trên phân tích xác suất ngữ nghĩa ẩn (probabilistic latent semantic
analysis). [6] giới thiệu mô hình hồi quy Bayes sử dụng dây Markov Monte Carlo để
ước lượng tham số.
Độ chính xác của hệ thống tư vấn lai ghép có thể được cải tiến bằng cách sử dụng
các kĩ thuật dựa trên tri thức (knowledge-based) như case-based reasoning. Ví dụ, hệ
thống Entrée dùng những tri thức về nhà hàng, thực phẩm (như: đồ biển không phải là
thức ăn chay).. để gợi ý nhà hàng thích hợp cho người dùng. Hạn chế chính của hệ
thống dạng này là nó cần phải thu thập đủ tri thức, đây cũng là nút thắt cổ chai (bottle-
neck) của rất nhiều hệ thống trí tuệ nhân tạo khác. Tuy nhiên, các hệ thống tư vấn dựa
trên tri thức hiện đang được phát triển trên các lĩnh vực mà miền tri thức của nó có thể
biểu diễn ở dạng mà máy tính đọc được (như ontology). Ví dụ, hệ thống Quickstep và
Foxtrot sử dụng ontology về chủ đề của các bài báo khoa học để gợi ý những bài báo
phù hợp cho người dùng.
Một vài bài báo như [9] đã thực hiện so sánh hiệu năng của hệ thống lai ghép với
các hệ thống dựa trên nội dung hoặc cộng tác thuần túy và cho thấy hệ thống lai ghép
có độ chính xác cao hơn.
12
Phương pháp
Các kĩ thuật sử dụng
Dựa trên kinh nghiệm
Dựa trên mô hình
Dựa trên nội dung
+TF-IDF
+Phân cụm
+Phân lớp bayes
+Phân cụm
+Cây quyết định
+Mạng nơron nhân tạo
Cộng tác
+k-Láng giềng gần nhất
+Phân cụm
+Lí thuyết đồ thị
+Mạng bayes
+Phân cụm
+Mạng nơron nhân tạo
+Hồi quy tuyến tính
+Mô hình xác suất
Lai ghép
+Kết hợp tuyến tính kết quả
+Tích hợp đặc trưng của một
phương pháp vào mô hình của
phương pháp còn lại.
+Xây dựng mô hình hợp nhất hai
phương pháp.
Bảng 2. Ba phương pháp tư vấn [4]
1.4. Sơ bộ về hệ tư vấn trong khóa luận
Hệ thống được xây dựng trong khóa luận là một hệ thống tư vấn website. Nhưng thay
vì đứng như một ứng dụng riêng rẽ, hệ thống sẽ được tích hợp ngay vào máy tìm kiếm
để trực tiếp đưa ra những tư vấn phù hợp với nội dung query của người dùng.
Phương pháp được sử dụng để đưa ra tư vấn cho một query là dựa vào các lựa
chọn của những người dùng đã từng tìm về chủ đề đó. Vì thế, có thể xếp hệ thống vào
nhóm các hệ tư vấn cộng tác (collaborative).
Với hầu hết các hệ tư vấn cộng tác thường thấy, từng người dùng cụ thể được xác
định rõ ràng (qua hồ sơ cá nhân) và các sản phẩm thường được người dùng đánh giá
13
trực tiếp (ví dụ: cho điểm). Nhưng trong hệ tư vấn website cho máy tìm kiếm, cả hai
việc trên đều không thể thực hiện được. Hầu hết tất cả các máy tìm kiếm hiện nay đều
không yêu cầu người dùng phải đăng kí tài khoản vì việc buộc phải đăng nhập hệ
thống là một cản trở không dễ chịu. Do đó, không thể phân biệt được người dùng với
nhau mà chỉ có thể ―cố gắng‖ phân biệt các phiên sử dụng (session) của họ bằng cách
phân tích log của máy tìm kiếm (dựa vào các thông tin về IP, trình duyêt, thời gian
…). Hơn nữa, do tìm kiếm đã trở thành một việc rất phổ biến và được thực hiện liên
tục nhiều lần, người dùng luôn muốn nhận được kết quả thật nhanh và không muốn
vướng vào các chi tiết rườm ra nên việc yêu cầu người dùng chấm điểm hay đánh giá
các kết quả được trả về cũng không khả thi.
Vì những lý do trên, thay vì xác định đối tượng là người dùng, hệ thống được đề
xuất trong báo cáo xác định đối tượng là các query. Hai query tương đồng có vai trò
như hai người dùng cùng sở thích. Những website (url) được click tương ứng với
query có vai trò như những sản phẩm được người dùng đánh giá cao (vì chỉ có một vài
website được click trên tổng số kết quả trả về). Các thông tin về query tương đồng và
url được click được khai thác từ query log của máy tìm kiếm.
14
Chương 2. Bài toán khai phá query log và ứng dụng
2.1. Cấu trúc query log
Query log bao gồm thông tin về những lượt tìm kiếm của người dùng được máy tìm
kiếm lưu lại. Khác với server log thông thường, query log có thêm thông tin về nội
dung query và các website được người dùng click. Mỗi máy tìm kiếm có một cách lưu
log khác nhau và thường rất ít khi công bố ra ngoài (một lí do là vì vi phạm sự riêng tư
của người dùng). Hình 5 & 6 là một phần query log của AOL được công bố năm 2006
[7] và cấu trúc log của Google, được công bố trên website của công ty này [18].
Hình 5. Một phần query log của AOL [7]
q
URL
IP
Cookie
Browser
Time
= cars
= www.google.com/search?q=cars
= 72.14.253.103
= PREF=ID=03b1d4f329293203:LD=en:NR=10…
= Firefox/2.0.0.4;Windows NT 5.1
= 25 Mar 2007 10:15:32
Hình 6. Cấu trúc log của Google [18]
Tuy khác nhau nhưng query log thường có các trường sau:
Query:
Truy vấn mà người dùng gửi tới máy tìm kiếm. Ví dụ: “race cars”, “vietnam
15
landscape”, “swine flu” …Một số máy tìm kiếm giới hạn số từ trong query (Google
cho phép query dài tối đa 32 từ).
Url được click và vị trí của url
Địa chỉ url người dùng click và vị trí của nó (trường ItemRank của AOL query
log) trong danh sách kết quả máy tìm kiếm trả về cho query vừa được gửi.Ví dụ, với
query “champion league”, các url được click là: www.uefa.com (ở vị trí 1) và
soccernet.espn.go.com (ở vị trí 4, theo kết quả của Google).
Địa chỉ IP:
Địa chỉ IP của người dùng (ví dụ:141.243.1.172) hoặc tên DNS (ví dụ: wpbfl2-
45.gate.net). Từ IP có thể biết được địa chỉ (quốc gia, vùng) của người dùng và nhà
cung cấp dịch vụ internet cho họ (Internet Service Provider). Khi công bố query log ra
công chúng, các máy tìm kiếm buộc phải ―nặc danh hóa‖ (anonymizing) trường này để
không làm lộ danh tính và các thông tin cá nhân của người dùng. Như ở trên, trong
query log được AOL công bố, trường IP được thay thế bằng AnonID (định danh ẩn).
Phần mềm sử dụng ở máy của người dùng (user agents):
Trường này lưu thông tin về tên, phiên bản của trình duyệt cũng như tên, phiên
bản của hệ điều hành được người dùng sử dụng.Ví dụ:―Firefox/2.0.0.4;Windows NT 5.1”.
Thời gian:
Thời gian người dùng gửi query tới máy tìm kiếm. Thông thường, như trong
Google hay AOL, thời gian được ghi theo định dạng [DD/Mon/YYYY/: HH:MM:SS
offset] với:
DD/Mon/YYYY: chỉ ngày tháng năm.
HH:MM:SS : thể hiện 24h trong ngày.
Offset: chỉ độ lệch múi giờ so với giờ GMT (Greenwich Mean Time).
Ví dụ:” 22/May/2009:16:03:00 +0700” chỉ thời điểm 16:03:00 ngày 22 tháng 5
năm 2009, tại múi giờ GMT+7 (Bangkok-Hanoi-Jakarta). Ở một số máy tìm kiếm
khác, như AltaVista, trường thời gian được lưu ở dạng timestamp, là số milli giây từ
một mốc thời gian trong quá khứ (baseline) đến thời điểm query được gửi. Ví dụ, nếu
chọn mốc thời gian là 00:00:00 ngày 1/1/1995 thì thời điểm 12:00:02 28/10/2004 có
timestamp = 20822005
16
Cookie:
Được máy tìm kiếm lưu ở máy người dùng để nhận biết một số thông tin về họ.
Ví dụ, trường cookie của Google lưu sở thích của người dùng về ngôn ngữ tìm kiếm
và số kết quả mong muốn trong mỗi trang.
“Cookie = PREF=ID=03b1d4f329293203:LD=en:NR=10…”
Theo [18], để đảm bảo tính bí riêng tư, sau 18 tháng, Google sẽ xóa thông tin về
cookie và IP của người dùng. Ví dụ, các thông tin đó sẽ được đưa về dạng
IP=72.14.253.XX và Cookie=PREF=XXXXXXXX.
2.2. Khai phá query log
Từ những thông tin trong query log, có thể áp dụng rất nhiều các phương pháp thống
kê và khai phá dữ liệu (như tìm luật liên kết, tìm mẫu có thứ tự …) để phân tích thói
quen sử dụng, xu hướng, sở thích… của người dùng. Những thông tin thu được không
chỉ hữu ích cho việc cải tiến chất lượng tìm kiếm mà còn giúp nghiên cứu hành vi của
người dùng trên internet.
2.2.1. Một số dạng thống kê
Thống kê sơ bộ: tổng hợp những thông tin cơ bản về toàn bộ bộ query log như
độ lớn, thời gian thu thập, số bản ghi, số query … Bảng 3 và 4 là ví dụ về thống
kê sơ bộ với bộ query log được AOL công bố năm 2006 [7] và bộ query log lưu
hành nội bộ của AltaVista [28]:
Độ lớn
~500MB
Thời gian thu thập
01/03/2006 – 31/05/2006
Tổng số bản ghi
36.389.567
Tổng số query
21.011.340
Số query riêng biệt (sau khi chuẩn hóa) 10.154.742
Số lần click url
19.442.629
Số query không click vào url nào
16.946.938
Số lần mở trang kết quả tiếp theo
7.887.022
Số người dùng riêng biệt
657.426
Bảng 3. Thống kê sơ bộ trên query log của AOL [7]
17
Độ lớn
~280GB
Thời gian thu thập
~6 tuần
Tổng số bản ghi
993.208.159 (~1 tỉ)
Số yêu cầu có độ dài > 0
843.445.731
Số query có độ dài > 0
575.244.993
Số query riêng biệt (độ dài > 0)
153.645.050
Số phiên làm việc
285.474.117
Bảng 4. Thống kê sơ bộ trên query log của AltaVista [28]
Số từ trung bình trong query: Theo [28], độ dài trung bình của một query trong
bộ log của AltaVista là 2.35 từ. Với AOL, độ dài này là 2.34 (theo [7]). Có thể
thấy query thường có độ dài rất ngắn, chủ yếu từ 2-3 từ. Sau khi phân tích
query log của MSN, [15] phân loại các query dài (từ 5-12 từ) vào 5 nhóm như
bảng 5:
Hình 7. Tỉ lệ từ/query trong
query log của AltaVista [28]
Bảng 5. Phân loại query dài trong MSN log [15]
Tổng số query: 14.921.286
Số query dài (5 đến 12 từ): 1.423.664
Loại
Số lượng Tỉ lệ
Câu hỏi
106.587
7.49%
Query có chứa toán tử
78.331
5.50%
Gộp các query ngắn
918.482
64.52%
Cụm danh từ dài hoặc câu
trích dẫn (quote)
320.263
22.50%
Những từ được search nhiều nhất: thể hiện sự quan tâm và xu hướng của
người dùng trong tìm kiếm thông tin trên internet. Ở các quốc gia khác nhau
hay tại thời điểm khác nhau, người dùng có thể có những mối quan tâm khác
nhau. Bảng 6 là những từ được tìm kiếm nhiều nhất trên Google vào năm 2006,
tại Anh năm 2008 và tại Brasil năm 2008 [19]:
0
từ, 20.6%
1
từ, 25.8%
2 từ, 26%
3 từ, 15%
>3
từ, 12.6%
