9843_Ghép ảnh Panorama dựa trên đối sánh các đặc trưng bất biến

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG
—–o0o—–

ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ THÔNG TIN

HẢI PHÒNG 2017
Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
2
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG
—–o0o—–

GHÉP ẢNH PANORAMA DỰA TRÊN ĐỐI
SÁNH CÁC ĐẶC TRƯNG BẤT BIẾN

ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY
Ngành: Công nghệ Thông tin

Sinh viên thực hiện: Lương Văn Kiên
Mã số sinh viên: 1312101024
Cán bộ hướng dẫn: Ts. Ngô Trường Giang

HẢI PHÒNG – 2017

Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
3

BỘ GIÁO DỤC VÀ ĐÀO TẠO CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG
Độc lập – Tự do – Hạnh phúc

—–o0o—–

NHIỆM VỤ THIẾT KẾ TỐT NGHIỆP

Sinh viên: Lương Văn Kiên

Mã sinh viên: 1312101024
Lớp: CT1701

Ngành: Công nghệ Thông tin
Tên đề tài: Ghép ảnh Panorama dựa trên đối sánh các đặc trưng bất biến

Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
4
NHIỆM VỤ ĐỀ TÀI
1. Nội dung và các yêu cầu cần giải quyết trong nhiệm vụ đề tài tốt nghiệp

a. Nội dung

b. Các yêu cầu cần giải quyết

2. Các số liệu cần thiết để thiết kế, tính toán

3. Địa điểm thực tập

Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
5
CÁN BỘ HƯỚNG DẪN ĐỀ TÀI TỐT NGHIỆP
Người hướng dẫn thứ nhất:
Họ và tên: Ngô Trường Giang
Học hàm, học vị: Tiến Sĩ
Cơ quan công tác: Trường Đại Học Dân Lập Hải Phòng
Nội dung hướng dẫn:
………………………………………………………………………………………………………………………………..
………………………………………………………………………………………………………………………………..
………………………………………………………………………………………………………………………………..
………………………………………………………………………………………………………………………………..
Người hướng dẫn thứ hai:
Họ và tên:
Học hàm, học vị:
Cơ quan công tác:
Nội dung hướng dẫn:
………………………………………………………………………………………………………………………………..
………………………………………………………………………………………………………………………………..
………………………………………………………………………………………………………………………………..
………………………………………………………………………………………………………………………………..
Đề tài tốt nghiệp được giao

ngày tháng năm 2017
Yêu cầu phải hoàn thành trước

ngày tháng năm 2017
Đã nhận nhiệm vụ: Đ.T.T.N

Đã nhận nhiệm vụ: Đ.T.T.N

Sinh viên

Cán bộ hướng dẫn Đ.T.T.N

Ts. Ngô Trường Giang

Hải Phòng, ngày …….. tháng …….. năm 2017
HIỆU TRƯỞNG

GS.TS.NGƯT Trần Hữu Nghị
Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
6
PHẦN NHẬN XÉT TÓM TẮT CỦA CÁN BỘ HƯỚNG DẪN

1. Tinh thần thái độ của sinh viên trong quá trình làm đề tài tốt nghiệp:
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
2. Đánh giá chất lượng của đề tài tốt nghiệp (so với nội dung yêu cầu đã đề ra
trong nhiệm vụ đề tài tốt nghiệp)
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
3. Cho điểm của cán bộ hướng dẫn:
(Điểm ghi bằng số và chữ)
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
Ngày …….. tháng …….. năm 2017

Cán bộ hướng dẫn chính

(Ký, ghi rõ họ tên)

Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
7
PHẦN NHẬN XÉT ĐÁNH GIÁ CỦA CÁN BỘ CHẤM PHẢN BIỆN ĐỀ
TÀI TỐT NGHIỆP
1. Đánh giá chất lượng đề tài tốt nghiệp (về các mặt như cơ sở lý luận, thuyết
minh chương trình, giá trị thực tế, …)
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
2. Cho điểm của cán bộ phản biện
(Điểm ghi bằng số và chữ)
………………………………………………………………………………………………………………………
………………………………………………………………………………………………………………………
Ngày …….. tháng …….. năm 2017

Cán bộ chấm phản biện

(Ký, ghi rõ họ tên)

Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
8
LỜI CẢM ƠN
Để hoàn thành đồ án này, ngoài sự cố gắng của bản thân, em xin chân
thành cảm ơn các thầy giáo, cô giáo trong ban giám hiệu nhà trường, ban chủ
nhiệm khoa cùng các thầy, cô giáo trong khoa Công nghệ thông tin – Trường
đại học Dân Lập Hải Phòng đã tạo mọi điều kiện thuận lợi cho em trong quá
trình học tập tại trường. Đặc biệt, em xin chân thành cảm ơn sự hướng dẫn tận
tình của TS.Ngô Trường Giang – giảng viên khoa Công nghệ thông tin trường
Đại học Dân Lập Hải Phòng đã tạo mọi điều kiện giúp đỡ em hoàn thành đồ
án.
Em xin gửi lời cảm ơn chân thành đến các bạn lớp CT1701 (Khóa
2013-2017) đã động viên tinh thần và giúp đỡ em trong cuộc sống cũng như
trong quá trình học tập.
Cuối cùng em xin gửi lời cảm ơn đặc biệt nhất tới gia đình, bố, mẹ,
những người động viên, khích lệ để giúp em hoàn thành đồ án này.
Em rất mong nhận được những sự góp ý của thầy cô giáo và các bạn
sinh viên để đề tài của em được hoàn thiện hơn.

Em xin chân thành cảm ơn!

Hải Phòng, ngày 27 tháng 12 năm 2017

Người thực hiện
Lương Văn Kiên

Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
9
MỤC LỤC

LỜI CẢM ƠN
………………………………………………………………………………………………………..
1
MỤC LỤC …………………………………………………………………………………………………………….
9
DANH MỤC HÌNH ẢNH
……………………………………………………………………………………..
11
MỞ ĐẦU
……………………………………………………………………………………………………………..
12
CHƯƠNG 1:
TỔNG QUAN VỀ ĐỐI SÁNH ẢNH
…………………………………………….
14
1.1 Tổng quan về ảnh số ……………………………………………………………………..
14
1.1.1
Khái niệm về ảnh số
………………………………………………………….. 14
1.1.2
Điểm ảnh …………………………………………………………………………. 14
1.1.3
Mức xám của ảnh ……………………………………………………………… 15
1.1.4
Lược đồ mức xám …………………………………………………………….. 15
1.1.5
Độ phân giải của ảnh
…………………………………………………………. 16
1.2 Một số vấn đề trong xử lý ảnh ………………………………………………………..
16
1.2.1
Biến đổi ảnh …………………………………………………………………….. 16
1.2.2
Biểu diễn ảnh
……………………………………………………………………. 16
1.2.3
Phân tích ảnh ……………………………………………………………………. 17
1.2.4
Nhận dạng ảnh
………………………………………………………………….. 17
1.2.5
Nén ảnh …………………………………………………………………………… 18
1.3 Các đặc trưng của ảnh số ……………………………………………………………….
18
1.3.1
Đặc trưng về màu sắc
………………………………………………………… 19
1.3.2
Đặc trưng kết cấu ……………………………………………………………… 19
1.3.3
Đặc trưng hình dạng
………………………………………………………….. 19
1.3.4
Đặc trưng cục bộ bất biến ………………………………………………….. 20
1.4 Đối sánh ảnh…………………………………………………………………………………
21
1.4.1
Giới thiệu về đối sánh ảnh …………………………………………………. 21
1.4.2
Các phương pháp đối sánh ảnh …………………………………………… 22
1.4.3
Đối sánh dựa theo đặc trưng ………………………………………………. 23
CHƯƠNG 2:
GHÉP ẢNH PANORAMA DỰA TRÊN ĐỐI SÁNH ĐẶC TRƯNG
BẤT BIẾN
…………………………………………………………………………………………………..
26
2.1 Tổng quan về ghép ảnh ………………………………………………………………….
26
Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
10
2.1.1
Giới thiệu về ghép ảnh ………………………………………………………. 26
2.1.2
Các kiểu ghép ảnh …………………………………………………………….. 27
2.1.3
Quá trình ghép ảnh Panorama
…………………………………………….. 29
2.1.4
Các kỹ thuật ghép ảnh Panorama
………………………………………… 36
2.2 Ghép ảnh Panorama dựa trên đặc trưng bất biến của ảnh …………………..
38
2.2.1
Trích chọn đặc trưng bất biến của ảnh
…………………………………. 38
2.2.2
Đối sánh các đặc trưng bất biến ………………………………………….. 43
2.2.3
Tính toán ma trận Homography ………………………………………….. 45
2.2.4
Ghép ảnh dựa trên ma trận Homography
……………………………… 50
CHƯƠNG 3:
THỰC NGHIỆM TẠO ẢNH PANORAMA …………………………………
52
3.1 Môi trường cài đặt
…………………………………………………………………………
52
3.2 Giao diện chương trình ………………………………………………………………….
53
3.3 Chạy chương trình thực nghiệm ……………………………………………………..
53
3.4 Kết quả chạy thực nghiệm ……………………………………………………………..
61
KẾT LUẬN
………………………………………………………………………………………………………….
66
MỘT SỐ TÀI LIỆU THAM KHẢO ……………………………………………………………………..
67

Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
11
DANH MỤC HÌNH ẢNH
Hình 1.1: Ảnh đầu vào được thể hiện trên lược đồ xám
Hình 2.1: Ví dụ về ảnh khảm
Hình 2.2: Máy ảnh panorama
Hình 2.3: Ví dụ về ảnh Panorama
Hình 2.4: Máy ảnh được đặt trên một giá trượt
Hình 2.5: Mô hình chụp ảnh có ván trượt
Hình 2.6: Ví dụ cho recognize panorama
Hình 2.7: Ảnh panorama chưa được trộn màu
Hình 2.8: Ảnh panorama sau khi được trộn màu
Hình 2.9: Ảnh panorama kết quả
Hình 2.10: Ảnh panorama sau khi được cắt
Hình 2.11: Ví dụ về kết cấu nhân tạo
Hình 2.12: Ví dụ về kết cấu tự nhiên
Hình 2.13: Cửa sổ trượt phát hiện góc Harris
Hình 2.14: Minh họa các trường hợp λ1 và λ2
Hình 2.15: Bộ mô tả cục bộ
Hình 2.16: Ví dụ về đối sánh hai tập đặc trưng
Hình 2.17: Phép chiếu Homography
Hình 2.18: Minh họa ghép nối ảnh
Hình 3.1: Giao diện chính của chương trình
Hình 3.2: Ảnh đầu vào thứ nhất
Hình 3.3: Ảnh đầu vào thứ hai
Hình 3.4: Ảnh đầu vào thứ ba
Hình 3.5: Hộp thoại chọn ảnh để ghép
Hình 3.6: Hình ảnh được chọn sẽ hiển thị trên giao diện
Hình 3.7: Click “Stitch image” để tiến hành ghép ảnh
Hình 3.8: Kết quả tìm kiếm góc cho ảnh đầu vào thứ nhất
Hình 3.9: Kết quả tìm kiếm góc cho ảnh đầu vào thứ hai
Hình 3.10: Kết quả tìm kiếm góc cho ảnh đầu vào thứ ba
Hình 3.11: Đối sánh ảnh thứ nhất và ảnh thứ hai
Hình 3.12 Đối sánh ảnh thứ hai và ảnh thứ ba
Hình 3.13: Ảnh thứ nhất bị biến đổi theo ảnh thứ hai
Hình 3.14: Ảnh thứ hai làm tâm nên không bị biến đổi
Hình 3.15: Ảnh thứ ba bị biến đổi theo ảnh thứ hai
Hình 3.16: Ảnh panorama kết quả
Hình 3.17: Hai ảnh có tỷ lệ trùng nội dung thấp
Hình 3.20: Hai ảnh đầu vào có vị trí đứng chụp khác nhau
Hình 3.20: Hai ảnh đầu vào có vị trí đứng chụp khác nhau
Hình 3.22: Hai ảnh đầu vào có vị trí lệch nhau nhiều
Hình 3.19: Hai ảnh kết quả với hai ngưỡng đối sánh khác nhau

Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
12
MỞ ĐẦU
Xử lý ảnh số có nhiều ứng dụng trong thực tế. Một trong những ứng
dụng
sớm nhất là xử lý ảnh từ nhiệm vụ Ranger 7 tại phòng thí nghiệm Jet
Propulsion
vào những năm đầu của thập kỷ 60. Hệ thống chụp hình gắn trên tàu vũ trụ có
một số hạn chế về kích thước và trọng lượng, do đó ảnh nhận được bị giảm
chất lượng như mờ, méo hình học và nhiễu nền. Các ảnh đó được xử lý thành
công nhờ máy tính số. Hình ảnh của mặt trăng và sao hỏa mà chúng ta thấy
trong các tạp chí đều được xử lý bằng máy tính số.
Bên cạnh ngôn ngữ giao tiếp, các thông tin dưới dạng hình ảnh đóng
một vai trò rất quan trọng trong việc trao đổi thông tin. Trong công nghệ
thông tin, xử lý ảnh và đồ họa đã chiếm một vị trí rất quan trọng bởi vì các
đặc tính đầy hấp dẫn đã tạo nên một sự phân biệt với các lĩnh vực khác. Ta
biết rằng phần lớn các thông tin mà con người thu thập được qua thị giác đều
bắt nguồn từ các ảnh. Do đó việc xử lý ảnh và đồ họa là một bộ phận quan
trọng trong việc trao đổi thông tin giữa người và máy.
Trong cuộc sống hiện đại ngày nay, người máy càng đóng vai trò quan
trọng trong công nghiệp và gia đình. Chúng sẽ thực hiện những công việc rất
nhàm chán hoặc nguy hiểm, và những công việc mà tốc độ và độ chính xác
vượt quá khả năng của con người. Khi người máy trở nên tinh vi hơn, thị giác
máy tính sẽ đóng vai trò ngày càng quan trọng. Người ta sẽ đòi hỏi người máy
không những phát hiện và nhận dạng các bộ phận công nghiệp, mà còn hiểu
được những gì chúng thấy và đưa ra những hành động phù hợp. Xử lý ảnh sẽ
tác động lớn đến thị giác máy tính.
Những ứng dụng khác của xử lý ảnh là vô cùng đa dạng. Ngoài những
ứng dụng đã thảo luận ở trên, còn bao gồm cả các lĩnh vực khác như điện tử
gia đình, thiên văn học, sinh vật học, vật lý, nông nghiệp, nhân chủng học, …
Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
13
Đặc biệt, xử lý ảnh còn được ứng dụng trong ghép ảnh để tạo ra những bức
ảnh có chiều rộng và chiều sâu mà khi chụp máy ảnh không cho phép góc
nhìn rộng như thế.
Ngày nay, hầu hết các loại máy ảnh thông thường dù độ phân giải cao
nhưng cũng chỉ có thể ghi lại được một phần của những đối tượng có kích
thước lớn như công viên hay một thành phố. Do vậy yêu cầu được đặt ra là
phải làm như thế nào để có thể ghép được các tấm ảnh nhỏ đó thành một tấm
ảnh lớn hiển thị đầy đủ các đối tượng có kích thước lớn đó. Đây cũng chính là
lý do mà em chọn chủ đề ghép ảnh panorama dựa trên đối sánh đặc trưng
trong đồ án.

Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
14
CHƯƠNG 1: TỔNG QUAN VỀ ĐỐI SÁNH ẢNH
1.1 Tổng quan về ảnh số
1.1.1 Khái niệm về ảnh số
Ảnh số là tập hợp hữu hạn các điểm ảnh với mức xám phù hợp dùng để
mô tả gần nhất với ảnh thật. Số điểm ảnh xác định độ phân giải của ảnh, độ
phân giải càng cao thì càng thể hiện rõ nét các đặc điểm của tấm hình, càng
làm cho tấm ảnh trở nên thực và sắc nét hơn.
Ảnh có thể được biểu diễn theo một trong hai mô hình: mô hình Vector
hoặc mô hình Raster.
 Mô hình Vector: Ngoài mục đích tiết kiệm không gian lưu trữ, dễ dàng
hiển thị và in ấn, các ảnh biểu diễn theo mô hình vector còn có ưu điểm
cho phép dễ dàng lựa chọn, sao chép, di chuyển, tìm kiếm… Trong mô
hình này, hướng vector của các điểm ảnh lân cận được sử dụng để mã
hóa và tái tạo lại hình ảnh ban đầu. Các ảnh vector được thu nhận trực
tiếp từ các thiết bị số hóa như Digitalize hoặc được chuyển đổi từ các
ảnh Raster thông qua các chương trình vector hóa.
 Mô hình Raster: là mô hình biểu diễn ảnh thông dụng nhất hiện nay.
Ảnh được biểu diễn dưới dạng ma trận các điểm ảnh. Tùy theo nhu cầu
thực tế mà mỗi điểm ảnh có thể được biểu diễn bởi một hay nhiều bit.
Mô hình Raster thuận lợi cho việc thu nhận, hiển thị và in ấn. Các ảnh
được sử dụng trong phạm vi của đề tài này cũng là các ảnh được biểu
diễn theo mô hình Raster.
1.1.2 Điểm ảnh
Điểm ảnh (Pixel) là một phần tử của ảnh số tại tọa độ (x, y) với độ xám
hoặc màu nhất định. Kích thước và khoảng cách giữa các điểm ảnh đó được
chọn thích hợp sao cho mắt người cảm nhận được sự liên tục về không gian
và mức xám (hoặc màu) của ảnh số gần như ảnh thật. Mỗi phần tử trong ma
trận được gọi là một phần tử ảnh.
Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
15
1.1.3 Mức xám của ảnh
Là kết quả của sự biến đổi tương ứng một giá trị độ sáng của một điểm
ảnh với một giá trị nguyên dương. Thông thường nó xác định trong khoảng từ
0 đến 255 tùy thuộc vào giá trị mà mỗi điểm ảnh được biểu diễn.
1.1.4 Lược đồ mức xám
Lược đồ mức xám (Histogram) hay còn gọi là lược đồ xám của một ảnh
là một hàm cung cấp tần suất xuất hiện của mỗi mức xám (grey level).
Lược đồ xám của một ảnh có các mức xám trong khoảng [0, L-1] là
một hàm rời rạc p(rk)=nk/n. Trong đó nk là số pixel mức xám thứ rk, n là tổng
số pixel của ảnh và k = 1, 2, 3, …, L-1. Vẽ hàm này với tất cả các giá trị của k
sẽ biểu diễn khái quát sự xuất hiện các mức xám của một ảnh. Lược đồ mức
xám của ảnh có thể được biểu diễn thông qua tần suất xuất hiện mỗi mức xám
trên hệ tọa độ vuông góc Oxy. Trong đó, trục hoành biểu diễn số mức xám từ
0 đến N (số bit của ảnh xám), trục tung biểu diễn số pixel của mỗi mức xám.
Nhìn vào biểu đồ có thể biết được phân bố cường độ sáng của một ảnh,
với những ảnh mà phân bố histogram lệch về bên phải thì ảnh đó là một ảnh
có độ sáng tốt, ngược lại thì ảnh đó là một ảnh tối.

Hình 1.1: Ảnh đầu vào được thể hiện trên lược đồ xám

Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
16
1.1.5 Độ phân giải của ảnh
Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh được ấn định
trên một ảnh số được hiển thị. Như trình bày ở trên, khoảng cách giữa các
điểm ảnh phải được chọn sao cho mắt người vẫn thấy được sự liên tục của
ảnh. Việc lựa chọn khoảng cách thích hợp tạo nên một mật độ phân bổ, đó
chính là độ phân giải và được phân bố theo trục x và y trong không gian hai
chiều.
1.2 Một số vấn đề trong xử lý ảnh
1.2.1 Biến đổi ảnh
Thuật ngữ biến đổi ảnh thường được dùng để nói tới một lớp các ma
trận đơn vị và các kỹ thuật dùng để biến đổi ảnh. Cũng như các tín hiệu một
chiều được biểu diễn bởi một chuỗi các hàm cơ sở, ảnh cũng có thể được biểu
diễn dưới một số chuỗi rời rạc các ma trận cơ sở gọi là ảnh cơ sở. Phương
trình ảnh cơ sở có dạng:

,1
*
*T
k
k
l
A
a a


Với ak là cột thứ k của ma trận A. A là ma trận đơn vị. Có nghĩa là
AA*T=1. Các A*k, l được định nghĩa ở trên với k, l = 0, 1, 2, …, N-1 là ảnh cơ
sở. Có nhiều loại biến đổi được dùng như:
 Biến đổi Fourier, Sin, Cosin, Hadamard….
 Tích Kronecker.
 Biến đổi KL (Krhumen loeve).
Do phải xử lý nhiều thông tin, các phép toán nhân và cộng trong khai
triển là quá lớn, nên các phép biến đổi trên nhằm giảm thứ nguyên của ảnh để
việc xử lý ảnh được hiệu quả hơn.
1.2.2 Biểu diễn ảnh
Trong biểu diễn ảnh, người ta thường dùng các phần tử đặc trưng của
ảnh là pixel. Các mô hình biểu diễn ảnh cho thấy một mô tả logic hay định
Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
17
lượng các tính chất của hàm này. Trong biểu diễn ảnh cần chú ý đến tính
trung thực của ảnh hoặc các tiêu chuẩn để đo chất lượng ảnh hoặc tính hiệu
quả của các kỹ thuật xử lý.
Việc xử lý ảnh số yêu cầu ảnh phải được mẫu hóa và lượng tử hóa.
Việc lượng tử hóa ảnh là chuyển đổi tín hiệu tương tự sang tín hiệu số của
một ảnh đã lấy mẫu sang một số hữu hạn mức xám.
Một số mô hình thường được dùng trong biểu diễn ảnh: Mô hình toán,
mô hình thống kê. Trong mô hình toán, ảnh hai chiều được biểu diễn nhờ các
hàm hai biến trực giao gọi là các hàm cơ sở. Với mô hình thống kê, một ảnh
được coi như một phần tử của một tập hợp đặc trưng bởi các đại lượng như:
kỹ vọng toán học, hiệp biến, phương sai, moment.
1.2.3 Phân tích ảnh
Phân tích ảnh liên quan đến việc xác định các độ đo định lượng của một
ảnh để đưa ra một mô tả đầy đủ về ảnh. Các kỹ thuật được sử dụng nhiều nhất
là các kỹ thuật phát hiện biên của ảnh, ví dụ như lọc vi phân hay dò theo quy
hoạch động. Bên cạnh đó, người ta cũng có thể dùng các kỹ thuật để phân
vùng ảnh. Từ ảnh thu được tiến hành kỹ thuật tách (split) hay hợp (fusion)
dựa theo các tiêu chuẩn đánh giá như: màu sắc, cường độ, vv… Các phương
pháp được biết đến như Quad-Tree, mảnh hóa biên, nhị phân hóa đường biên.
Cuối cùng, phải kể đến các kỹ thuật phân lớp dựa theo cấu trúc.
1.2.4 Nhận dạng ảnh
Nhận dạng ảnh là quá trình liên quan đến các mô tả đối tượng mà người
ta muốn đặc tả nó. Quá trình nhận dạng thường đi sau quá trình trích chọn các
đặc tính chủ yếu của đối tượng:
 Mô tả tham số (nhận dạng theo tham số).
 Mô tả theo cấu trúc (nhận dạng theo cấu trúc).
Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
18
Trên thực tế, con người đã áp dụng kỹ thuật nhận dạng khá thành công
với nhiều đối tượng khác nhau như: nhận dạng ảnh vân tay, nhận dạng chữ
(chữ cái, chữ số, chữ có dấu).
1.2.5 Nén ảnh
Dữ liệu ảnh cũng như các dữ liệu khác cần phải lưu trữ hay truyền đi
trên mạng. Như đã nói ở trên, lượng thông tin để biểu diễn cho một ảnh là rất
lớn. Do đó làm giảm lượng thông tin hay nén dữ liệu là một nhu cầu cần thiết.
Phân loại phương pháp nén bao gồm:
 Dựa vào nguyên lý nén:
o Nén không mất thông tin: Sau khi giải nén ta thu được chính xác
dữ liệu gốc.
o Nén có mất thông tin: Sau khi nén ta không thu được dữ liệu như
bản gốc.
 Dựa vào cách thức thực hiện nén:
o Phương pháp không gian: Tác động trực tiếp lên việc lấy mẫu
của ảnh trong miền không gian.
o Phương pháp sử dụng biến đổi: Tác động lên sự biến đổi của ảnh
gốc.
 Dựa vào triết lý của sự mã hóa:
o Các phương pháp nén thế hệ thứ nhất: Gồm các phương pháp mà
mức độ tính toán là đơn giản.
o Các phương pháp nén thế hệ thứ hai: Dựa vào độ bão hòa của tỷ
lệ nén.
1.3 Các đặc trưng của ảnh số
Trong phạm vi xử lý ảnh, đặc trưng ảnh số là một phần thông tin ảnh số
thích hợp cho các nhiệm vụ tính toán liên quan đến một ứng dụng nhất định.
Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
19
Những đặc trưng đó có thể là kết cấu đặc biệt trong ảnh số như các điểm, các
cạnh của một đối tượng hoặc một đối tượng nào đó trong ảnh. Mặt khác, các
đặc trưng của ảnh số cũng có thể là kết quả của một phép biến đổi toàn diện
hoặc là các phương pháp phát hiện điểm đặc trưng được áp dụng trên toàn bộ
ảnh đó.
Điểm đặc trưng trong ảnh là một điểm ảnh có chứa nhiều thông tin hơn
các điểm ảnh lân cận. Biểu diễn ảnh theo điểm đặc trưng sẽ cô đọng hơn,
giảm được không gian tìm kiếm trong các bài toán ứng dụng.
1.3.1 Đặc trưng về màu sắc
Là một đặc trưng nổi bật và được sử dụng phổ biến nhất trong các ứng
dụng xử lý ảnh [3]. Mỗi một điểm ảnh (thông tin màu sắc) có thể biểu diễn
trong không gian màu sắc 3 chiều. Các không gian màu sắc thường dùng là:
RGB, CIE, HSV …
Hiện nay các công cụ tìm kiếm như google, yahoo, bing … đều dựa
theo đặc trưng về màu sắc để tìm kiếm ảnh liên quan kết hợp với đặc trưng
kết cấu và đặc trưng hình dạng.
1.3.2 Đặc trưng kết cấu
Kết cấu cung cấp thông tin về sự sắp xếp về mặt không gian của màu
sắc và cường độ một ảnh. Kết cấu được đặc trưng bởi sự phân bố không gian
của những mức cường độ trong một khu vực lân cận với nhau. Kết cấu gồm
các kết cấu gốc hay nhiều kết cấu gộp lại đôi khi gọi là texel.
Đặc trưng kết cấu được sử dụng rộng rãi và rất trực quan nhưng không
có định nghĩa chính xác bởi tính biến thiên rộng của nó. Có rất nhiều cách để
mô tả kết cấu: Những phương pháp thống kê thường sử dụng tần số không
gian, ma trận biến cố, tần số biên, …
1.3.3 Đặc trưng hình dạng
Hình dạng của một ảnh hay một vùng là một đặc trưng quan trọng trong
việc xác định và phân biệt ảnh trong nhận dạng mẫu. Định nghĩa hình dạng
Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
20
của đối tượng thường là rất khó. Hình dạng thường được biểu diễn bằng lời
nói hoặc hình vẽ, và mọi người thường sử dụng thuật ngữ như là tròn, méo.
Xử lý hình dạng dựa trên máy tính đòi hỏi rất phức tạp, trong khi rất nhiều
phương pháp mô tả hình dạng thực tế đang tồn tại nhưng không có một
phương pháp chung nào cho mô tả hình dạng. Có hai kiểu đặc trưng hình
dạng chính thường được sử dụng:
 Những đặc trưng dựa trên biên: chỉ sử dụng đường bao ngoài của hình
dạng.
 Những đặc trưng vùng: sử dung toàn bộ vùng của hình dạng.
Mục tiêu chính của biểu diễn hình dạng trong nhận dạng mẫu là đo
thuộc tính hình học của một đối tượng được dùng trong phân lớp, so sánh và
nhận dạng đối tượng.
Độ đo về hình dạng có rất nhiều trong phạm vi lý thuyết xử lý ảnh.
Chúng trải rộng từ những độ đo toàn cục dạng thô sơ trợ giúp cho việc nhận
dạng đối tượng, cho tới những độ đo chi tiết tự động tìm kiếm những hình
dạng đặc biệt.
1.3.4 Đặc trưng cục bộ bất biến
Là những điểm đặc trưng không thay đổi khi xoay ảnh, co giãn ảnh hay
thay đổi cường độ sáng của ảnh. SIFT là đặc trưng bất biến được sử dụng
rộng rãi:
 SIFT: Là viết tắt của cụn từ Scale-Invariant Feature Transform, là một
trong những thuật toán nổi tiếng nhất hiện nay dùng để phát hiện và mô
tả các đặc trưng ảnh số. Thuật toán này được công bố bởi David Lowe
vào năm 1999.
 SURF: Là viết tắt của cụm từ Speeded Up Robust Features, được giới
thiệu vào năm 2006 bởi nhóm các nhà nghiên cứu bao gồm Herbert
Bay, Tinne Tuytelaars và Luc Van Gool. Được phát triển dựa trên thuật
Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
21
toán SIFT nhưng được cải tiến để cho tốc độ xử lý nhanh hơn giải thuật
SIFT.
Ở thuật toán SIFT, việc tìm scale-space dựa trên việc tính gần đúng
LoG(Laplace of Gaussion) dùng DoG (Difference of Gaussion), trong khi đó
SURF sử dụng Box Filter, tốc độ xử lý sẽ được cải thiện đáng kể với việc
dùng ảnh tích phân (integral image). Ở bước xác định hướng, SURF sử dụng
wavelet response theo hai chiều dọc và ngang, sau đó tình hướng chính bằng
cách tính tổng các response đó.
1.4 Đối sánh ảnh
1.4.1 Giới thiệu về đối sánh ảnh
Đối sánh ảnh là một bài toán đã và đang thu hút được sự quan tâm của
các nhà nghiên cứu và phát triển[1]. Mỗi khi bài toán này được giải quyết, nó
mở ra rất nhiều các ứng dựng hữu ích như: tìm kiếm ảnh, nhận dạng, theo dõi
và phát hiện đối tượng, ghép ảnh, vv. Đối sánh hai ảnh là tìm ra những vùng
giống nhau trên hai ảnh.
Thông thường, để đối sánh ảnh cần so sánh các phần tử cơ bản cấu
thành nên nó. Đơn giản nhất là so sánh các điểm ảnh (pixel). Tuy nhiên phép
so sánh này đòi hỏi nhiều thời gian tính toán và thường không đạt được độ
chính xác như mong muốn.
Giải pháp đầu tiên cho vấn đề đối sánh ảnh được đề xuất bởi Hobrough
vào cuối những năm 1950. Hệ thống tự động tìm kiếm các điểm liên hợp đầu
tiên được giới thiệu bởi công ty Wild Heerbrugg năm 1964 nhưng lại không
được sử dụng phổ biến. Tuy nhiên, ý tưởng của Hobrough áp dụng mối tương
quan chéo lại được nhiều người sử dụng. Từ những năm 1970, việc tập trung
phát triển đối sánh ảnh và đối sánh tương quan gặt hái được nhiều thành công
và được áp dụng trong hệ thống đo độ tương tự cho ảnh (Helava, 1978). Ngày
nay, công nghệ đối sánh ảnh được tính hợp trong nhiều phần mềm xử lý ảnh
được sử dụng như là một công cụ tính toán. Có rất nhiều nghiên cứu được
Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
22
thực hiện với mong muốn tìm hai điểm tương đồng trên hai bức ảnh. Thuật
toán tìm kiếm điểm tương đồng có thể thực hiện được trên ảnh 2D.
Vấn đề chính của việc đối sánh ảnh là việc chọn một đối tượng phù hợp
và cách thức để so sánh nó. So sánh theo từng pixel sẽ không khả thi với
những ảnh có kích thước lớn vì nó sẽ cần tính toán nhiều hơn, mất nhiều thời
gian hơn, hoặc muốn rút ngắn thời gian thì cần có phần cứng xử lý mạnh hơn.
Hơn nữa dẫn đến sự không chính xác vì sự lặp đi lặp lại của các màu có cùng
giá trị mức xám và nhiễu của ảnh. Để giải quyết vấn đề đó, thay vì đối sánh
từng pixel một dẫn đến dữ liệu đầu vào quá lớn thì ta sẽ giảm dữ liệu đầu vào
bằng cách đưa vào các đặc trưng của cả hai ảnh rồi tiến hành đối sánh trên các
đặc trưng đó.
1.4.2 Các phương pháp đối sánh ảnh
1.4.2.1 Đối sánh dựa theo vùng
Phương pháp này còn được gọi là phương pháp tương quan hay đối
sánh mẫu. Phương pháp này kết hợp giữa đối sánh đặc trưng và đối sánh
thành phần. Cường độ xám của ảnh được sử dụng làm cơ sở cho việc đối sánh
ảnh. Do việc đối sánh từng pixel của cả hai ảnh là một việc bất khả thi nên
thay vào đó, ta sẽ đối sánh một tập các điểm ảnh lân cận nhau để giảm số lần
tính toán. Tại ảnh thứ nhất sử dụng một cửa sổ có kích thước m*n (thông
thường là m=n để có thể dễ dàng tìm được tọa độ điểm trung tâm của cửa sổ)
đem so sánh với một “mẫu” cũng là cửa sổ có kích thước tương tự ở ảnh thứ
hai. Các phép so sánh được thực hiện trên cửa sổ. Trong phép đo ảnh thì
tương quan chéo và đối sánh bình phương tối thiểu là những kỹ thuật được sử
dụng nhiều trong đối sánh ảnh dựa theo vùng.
Kích thước mẫu càng lớn thì yêu cầu về tính đặc trưng của thực thể
được đối sánh càng cao. Mặt khác sự biến dạng hình học gây ra bởi hiện
tượng xoay ảnh cũng sẽ ảnh hưởng tới kết quả đối sánh của các mẫu có kích
thước lớn. Yêu cầu về tính đặc trưng của thực thể cũng không được thỏa mãn
Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
23
nếu vùng đó bị lặp đi lặp lại hoặc độ tương phản và cấu trúc thấp (Ví dụ: cát
sa mạc, nước biển). Những vùng bị che khuất bởi các đối tượng khác cao hơn
cũng nên bị loại bỏ. Để có được kết quả chấp nhận được, kích thước của mẫu
phải nhỏ hoặc hình dạng phải thích nghi với biến dạng hình học.
Để tránh sai lệch về kết quả đối sánh, vị trí của cửa sổ tìm kiếm phải
được xác định chính xác trong đối sánh dựa theo vùng. Kích thước của cửa sổ
tìm kiếm phụ thuộc vào vị trí chính xác và về độ biến dạng do hướng của ảnh.
Sau khi tìm ra vị trí phù hợp nhất thì cần đánh giá độ chính xác và độ
tin cậy của kết quả đổi sánh tìm được. Thiết lập ngưỡng cho các phép đối
sánh là một biện pháp để giảm thiểu việc đối sánh bị sai lệch. Ngoài biện
pháp sử dụng ngưỡng thì có thể sử dụng phương pháp điều chỉnh hình học để
tính toán và loại trừ những kết quả đối sánh sai.
1.4.3 Đối sánh dựa theo đặc trưng
Trái ngược với phương pháp đối sánh dựa theo vùng phương pháp đối
sánh dựa trên đặc trưng sử dụng sự biến đổi đột ngột về các giá trị mức xám
tương ứng với các đặc trưng của ảnh làm cơ sở để đối sánh như cạnh, góc,
hoặc điểm đặc trưng của ảnh. Kỹ thuật đối sánh dựa theo đặc trưng vượt trội
hơn so với kỹ thuật đối sánh dựa theo vùng. Kỹ thuật đối sánh dựa vào đặc
trưng của ảnh về cơ bản gồm 3 bước chính:
 Chọn các điểm là điểm đặc trưng của ảnh (cạnh, góc, điểm) trong mỗi
ảnh độc lập.
 Xây dựng danh sách các cặp điểm có thể là tương đồng.
 Tiến hành đối sánh và trả về kết quả tập các điểm tương.
Thông thường người ta sẽ tích hợp cả đối sánh vùng và đối sánh điểm
đặc trưng vào các phần mềm ghép ảnh để đạt được kết quả chính xác nhất và
tốc độ xử lý nhanh hơn, tốn ít thời gian hơn. Với sự phát triển của công nghệ
như hiện tại thì thực hiện đối sánh trên những ảnh cỡ nhỏ thì thời gian thực
Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
24
hiện không đáng kể, nhưng đối với ảnh có kích thước lớn thì việc tối ưu thuật
toán, cải thiện tốc độ thực hiện thuật toán cũng là một vấn đề cần được quan
tâm.
1.4.3.1 Điểm quan tâm (Interest points)
Đối sánh dựa trên đặc trưng của ảnh áp dụng tốt nhất trên các khu vực
ảnh có độ tương phản cao. Những điểm có thể được mô tả bằng sự chênh lệch
cao về giá trị mức xám hoặc có gradient dốc được gọi là điểm quan tâm. Các
điểm quan tâm nên có sự khác biệt, bất biến đối với sự biến dạng hình học và
chất lượng của bức ảnh và có tính ổn định. Việc tìm kiếm điểm quan tâm
trong ảnh được thực hiện qua hai bước:
 Tính toán các đặc trưng ở mỗi cửa sổ của ảnh được chọn.
 So sánh giá trị vừa tìm được với một ngưỡng cho trước.
Đặc trưng khác nhau với mỗi toán tử khác nhau, nhưng về cơ bản đều
dựa trên giá trị mức xám bên trong mỗi cửa sổ trượt. Chỉ có những cửa sổ mà
có giá trị lớn hơn hoặc nhỏ hơn ngưỡng mới được chấp nhận là điểm quan
tâm. Một danh sách các điểm quan tâm của mỗi ảnh được đối sánh với tọa độ
điểm ảnh của nó (điểm trung tâm của mỗi cửa sổ trượt) và mô tả của chúng là
kết quả của quá trình xử lý.
1.4.3.2 Cạnh và vùng
Cạnh có thể mô tả như là việc thay đổi đột ngột giá trị mức xám trong
một vùng nhỏ. Cạnh thường tương ứng với biên của đối tượng trong ảnh. Quá
trình trích xuất cạnh rất phức tạp và trải qua 3 bước bao gồm:
 Xác định các điểm ảnh nằm trên cạnh, giá trị mức xám bị ngắt quãng sẽ
được xác định bằng trung bình cộng của các toán tử cạnh. Điểm đó có
được xác định là điểm nằm trên cạnh hay không dựa vào kết quả so
sánh giá trị mức xám với một ngưỡng cho trước.
 Nối các điểm ảnh với nhau và làm liền biên.
Ghép ảnh panorama dựa trên đối sánh đặc trưng bất biến
Lương Văn Kiên _ CT1701
25
 Nhóm các cạnh với nhau, phân đoạn.
Toán tử cạnh sẽ phát hiện ra sự thay đổi của giá trị mức xám trong ảnh,
dựa trên phép đạo hàm bậc nhất để tìm ra cực trị và định vị điểm cạnh. Một số
toán tử cạnh có thể dùng như toán tử Robert (Robert Cross), toán tử Sobel
(Sobel Operator), toán tử Prewitt (Prewitt Operator). Toán tử Sobel sẽ ít bị
ảnh hưởng bởi nhiễu của ảnh vì bao gồm cả những điểm ảnh lân cận.
Toán tử Laplacion dựa trên phép đạo hàm bậc hai. Để không bị ảnh
hưởng bởi nhiễu thì nó được kết hợp với toán tử Gaussion để làm mịn ảnh,
khử nhiễu.