MỤC LỤC

LỜI CẢM ƠN………………………………………………………………………………………………………………. ii
MỤC LỤC ………………………………………………………………………………………………………………….. iii
DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ …………………………………………………………………………. v
DANH MỤC CÁC BẢNG BIỂU …………………………………………………………………………………… vii
DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT …………………………………………………………. vii
MỞ ĐẦU …………………………………………………………………………………………………………………….. 1
1) Lý do chọn đề tài ………………………………………………………………………………………….. 1
2) Lịch sử nghiên cứu ……………………………………………………………………………………….. 1
3) Mục đích nghiên cứu của luận văn, đối tượng, phạm vi nghiên cứu. ……………………… 3
4) Các đóng góp mới của luận văn ………………………………………………………………………. 3
CHƯƠNG 1. TỔNG QUAN VỀ KIẾN TRÚC HADOOP……………………………………………………. 5
1.1. Kiến trúc của Hadoop …………………………………………………………………………………. 5
1.2. Các thành phần của Hadoop …………………………………………………………………………. 7
1.3. MapReduce ……………………………………………………………………………………………….. 8
1.3.1. Giới thiệu mô hình tính toán MapReduce ………………………………………………….. 8
1.3.2. Hadoop MapReduceEngine ………………………………………………………………….. 10
1.4. HDFS …………………………………………………………………………………………………….. 22
1.4.1. Kiến trúc HDFS ………………………………………………………………………………….. 24
1.4.2. NameNode và quá trình tƣơng tác giữa client và HDFS …………………………….. 25
1.4.3. Quá trình đọc file ………………………………………………………………………………… 25
1.4.4. Quá trình ghi file…………………………………………………………………………………. 26
1.4.5. Block size ………………………………………………………………………………………….. 27
1.4.6. Metadata ……………………………………………………………………………………………. 28
1.4.7. Các tính năng của NameNode ……………………………………………………………….. 29
1.4.8. Khả năng chịu lỗi và chuẩn đoán lỗi của HDFS ……………………………………….. 31
1.4.9. Các giao diện tương tác ……………………………………………………………………….. 32
1.5. Kết luận chương ………………………………………………………………………………………. 33
CHƯƠNG 2. MẠNG PETRI VÀ CÁC GIẢI PHÁP TÍNH TOÁN TỐC ĐỘ CỦA KIẾN TRÚC
CỤM ………………………………………………………………………………………………………………………… 34
2.1. Kiến trúc cụm của Hadoop. ………………………………………………………………………… 34
2.1.1. Kiến trúc cụm Hadoop đồng nhất …………………………………………………………… 36
2.1.2. Kiến trúc cụm Hadoop không đồng nhất …………………………………………………. 36
2.2. Tổng quan về mạng Petri …………………………………………………………………………… 37
2.2.1. Khái niệm về mạng Petri ………………………………………………………………………. 37
2.2.2. Định nghĩa mạng Petri …………………………………………………………………………. 37
2.2.3. Petri Net có đánh dấu (MPN) ………………………………………………………………… 40
2.2.4. Các đặc tính của mạng Petri ………………………………………………………………….. 41
2.2.5. Các đặc tính hành vi của PN …………………………………………………………………. 47
2.2.6. Các loại mạng Petri ……………………………………………………………………………… 55
2.2.7. Công cụ mô phỏng JMT ………………………………………………………………………. 60
2.3. Bài Toán Mô phỏng và phân tích tốc độ tính toán của cụm Hadoop cho xử lý dữ liệu
lớn ……………………………………………………………………………………………………………….. 61
2.3.1. Định nghĩa …………………………………………………………………………………………. 61
2.3.2. Ý nghĩa và ứng dụng ……………………………………………………………………………. 61
2.3.3. Các vấn đề khó khăn ……………………………………………………………………………. 61
2.3.4. Các giải pháp tính toán tốc độ của kiến trúc cụm ……………………………………… 62
2.4. Kết luận chƣơng. ……………………………………………………………………………………… 62
CHƯƠNG 3. MÔ PHỎNG VÀ PHÂN TÍCH TỐC ĐỘ TÍNH TOÁN CỦA CỤM HADOOP
KHÔNG ĐỒNG NHẤT……………………………………………………………………………………………….. 64
3.1. Phân tích Tốc độ tính toán của cụm Hadoop …………………………………………………. 64
3.2. Ứng dụng Stachostic Petri Net (SPN) cho mô hình hóa và phân tích tốc độ tính toán
của cụm Hadoop. ……………………………………………………………………………………………. 66
3.3. Đề xuất giải pháp tính tốc độ của kiến trúc cụm không đồng nhất. ……………………. 68
3.4. Thử nghiệm tốc độ tính toán trên hệ thống Hadoop đã xây dựng………………………. 69
3.4.1. Triển khai hệ thống ApacheHadoop trên hệ điều hành Linux. …………………….. 70
3.4.2. Môi trường mô phỏng ………………………………………………………………………….. 76
3.4.3. Kịch bản mô phỏng ……………………………………………………………………………… 76
3.4.4. Kết quả mô phỏng ……………………………………………………………………………….. 78
3.5. So sánh giải pháp đề xuất và các giải pháp khác. …………………………………………… 82
3.6. Kết luận chương ………………………………………………………………………………………. 83
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ……………………………………………………………………….. 84
A. Kết luận ……………………………………………………………………………………………………. 84
B. Hướng phát triển tiếp theo của luận văn …………………………………………………………. 84
DANH MỤC TÀI LIỆU THAM KHẢO …………………………………………………………………………. 85