Nghiên cứu công nghệ dữ liệu lớn và phát triển phần mềm phân tích hiệu năng cao cho doanh nghiệp

Mã đề tài: VAST01.09/14-15, Tên chủ nhiệm: TS. Hoàng Đỗ Thanh Tùng, Thời gian thực hiện: 2014-2016

Mục tiêu đề tài:

1) Nghiên cứu giải pháp tổ chức, xử lý dữ liệu lớn có cấu trúc, bán cấu trúc, và phi cấu trúc

2) Phân tích, thiết kế và phát triển phần mềm phân tích hoạt động doanh nghiệp thương mại hiệu năng cao để trợ giúp quyết định.

Kết quả đạt được:

- Về khoa học: Giải pháp tổ chức và các thuật toán khái thác dữ liệu lớn

o Báo cáo tổng quan về dữ liệu lớn, kiến trúc và công nghệ.

o Các giải pháp tổ chức và các thuật toán khai thác, phát hiện các đồ thị con, cây con trong các cơ sở dữ liệu lớn

- Về sản phẩm: Phần mềm phân tích hoạt động doanh nghiệp thương mại để trợ giúp quyết định

o Hệ thống kết hợp giữa Hadoop và SQL server hoạt động trong việc thu thập, lưu trữ tại địa chỉ ứng dụng, có dữ liệu hoạt động kinh doanh trên 1 năm của doanh nghiệp đó.

o Phân hệ phân tích đảm bảo, (1) tốc độ tích lũy kho dữ liệu từ nhiều nguồn thời gian theo phút, khả năng hơn 1000 bản ghi/phút, (2) thể hiện các chỉ số KPI đánh giá hoạt động kinh doanh đến thời gian gần hiện thực, khoảng 5-10 phút.

§ KPI doanh thu trung bình trên cửa hàng

§ KPI tỷ lệ lợi nhuận trên từng cửa hàng

§ KPI tăng trưởng doanh số bán hàng

§ KPI chỉ số quay vòng tồn kho

o Phân hệ thể hiện các hành vi mạng, website visit, google+1 hoặc facebook-like đối với mỗi hàng hóa trên website.

o Các tài liệu phân tích thiết kế, hướng dẫn kèm theo

o Đánh giá kết quả thử nghiệm của doanh nghiệp.

- Về đào tạo: hướng dẫn 03 thạc sĩ và hỗ trợ 02 Nghiên cứu sinh.

- Về công bố: 08 bài báo khoa học (02 bài báo tạp chí quốc tế chỉ số SCOPUS, 02 bài báo hội nghị quốc tế, 04 bài báo hội quốc gia).

Những đóng góp mới:

Đề tài đã đi sâu nghiên cứu các khía cạnh chính về dữ liệu lớn như công nghệ, phân tích và ứng dụng công nghệ. Đề tài đã có những đề xuất về giải pháp hệ thống kết hợp công nghệ dữ liệu lớn và hệ thống CSDL truyền thống để đảm bảo tính linh hoạt và hiệu năng cao cho vấn đề lưu trữ và truy vấn dữ liệu. Ngoài ra đề tài cũng đóng góp một số thuật toán tăng hiệu năng truy vấn và quản lý dữ liệu trên các bài báo khoa học.

Sản phẩm đề tài:

- Các bài báo đã công bố (liệt kê): 08 bài báo khoa học

1. Hoang Do Thanh Tung, Dinh Duc Luong “An Improved Indexing Method for XPath Queries”, Indian Journals of Science and Technology, Vol 9(31), 10.17485/ijst/2016/v9i31/92731, August 2016.

2. Hoang Do Thanh Tung, “Continous Queries for Streaming Data of Mobiles objects”, Indian Journals of Science and Technology, Vol 9(16), DOI: 10.17485/ijst/2016/v9i16/92298, April 2016.

3. Đoàn Văn Ban, Nguyễn Hữu Hải, Nguyễn Hiền Trinh, Phạm Thanh Huyền, Phan Trung Kiên, “Dạng chuẩn của cây được gắn nhãn và ứng dụng khai phá các cây con phổ biến trong kho các cây dữ liệu”, Kỷ yếu Hội thảo quốc gia lần thứ XVII: Một số vấn đề chọn lọc của Công nghệ thông tin và truyền thông- Đắk Lắk, 30-31/10/2014.

4. Nguyễn Hữu Hải, Đoàn Văn Ban, “Khai phá các cây con phổ biến đóng và cực đại trong kho các cây dữ liệu”, Kỷ yếu Hội thảo quốc gia lần thứ XVII: Một số vấn đề chọn lọc của Công nghệ thông tin và truyền thông- Đắk Lắk, 30-31/10/2014.

5. Nguyễn Hữu Hải, Đoàn Văn Ban,” Nghiên cứu kỹ thuật học nửa giám sát dựa trên đồ thị”, Kỷ yếu Hội thảo quốc gia lần thứ XVII: Một số vấn đề chọn lọc của Công nghệ thông tin và truyền thông- Đắk Lắk, 30-31/10/2014.

6. Nguyễn Hữu Hải, Nguyễn Thị Oanh, “Kỹ thuật khai phá hiệu quả đồ thị con phổ biến dựa trên mô hình MapReduce”, Kỷ yếu Hội thảo quốc gia lần thứ XVIII: Một số vấn đề chọn lọc của Công nghệ thông tin và truyền thông- TP.HCM, 11/2014.

7. Hoang Do Thanh Tung, “Improving Performance of Continous Queries”, Proceeding of ICICTS 2016 (International Conference on Information and Convergence Technology for Smart Society), Hochiminh, Vietnam19-21 Jan 2016.

8. Hoang Do Thanh Tung, Dinh Duc Luong, “A proposed Indexing Method for Treefarm databases”, Proceeding of ICICTS 2016 (International Conference on Information and Convergence Technology for Smart Society), Hochiminh, Vietnam19-21 Jan 2016.

- Các bằng sáng chế, giải pháp hữu ích (liệt kê)

- Các sản phẩm cụ thể (mô tả sản phẩm, nơi lưu giữ)

1) Báo cáo tổng kết đề tài bao gồm các nội dung đã đăng ký.

2) Phần mềm phân tích hiệu năng cao cho doanh nghiệp

Địa chỉ ứng dụng:

Công ty cổ phần Văn hóa Huy Hoàng