Tác giả

Nguyễn Hữu Long 1 , Phạm Văn Chung 2 , Phạm Thị Làn 2 , Nguyễn Văn Trung 2,4 , Lê Thị Thu Hà 2,4 , Đặng Diệu Huệ 3 , Phạm Trung Dũng 2*

Đơn vị công tác

1 Trường Đại học Đồng Tháp; nhlong@dthu.edu.vn

2 Trường Đại học Mỏ - Địa chất; phamvanchung@humg.edu.vn; nguyenvantrung@humg.edu.vn; lethithuha@humg.edu.vn; phamtrungdung@humg.edu.vn

3 Đại học xây dựng Hà Nội; huedd@huce.edu.vn

4 Nhóm nghiên cứu Công nghệ Địa tin học trong Khoa học Trái đất (GES), Trường Đại học Mỏ - Địa chất; nguyenvantrung@humg.edu.vn; lethithuha@humg.edu.vn

*Tác giả liên hệ: phamtrungdung@humg.edu.vn; Tel.: +84–904303904

Tóm tắt

Tự động trích xuất đối tượng trên ảnh UAV là quá trình nhận dạng và véc tơ hóa đối tượng trực tiếp từ dữ liệu ảnh. Trong công tác quản lý và phát triển đô thị hiện nay, các công trình xây dựng như tòa nhà và các kiến trúc xây dựng cần được thể hiện trên môi trường đồ họa, lưu trữ và quản lý thống nhất trên hệ thống cơ sở dữ liệu. Bài báo này giới thiệu một phương pháp mới sử dụng công nghệ học sâu để tự động trích xuất mái của các tòa nhà và công trình xây dựng trực tiếp trên ảnh UAV. Dữ liệu mái nhà được trích xuất nhanh chóng được kết hợp với độ cao và các thông tin sẵn có của tòa nhà hoặc công trình xây dựng cho phép thành lập và cập nhật mô hình 3D LoD1. Kết quả trích xuất tòa nhà được thử nghiệm trên mô hình mạng học sâu U-Net tại hai khu vực đô thị mới và cũ đều đạt kết quả mức trên 60% về độ chính xác. Kết quả bài báo hoàn toàn có thể áp dụng trong công tác quản lý xây dựng tại các đô thị lớn có mức tốc độ đô thị hóa cao ở nước ta hiện nay.

Từ khóa

Tự động trích xuất đối tượng; Mạng học sâu; Mô hình 3D LoD1; Quản lý đô thị; UAV.

Trích dẫn bài báo

Long, N.H.; Chung, P.V.; Làn, P.T.; Trung, N.V.; Hà, L.T.T.; Huệ, Đ.D.; Dũng, P.T. Ứng dụng mạng học sâu tự động trích xuất thông tin công trình xây dựng từ dữ liệu UAV phục vụ công tác quản lý đô thị và hỗ trợ thành lập mô hình 3D LoD1. Tạp chí Khí tượng Thuỷ văn 2025, 774, 1-12.

Tài liệu tham khảo

1. Biljecki, F.; Stoter, J.; Ledoux, H.; Zlatanova, S.; Çöltekin, A.J.I.I.J.o.G.I. Applications of 3D city models: State of the art review. ISPRS Int. J. Geo-Inf. 2015, 4(4), 2842–2889.

2. Biljecki, F.; Ledoux, H.; Stoter, J.; Zhao, J.J.C. Formalisation of the level of detail in 3D city modelling. Comput. Environ. Urban Syst. 2014, 48, 1–15.

3. Akmalia, R.; Setan, H.; Majid, Z.; Suwardhi, D.; Chong, A. TLS for generating multi-lod of 3D building model. IOP Conf. Ser. Earth Environ. Sci. 2014, 18, 012064.

4. Wang, C.; Ferrando, M.; Causone, F.; Jin, X.; Zhou, X.; Shi, X.J.B. Data acquisition for urban building energy modeling: A review. Building Environ. 2022, 217, 109056.

5. Aicardi, I.; Chiabrando, F.; Grasso, N.; Lingua, A.M.; Noardo, F.; Spanò, A. UAV photogrammetry with oblique images: First analysis on data acquisition and processing. Proceeding of the International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLI-B1, 2016 XXIII ISPRS Congress, 12–19 July 2016, Prague, Czech Republic, 2016, pp. 835–842.

6. Tabarro, P.; Pouliot, J.; Fortier, R.; Losier, L.M. A webgis to support GPR 3D data acquisition: A first step for the integration of underground utility networks in 3D city models. Remote Sens. Spatial Inf. Sci. 2017, XLII-4/W7, 43–48.

7. Xiao, Y.; Zhan, Q.; Pang, Q. 3D data acquisition by terrestrial laser scanning for protection of historical buildings. 2007 International Conference on Wireless Communications, Networking and Mobile Computing, Shanghai, China, 2007, pp. 5971–5974.

8. Yang, B.J.S. Developing a mobile mapping system for 3D GIS and smart city planning. Sustainability 2019, 11(13), 3713.

9. Singh, S.P.; Jain, K.; Mandla, V.R. Virtual 3D city modeling: Techniques and applications. Int. Arc. Photogramm. Remote Sens. Spat. Inf. Sci. XL-2/W 2013, 2, 73–91.

10. Valencia, J.; Muñoz-Nieto, A.; Rodríguez-Gonzálvez, P. Virtual modeling for cities of the future. State-of-the art and virtual modeling for cities of the future. State-of-the art an. Int. Arc. Photogramm. Remote Sens. Spat. Inf. Sci. XL-5/W4 2015, 179–185.          

11. Schlosser, A.D.; Szabó, G.; Bertalan, L.; Varga, Z.; Enyedi, P.; Szabó, S.J.R.S. Building extraction using orthophotos and dense point cloud derived from visual band aerial imagery based on machine learning and segmentation. Remote Sens. 2020, 12(15), 2397.

12. Li, Y.; He, B.; Long, T.; Bai, X. Evaluation the performance of fully convolutional networks for building extraction compared with shallow models. 2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), Fort Worth, TX, USA, 2017, pp. 850–853.

13. Lari, Z.; Ebadi, H. Automated building extraction from high-resolution satellite imagery using spectral and structural information based on artificial neural networks. ISPRS Hannover Workshop, 2007, pp. 1–4.

14. Turlapaty, A.; Gokaraju, B.; Du, Q.; Younan, N.H.; Aanstoos, J.V. A hybrid approach for building extraction from spaceborne multi-angular optical imagery. IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens. 2012, 5(1), 89–100.

15. Chen, R.; Li, X.; Li, J. Object-Based Features for House Detection from RGB High-Resolution Images. Remote Sens. 2018, 10, 451.

16. Zhu, Y.; Huang, B.; Gao, J.; Huang, E.; Chen, H. Adaptive polygon generation algorithm for automatic building extraction. IEEE Int. Geosci. Remote Sens. Symp. Proc. 2021, 60, 1–14.

17. Yin, J.; Wu, F.; Qiu, Y.; Li, A.; Liu, C.; Gong, X.J.R.S. A multiscale and multitask deep learning framework for automatic building extraction. Remote Sens. 2022, 14(19), 4744.

18. Wen, Q.; Jiang, K.; Wang, W.; Liu, Q.; Guo, Q.; Li, L.; Wang, P. Automatic building extraction from google earth images under complex backgrounds based on deep instance segmentation network. Sensors 2019, 19(2), 333.

19. Xu, Y.; Wu, L.; Xie, Z.; Chen, Z. Building extraction in very high resolution remote sensing imagery using deep learning and guided filters. Remote Sens. 2018, 10(1), 144.

20. LeCun, Y.; Bengio, Y. Convolutional networks for images, speech, and time series. Proceeding of the Conference: The Handbook of Brain Theory and Neural Network, 1995, pp. 1–14.

21. Hu, Q.; Zhen, L.; Mao, Y.; Zhou, X.; Zhou, G. Automated building extraction using satellite remote sensing imagery. Autom. Constr. 2021, 123, 103509.

22. Deng, X.; Liang, Y.; Li, X.; Xu, W. Recognition and spatial distribution of rural buildings in Vietnam. Land 2023, 12(12), 2142. 

23. Nguyen, A.; Luu, H.; Phan, A.; Bui, H.; Nguyen, T. Cau Giay: A dataset for very dense building extraction from google earth imagery. 2019 6th NAFOSTED Conference on Information and Computer Science (NICS), Hanoi, Vietnam, 2019, pp. 352–356.

24. Li, Z.; Xin, Q.; Sun, Y.; Cao, M. A deep learning-based framework for automated extraction of building footprint polygons from very high-resolution aerial imagery. Remote Sens. 2021, 13, 3630.

25. Sun, X. Deep learning-based building extraction using aerial images and digital surface models, Geoinformation Science and Earth Observation MSc, University of Twente, 2021.

26. Ndung'u, R.N. Data preparation for machine learning modelling. Int. J. Comput. Appl. Technol. Res. 2022, 11(06), 231–235.

27. Albawi, S.; Mohammed, T.A.; Al-Zawi, S. Understanding of a convolutional neural network. Proceeding of the International Conference on Engineering and Technology (ICET),        2017.

28. Terven, J.; Cordova-Esparza, D.M.; Ramirez-Pedraza, A.; Chavez-Urbiola, E.A.; Romero-Gonzalez, J. Loss functions and metrics in deep learning. A review. Computer Sci. 2023, 1–85.

29. Boursalie, O.; Samavi, R.; Doyle, T.E. Evaluation metrics for deep learning imputation models. International Workshop on Health Intelligence, Springer, 2021.

30. Lê, V.C.; Lê, T.T.H.; Cao, X.C. Nghiên cứu lựa chọn vị trí cất cánh cho thiết bị bay không người lái tích hợp GNSS động phục vụ đo vẽ thành lập bản đồ địa hình tỷ lệ lớn cho các mỏ lộ thiên. Tạp chí Khoa học kỹ thuật Mỏ - Địa chất 2020, 61(5), 54–63.         

31. Long, N.Q.; Cường, C.X. Ứng dụng máy bay không người lái (UAV) để xây dựng mô hình số bề mặt và bản đồ mỏ lộ thiên khai thác vật liệu xây dựng. Tạp chí Khoa học kỹ thuật Mỏ - Địa chất 2020, 61(1), 21–29.

32. Sỹ, M.V.; Quý, B.N.; Hiệp, P.V.; Quý, L.Đ. Nghiên cứu sử dụng dữ liệu ảnh máy bay không người lái (UAV) trong thành lập bản đồ địa hình tỷ lệ lớn. Tạp chí Khoa học Đo đạc và Bản đồ 2017, 33, 49–57.          

33. Cường, N.S.; Trường, T.X.; Hạnh, T.H.; Vũ, Đ.N. Nâng cao chất lượng xây dựng mô hình 3D bằng kết hợp công nghệ bay chụp UAV và quét laser mặt đất. Tạp chí Khoa học Kỹ thuật Mỏ - Địa chất 2019, 60(4), 31–40.

34. Ronneberger, O.; Fischer, P.; Brox, T. U-Net: Convolutional networks for biomedical image segmentation. In: Navab, N.; Hornegger, J.; Wells, W.; Frangi, A. (eds) Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015. MICCAI 2015. Lecture Notes in Computer Science, Springer, Cham. 2015, 9351, 234–241.

35. Naidu, G.; Zuva, T.; Sibanda, E.M. A Review of evaluation metrics in machine learning algorithms. In: Silhavy, R., Silhavy, P. (eds) Artificial Intelligence Application in Networks and Systems. CSOC 2023. Lecture Notes in Networks and Systems, Springer, Cham. 2023, 724, pp. 15–25.

36. Rainio, O.; Teuho, J.; Klén, R. Evaluation metrics and statistical tests for machine learning. Sci. Rep. 2024, 14(1), 6086.    

37. Jadon, S. A survey of loss functions for semantic segmentation. 2020 IEEE Conference on Computational Intelligence in Bioinformatics and Computational Biology (CIBCB), Via del Mar, Chile, 2020, pp. 1–7.

38. Punn, N.S.; Agarwal, S. Inception U-Net architecture for semantic segmentation to identify nuclei in microscopy cell images. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), 2020, 16(1), 1–15.