Tải file PDF Tác giả
Đơn vị công tác
1Trung tâm Thông tin và Dữ liệu khí tượng thủy văn
2Học viện Kỹ thuật quân sự
3Viện AI Việt nam
4Đại học Mỏ-Địa Chất
Tóm tắt
Deep Learning (DL) đang trở thành một công cụ quan trọng cho nghiên cứu và được ứng dụng vào nhiều lĩnh vực khác nhau trong cuộc sống. Ứng dụng DL trong bài báo dự báo, cảnh báo liên quan đến khí tượng thủy văn đang là một hướng nghiên cứu tiềm năng và có nhiều thách thức. Với lượng dữ liệu đầu vào lớn và yêu cầu dự đoán nhanh tức thời, tính chính xác cao là những điểm khiến cho mạng nơ ron trong DL trở nên phức tạp và bị hạn chế trong hiệu suất tính toán, thời gian tính toán bị kéo dài so với yêu cầu nghiệp vụ dự báo, cảnh báo thực tế. Tính toán hiệu năng cao (High Performance Computing - HPC) với số lượng nút tính toán lớn được sử dụng để giải quyết các vấn đề hạn chế của DL trong bài toán dữ liệu lớn. Hãng Cray đã cung cấp một module cắm (Cray Programming Environments DL Plugin – Cray PE DL Plugin) cho phép lập trình DL trên môi trường song song cho tính toán hiệu năng cao. Trong bài báo này, nghiên cứu trình bày phương pháp thiết lập cấu hình mạng nơ ron trong DL sử dụng Tensorflow trên nền tảng Cray-XC40.
Từ khóa
Trích dẫn bài báo
Ngô Văn Mạnh, Nguyễn Thị Hiền, Nguyễn Xuân Hoài, Đặng Văn Nam, Nguyễn Việt Huy (2020), Nâng cao hiệu năng của DEEP LEARNING trong hệ thống tính toán hiệu năng cao CRAY-XC40. Tạp chí Khí tượng Thủy văn, 709, 63-70.
Tài liệu tham khảo
1. Das, D., Avancha, S., Mudigere, D., Vaidynathan, K., Sridharan, S., Kalamkar, D., Kaul, B., Dubey, P., (2016), Distributed Deep Learning Using Synchronous Stochastic Gradient Descent. ArXiv e-prints.
2. Kingma, D.P., Ba, J., (2014), Adam: A Method for Stochastic Optimization. ArXiv e-prints.
3. Iandola, F.N., Ashraf, K., Moskewicz, M.W., Keutzer, K., (2015), Fire-Caffe: near-linear acceleration of deep neural network training on compute clusters. ArXiv e-prints.
4. Mendygral, P., Hill, N., Kandalla, K., Moise, D., Balma, J., Marcel Schongens, M., (2018), High Performance Scalable Deep Learning with the Cray Programming Environments Deep Learning Plugin. CUG 2018.
5. Zheng, S., Meng, Q., Wang, T., Chen, W., Yu, N., Ma, Z.M., Tie-Yan Liu, T.Y., (2016), Asynchronous Stochastic Gradient Descent with Delay Compensation. ArXiv e-prints.
6. Hochreiter, S., Jurgen Schmodhuber, J., (1997), Long short-term memory. Neural computation, 9(8), 1735-1780.
7. Chen, J., Pan, X., Monga, R., Bengio, S., Jozefowicz, R., (2017), Revisiting Distributed Synchronous SGD. ArXiv e-prints.
8. You, Y., Gitman, I., Ginsburg, B., (2017), Scaling SGD batch size to 32k for imagenet training. ArXiv e-prints.
9. Peter, A., Whigham, Crapper, P.F., (2001), Modeling rainfall-runoff using genetic programming. Mathematical and Computer Modelling, 33 (6-7), 707-721.