伊莉討論區

標題: 新手請教有關高效能運算(HPC: High Performance Computing) 提交作業運算問題 [打印本頁]

作者: haha19880311 時間: 2018-9-13 08:10 PM 標題: 新手請教有關高效能運算(HPC: High Performance Computing) 提交作業運算問題

因問題很難介定是軟體或硬體, 所以均PO到兩版上, 如不符版規, 請見諒。

最近使用SPSS Statistics 進行統計分析時, 因運算時間太太太太久 (半個月也跑不完), 所以在一些雲端服務商建構了 HPC, 打算嘗試利用HPC進行並行運算/分散式運算, 加快運算時間, 但對於所謂的『提交作業』或『提交任務』(submit job), 這個概念十分模糊, 所以希望有大大可以解釋一二, 讓小弟明白....

我平常是用WIN10 打開SPSS Statistics的GUI使用者介面, 然後在GUI使用者介面上用滑鼠點擊打開那個*.sav檔, 再選擇那種方法分析等等的...最後在介面上跑出分析結果....

但我搞不懂在 centos/linux 上如何submit job, 可以讓 HPC 執行SPSS Statistics 再打開指定的sav檔 , 再告訴 HPC 用那一個方法去分析...還把運算分析的工作分給不同的計算節點, 最後結果跑到那裡可以看? 這個submit job的操作概念非常模糊....

其實『submit job』能不能給HPC指令, 叫它直接打開SPSS Statistics 的GUI使用者介面, 我再在GUI介面上直接操作呢?

小弟對於這方面實在太陌生, 可能問得不夠清楚...希望有大大可以耐心詳細解答....感謝感謝!!

作者: dawave 時間: 2018-11-2 06:43 PM

其實『submit job』能不能給HPC指令, 叫它直接打開SPSS Statistics 的GUI使用者介面, 我再在GUI介面上直接操作呢?

我覺得這個是重點. 問你的HPC說你願意付費但是怎麼用

題外話. 有考慮換用Tensorflow GPU 來算嗎? 應該會快很多?

作者: kwj 時間: 2018-11-3 01:49 PM

沒用過 SPSS，但樓主真正的問題在於樓主自己需要先了解你想做的運算要如何能夠「分散」。運算任務的分散是由使用者自行定義的，系統無法知道該怎麼做才能有效率地分散，所以如果使用者只想要無腦地把原本單機執行的運算丟去分散式運算的平台跑，那運算平台也只會無腦地幫你用跟單機跑一樣的方式循序執行，結果當然是也不會變快。

另外，tensorflow 不是萬靈丹，用 tensorflow 或其對應的 GPU 不見得會比較快。最重要的問題在於要運算的東西的特徵是不是符合 GPU 的特性，如果不符合的話，那會比一般普通的 CPU 運算還要更慢。

歡迎光臨伊莉討論區 (http://a401.file-static.com/)