[繁]妻子變成小學生。	[繁]魔王陛下，RETRY	[繁]香格里拉・開拓異
[繁]精靈幻想記第二	[繁]在地下城尋求邂逅	[繁]膽大黨07-

電腦新資訊	電腦軟體討論	電腦軟體資訊分享	電腦硬體討論	電腦硬體資訊分享	電腦萌化版	電腦系統 OS 討論	電腦程式設計
電腦設計技術交流	圖像設計及交流	各類下載工具教學	寬頻上網討論

返回列表

查看: 6626|回復: 9

[問題]大量資料查詢如何減低時間[複製鏈接]

sigefred

初級幼兒生(0/30)

帖子: 27
積分: 2 點
潛水值: 13530 米

電梯直達

樓主

發表於 2016-5-14 11:19 AM|只看該作者|倒序瀏覽

所有積分大於負-100的壞孩子，將可獲得重新機會成為懲罰生，權限跟幼兒生一樣。

本帖最後由 sigefred 於 2016-5-14 01:01 PM 編輯

每個月有1千多萬筆一年會有一億筆
問題一在這大資料取出加總或區間如何減低查詢時間
做預存函式和切table和檔案嗎
問題二如果要取出一百萬筆或更多raw data有辦法減低查詢時間嗎
加index?

分享0收藏0支持0

所有積分大於負-100的壞孩子，將可獲得重新機會成為懲罰生，權限跟幼兒生一樣。

使用道具檢舉

jt200809

中學生(1000/4000)

Rank: 3 Rank: 3 Rank: 3

帖子: 1022
積分: 1810 點
潛水值: 28410 米

頭香

發表於 2016-5-15 03:31 AM|只看該作者

分享使你變得更實在，可以使其他人感到快樂，分享是我們的動力。今天就來分享你的資訊、圖片或檔案吧。

本帖最後由 jt200809 於 2016-5-15 04:00 AM 編輯

有很多種方式你要哪一種 ??

1.擴充硬體 ?
2.Database Tuning?
3.改寫應用程式 ?

另外你資料是放在一般關聯式資料庫還是 Hive 這類的.....??

帖子: 27
積分: 2 點
潛水值: 13530 米

3樓

發表於 2016-5-15 08:12 PM|只看該作者

所有積分大於負-100的壞孩子，將可獲得重新機會成為懲罰生，權限跟幼兒生一樣。

本帖最後由 sigefred 於 2016-5-15 08:30 PM 編輯

擴充硬體比較不可能
Database Tuning是要如何調校?
改寫應用程式不知要如何下手HIVE是?
資料就是很單純日期機型值 ,機型關聯到部門,因為要每分鐘存所以一個月會有1千萬筆
會存兩年歷史資料,重點在使用者想看任意區間時間又想在10秒內就看到資料,如果只有一個月資料查詢可以很快但如果時間一久資料越來越多在這麼多資料查詢一個月就會變久,又要看一整年的資料
...

瀏覽完整內容，請先註冊或登入會員

如果你忘記伊莉的密碼，請在登入時按右邊出現的 '找回密碼'。輸入相關資料後送出，系統就會把密碼寄到你的E-Mail。

使用道具檢舉

chevylin0802

大學生(4000/12000)

Rank: 4 Rank: 4 Rank: 4 Rank: 4

帖子: 7565
積分: 4321 點
潛水值: 34960 米

4樓

發表於 2016-5-15 08:38 PM|只看該作者

若登入不正常或變回訪客狀態，請先刪除COOKIE再登入。

本帖最後由 chevylin0802 於 2016-5-15 08:42 PM 編輯

sigefred 發表於 2016-5-15 08:12 PM
下載: 訪客無法瀏覽下載點，請先註冊或登入會員

擴充硬體比較不可能
Database Tuning是要如何調校?
改寫應用程式不知要如何下手HIVE是?

...

瀏覽完整內容，請先註冊或登入會員

系統已重置禁訪用戶到普通用戶和密碼一次

Rank: 3 Rank: 3 Rank: 3

帖子: 1022
積分: 1810 點
潛水值: 28410 米

5樓

發表於 2016-5-16 12:44 AM|只看該作者

如果瀏覽伊莉時速度太慢或無法連接，可以使用其他分流瀏覽伊莉，www01.eyny.com(02,03)。

sigefred 發表於 2016-5-15 08:12 PM
下載: 訪客無法瀏覽下載點，請先註冊或登入會員

擴充硬體比較不可能
Database Tuning是要如何調校?
改寫應用程式不知要如何下手HIVE是?

Apache Hive 是適用於 Hadoop 的資料倉儲系統，可透過 HiveQL (與 SQL 類似的查詢語言) 執行資料摘要、查詢以及資料分析。Hive 可以互動方式用於探索資料，或者建立可重複使用的批次處理工作。
...

瀏覽完整內容，請先註冊或登入會員

如果你覺得伊莉做得不錯，那就不要再猶疑了。今天就贊助和支持我們，立即行動！我們需要你的一點力量喔。

使用道具檢舉

kwj

中學生(1000/4000)

Rank: 3 Rank: 3 Rank: 3

帖子: 3471
積分: 3977 點
潛水值: 64730 米

6樓

發表於 2016-5-16 12:48 AM|只看該作者

升級為尊貴會員或贊助會員，讓你擁有自由、暢通無阻、應有盡有及所有資源任你使用的無窮快感。

本帖最後由 kwj 於 2016-5-16 01:06 AM 編輯

sigefred 發表於 2016-5-15 08:12 PM
下載: 訪客無法瀏覽下載點，請先註冊或登入會員

擴充硬體比較不可能
Database Tuning是要如何調校?
改寫應用程式不知要如何下手HIVE是?

...

瀏覽完整內容，請先註冊或登入會員

成為伊莉的版主，你將獲得更高級和無限的權限。把你感興趣的版面一步步地發展和豐盛，那種滿足感等著你來嚐嚐喔。

使用道具檢舉

sigefred

初級幼兒生(0/30)

帖子: 27
積分: 2 點
潛水值: 13530 米

7樓

發表於 2016-5-16 08:20 PM|只看該作者

若新密碼無法使用，可能是數據未更新。請使用舊密碼看看。

了解那問題就只剩
在數千萬或數億筆資料中，幾秒內找出裡面的特定 N 筆資料 N=50
這個有可能嗎,有試過一旦筆數增加查詢特定N筆會增加查詢時間

如果你覺得伊莉做得不錯，那就不要再猶疑了。今天就贊助和支持我們，立即行動！我們需要你的一點力量喔。

使用道具檢舉

jt200809

中學生(1000/4000)

Rank: 3 Rank: 3 Rank: 3

帖子: 1022
積分: 1810 點
潛水值: 28410 米

8樓

發表於 2016-5-16 09:29 PM|只看該作者

回覆中加入附件並不會使你增加積分，請使用主題方式發佈附件。

sigefred 發表於 2016-5-16 08:20 PM
下載: 訪客無法瀏覽下載點，請先註冊或登入會員

了解那問題就只剩
在數千萬或數億筆資料中，幾秒內找出裡面的特定 N 筆資料 N=50
這個有可能嗎,有試過一旦 ...

...

瀏覽完整內容，請先註冊或登入會員

若登入不正常或變回訪客狀態，請先刪除COOKIE再登入。

使用道具檢舉

kwj

中學生(1000/4000)

Rank: 3 Rank: 3 Rank: 3

帖子: 3471
積分: 3977 點
潛水值: 64730 米

9樓

發表於 2016-5-17 10:36 AM|只看該作者

若瀏覽伊莉的時侯發生問題或不正常情況，請使用Internet Explorer(I.E)。

本帖最後由 kwj 於 2016-5-17 10:42 AM 編輯

在巨量資料的環境裡要維持 Table 存取的效率
若是資料庫有支援分散式的情況下，可以對 Table 做 sharding
資料庫沒有支援，則就如樓上大大所說，自己手動對 Table 資料做適當地切割。

但本質上，上面兩種其實是在做一樣的事情
差別只是是程式設計師告訴資料庫如何做 sharding，然後資料庫自動去做
...

瀏覽完整內容，請先註冊或登入會員

分享使你變得更實在，可以使其他人感到快樂，分享是我們的動力。今天就來分享你的資訊、圖片或檔案吧。

使用道具檢舉

sigefred

初級幼兒生(0/30)

帖子: 27
積分: 2 點
潛水值: 13530 米

10樓

發表於 2016-5-17 09:29 PM|只看該作者

成為伊莉的版主，你將獲得更高級和無限的權限。把你感興趣的版面一步步地發展和豐盛，那種滿足感等著你來嚐嚐喔。

感謝解答,對這問題有一些了解因為第一次接觸資料庫還不了解所以認為是不是有神奇的方法來解

若新密碼無法使用，可能是數據未更新。請使用舊密碼看看。

使用道具檢舉

返回列表

Archiver|手機版|廣告|聯絡我們|廣告查詢|廠商合作|伊莉

GMT+8, 2024-11-17 10:58 PM

重要聲明：本討論區是以即時上載留言的方式運作，對所有留言的真實性、完整性及立場等，不負任何法律責任。而一切留言之言論只代表留言者個人意見，並非本網站之立場，用戶不應信賴內容，並應自行判斷內容之真實性。於有關情形下，用戶應尋求專業意見(如涉及醫療、法律或投資等問題)。由於本討論區受到「即時上載留言」運作方式所規限，故不能完全監察所有留言，若讀者發現有留言出現問題，請聯絡我們。有權刪除任何留言及拒絕任何人士上載留言，同時亦有不刪除留言的權利。切勿上傳和撰寫侵犯版權(未經授權)、粗言穢語、誹謗、渲染色情暴力或人身攻擊的言論，敬請自律。本網站保留一切法律權利。