SQL作(zuo)業(ye)編輯(ji)器支持使用SQL語句執行數據(ju)查詢(xun)操作(zuo)。支持SQL2003,兼容SparkSQL。
在總覽頁面(mian)(mian),單(dan)擊左側導航欄(lan)中的“SQL編輯器”或SQL作(zuo)業簡介右(you)上角的“創建(jian)作(zuo)業”,可進入“SQL編輯器”頁面(mian)(mian)。
進入SQL編輯器,頁(ye)面會提示系統將(jiang)創建DLI臨(lin)時數據桶(tong)。該桶(tong)用于存儲使用DLI服務產生(sheng)的臨(lin)時數據,例如:作(zuo)業(ye)日志(zhi)、作(zuo)業(ye)結果等。如果不創建該桶(tong),將(jiang)無法查看作(zuo)業(ye)日志(zhi)。可(ke)以實現(xian)定時刪除OBS桶(tong)中(zhong)的對象(xiang)或(huo)者(zhe)定時轉換(huan)對象(xiang)的存儲類別。桶(tong)名稱為系統默認(ren)。
如果(guo)不需要(yao)創(chuang)建DLI臨(lin)時數(shu)據(ju)桶,并(bing)且(qie)希望不再(zai)(zai)收到該提(ti)示,可(ke)以勾(gou)選“下次不再(zai)(zai)提(ti)示”并(bing)單擊(ji)“取(qu)消”。
“SQL編輯器”頁面中的區域和按鍵功能介紹(shao)如(ru)下:
導航欄
頁面左側的(de)導航(hang)欄(lan)包括“庫表(biao)”列表(biao)和(he)“隊(dui)列”列表(biao),說明如下。
導航欄按鍵說明
序號 | 頁簽/按鍵 | 頁簽/按鍵名稱 | 描述 |
---|---|---|---|
1 | ![]() ![]() |
數據庫 | 顯示已有的數據庫及其下所有的表。 單擊數據庫名,將顯示該數據庫中的表。 單擊表名,將在表名下顯示該表中的元數據,最多可顯示20個元數據。 雙擊表名,將在作業編輯窗口自動輸入SQL查詢語句。 |
2 | ![]() ![]() |
隊列 | 顯示已有的隊列。 |
3 | ![]() ![]() |
模板 | 內置的SQL樣例模板,目前包含22條標準的TPC-H查詢語句。 |
4 | ![]() ![]() |
創建 | 包括創建隊列、數據庫和表。 具體操作請分別參考《數據湖探索服務用戶操作手冊》中的中的創建隊列和創建數據庫和表。 |
5 | ![]() ![]() |
刷新 | 包括刷新已有的隊列、數據庫和表列表。 |
6 | ![]() ![]() |
搜索 | 可輸入關鍵字查找對應的數據庫和表。 |
SQL作業編輯窗口
頁面右側(ce)上方(fang)為SQL作業(ye)編輯(ji)窗(chuang)口(kou),按照(zhao)從(cong)上至下(xia),從(cong)左至右的順序,說明如下(xia)。
SQL作(zuo)業(ye)編輯窗(chuang)口說明
序號 | 按鍵 | 描述 |
---|---|---|
2 | 隊列 | 下拉選擇需要使用的隊列。如果沒有可用隊列,此處顯示“請選擇隊列”,請先創建隊列。 |
3 | 數據庫 | 下拉選擇需要使用的數據庫。如果沒有可用數據庫,此處顯示“請選擇數據庫”,請先創建數據庫。 說明 如果SQL語句中指定了表所在的數據庫,則此處選擇的數據庫無效。 |
4 | 執行 | 執行作業編輯窗口中的SQL語句。 |
5 | 格式化 | 格式化SQL語句。 |
6 | 語法參考 | 請聯系客戶經理索取《數據湖探索SQL語法參考》手冊。 |
7 | 設置 | 以“key/value”的形式設置提交SQL作業的配置項。最多可設置10個屬性。 |
8 | 更多 | 包括: 語法校驗:判斷SQL語句編寫是否正確。 設為模板:將常用的SQL語句設為模板。具體操作請參見《用戶操作手冊》中的SQL模板管理。 選擇模板:選擇已保存為模板的SQL語句。 切換主題:選擇白底黑字或黑底白字。 |
9 | SQL語句編輯區 | 編輯SQL語句的區域。 |
10 | 光標位置 | 標識光標在SQL語句編輯區中的位置(行,列)。 |
11 | 快捷鍵 | 快捷鍵介紹具體請參考下表。 |
快捷鍵說明
快捷鍵 | 描述 |
---|---|
Ctrl+Enter | 執行SQL。通過按下鍵盤上的Ctrl+R或Ctrl + Enter,您可以執行SQL語句。 |
Ctrl+F | 搜索SQL。通過按下鍵盤上的Ctrl + F,您可以搜索需要的SQL語句。 |
Shift+Alt+F | 格式化SQL。通過按下鍵盤上的Shift+Alt+F,您可以將SQL語句格式化。 |
Ctrl+Q | 語法校驗。通過按下鍵盤上的Ctrl + Q,您可以對SQL語句進行語法校驗。 |
F11 | 全屏。通過按下鍵盤上的F11,您可將SQL作業編輯器窗口全屏。再次按下F11,將從全屏復原。 |
“執行歷史”和“查看結果”
頁(ye)面(mian)右側下(xia)方為SQL作業“執(zhi)行歷史(最近一周)”頁(ye)簽和“查看結果”頁(ye)簽,說明如(ru)下(xia)。
- 執行歷史
SQL作業執行歷史說明(ming)
區域 | 描述 |
---|---|
執行歷史(最近一周) | 執行歷史(最近一周):顯示最近一周提交的作業的信息。包括: 隊列名稱 創建時間 狀態 執行語句 操作: ? 編輯:重新編輯SQL語句 ? 終止:停止執行SQL語句 ? SparkUI:跳轉至SparkUI查看SQL語句執行進程 說明 新建隊列,運行作業時會重新拉集群,大概需要10分鐘左右才能拉好集群,在集群創建好之前單擊SparkUI會導致緩存空的projectID,從而導致無法查看SparkUI。建議使用專屬隊列,集群不會被釋放,就不會有該問題,或者提交作業后等一段時間再查看SparkUI,確保集群已經拉好了,不要立即單擊SparkUI。 目前DLI配置SparkUI只展示最新的100條作業信息。 default隊列下運行的作業或者該作業為同步作業時不支持該操作。 ?更多:以下操作根據SQL類型和運行狀態的不同顯示會有差異,請以實際界面為準。 ?終止:正在運行或提交中的SQL支持終止操作。 ?重新執行:重新執行該SQL語句。 ?查看結果:QUERY作業支持查看作業執行結果。 ?導出結果:QUERY作業這次導出作業運行結果到指定OBS路徑下。 ?歸檔日志:SQL語句運行日志存儲的OBS路徑。 ? 導出日志:導出SQL語句運行日志。 說明 導出日志用戶需要具有創建OBS桶的權限。 default隊列下運行的作業或者該作業為同步作業時不支持歸檔日志和導出日志操作。 |
可以(yi)(yi)通過以(yi)(yi)下方(fang)式(shi)篩(shai)選執行歷史:
- 在右上角選擇隊列名稱或輸入執行語句
- 在列表中選擇創建時間順序/倒序排列
- 在列表中選擇作業狀態
- 查看結果
SQL作業查(cha)看結果說明(ming)
序號 | 按鍵 | 描述 |
---|---|---|
1 | 清空 | 清空顯示的SQL語句執行結果。 |
2 | 結果圖形化/表格展示 | 以圖形/表格的形式展示查詢結果。 |
3 | 導出結果 | 將查詢結果導出到OBS。具體操作介紹請參考《用戶操作手冊》中“SQL 作業管理”章節中的的“導出查詢結果”。 |
SQL查詢操作步驟
-
登錄數據湖探索管理控制(zhi)臺(tai),選擇SQL作(zuo)業,單擊“創建作(zuo)業”,進入(ru)“SQL編輯器”頁面。
-
進入“SQL編輯器”頁(ye)面后(hou),系(xi)統會提(ti)(ti)示“創建DLI臨(lin)時數據桶”,用于存儲(chu)使用DLI服(fu)務產生(sheng)的臨(lin)時數據,如:作業(ye)日志、作業(ye)結(jie)果。如果不創建該桶,您將(jiang)無法查看作業(ye)日志。單(dan)擊“確定(ding)”。系(xi)統將(jiang)提(ti)(ti)示創建臨(lin)時桶成功。
-
在SQL作業編輯窗口右上方的“隊列”列表中選擇所使用的隊列。創建隊列操作步驟請參見創建隊列 。
-
在SQL作(zuo)業(ye)編(bian)輯窗口右(you)上(shang)方的“數據(ju)庫”列表中(zhong)選(xuan)擇(ze)所使用的數據(ju)庫,例如選(xuan)擇(ze)數據(ju)庫“qw”。
-
創建表,例如表名為“qw”。創建數據庫和表操作步驟請參見創建數據庫和表 。
-
在SQL作業編(bian)輯窗口輸入表“qw”的SQL查詢語(yu)句:
SELECT FROM qw.qw LIMIT 10;
或者雙(shuang)擊左側表名“qw”,上述查詢(xun)語句會自動在作業編輯窗口中(zhong)輸入。
- 單擊“更多”中的“語法校驗”,確認SQL語句書寫是否正確。
a. 若語法(fa)校驗失敗,請參考(kao)《數據湖探(tan)索SQL語法(fa)參考(kao)》,檢查SQL語句準(zhun)確性(xing)。
b. 若語(yu)法校驗通過,單(dan)擊“執行”,閱讀并同(tong)意(yi)隱私協議(yi),單(dan)擊“確定”后(hou)執行SQL語(yu)句。
c. SQL語句執行成功后,在SQL作業(ye)編輯窗口下方會(hui)顯示執行結果。
- (可選)在查看結果頁簽,單擊右上側“結果圖形化”,查詢結果將以圖形形式呈現。再單擊“表格展示”,查詢結果可切換回表格形式。
說明
若(ruo)執行結果(guo)中無(wu)數(shu)值列,則(ze)無(wu)法進(jin)行圖形化 。
圖形類型包括柱狀(zhuang)圖、折線圖、扇形圖 。
柱狀(zhuang)圖(tu)和折(zhe)線(xian)圖(tu)的(de)X軸可為任意一(yi)列(lie),Y軸僅支持(chi)數值類型的(de)列(lie),扇形圖(tu)對應圖(tu)例和指標 。
作業編輯窗口操作技巧
- 在SQL作業編輯窗口中導入SQL語句的簡便方法。
- 可以雙擊左側導航欄列表中的表名,即可將選定表的查詢語句導入SQL語句編輯窗口中,單擊“執行”,即可完成查詢。
- 可以將表名、列名直接拖拽入作業編輯窗口中,編寫SQL語句。
- 可以通過單擊“更多”,選擇“設為模板”,將對應的SQL語句保存為模板,供將來執行使用。
需(xu)要使用(yong)時,通過單擊“更多”,選(xuan)擇(ze)“選(xuan)擇(ze)模板”,在已有模板中(zhong)雙擊所需(xu)的SQL語句,導入SQL作業編輯窗口(kou)中(zhong),單擊“執行”,或根據需(xu)要進行修改后執行。
- 可以批量執行SQL語句。
- 作業編輯窗口的特點。
作業編輯窗口具有以下三(san)個特點。
-顏(yan)色突(tu)(tu)出顯(xian)示 - 常用語法采用不同顏(yan)色突(tu)(tu)出顯(xian)示。
-注(zhu)釋(shi)支持 - 支持單行(xing)注(zhu)釋(shi)和多行(xing)注(zhu)釋(shi)。以“--”開頭(tou),后續(xu)內容即為注(zhu)釋(shi)。
-光標(biao)位(wei)置顯(xian)示 - 可以用于(yu)確認(ren)位(wei)于(yu)作業編輯窗口內的鼠標(biao)光標(biao)的列號和行號。