本頁面說明 Cloud Storage 的運作方式,以及支援的用途。
Cloud Storage 的運作方式
Cloud Storage 是Google Cloud 提供的可擴充代管儲存服務,可讓您在稱為「值區」的容器中,以「物件」形式儲存資料。
所有值區都與專案相關聯,您可以在機構底下為專案分組。建立專案後,您可以建立 bucket、將物件上傳至 bucket,以及從 bucket 下載物件。您也可以授予權限,讓指定主體存取資料,或讓公開網際網路上的所有人存取資料。目錄功能可讓您更像使用硬碟或網路附加儲存裝置 (NAS) 一樣使用 Cloud Storage:您可以使用資料夾在目錄結構中整理物件,並透過代管資料夾簡化物件的存取控管。
每個專案、bucket、物件、資料夾和受管理資料夾都是Google Cloud中的資源,Compute Engine 執行個體也是如此。
階層 Google Cloud
以下說明 Cloud Storage 結構如何套用至實際案例:
機構:貴公司 (例如 Example Inc.) 建立 Google Cloud名為
exampleinc.org的機構。專案:Example Inc. 正在建構多個應用程式,每個應用程式都與一個專案相關聯。每個專案都有自己的 Cloud Storage API 和其他資源。
值區:每個專案可包含多個值區,這些值區是儲存物件的容器。舉例來說,您可以為應用程式產生的所有圖片檔案建立
photosbucket,並建立另一個videosbucket。Cloud Storage 提供不同的儲存空間級別和位置,讓您選擇適合工作負載需求的資料耐用性和可用性。值區是更廣泛生態系統中的主要資料基礎。 Google Cloud您可以將 bucket 連線為其他Google Cloud 服務的儲存空間後端,例如 AI Hypercomputer、Vertex AI 和 Google Kubernetes Engine。
物件:儲存空間會包含物件,例如名為
puppy.png的圖片。 物件是不可變更的資料片段,由任何格式的檔案組成。 每個 bucket 基本上可包含無限個個別物件。資料夾:啟用階層命名空間的 bucket 可以包含資料夾。資料夾可提供實際的檔案系統來儲存物件,而非模擬檔案系統。您可以在單一作業中,以原子方式重新命名資料夾和其中的所有物件。
代管資料夾:每個儲存空間也可以包含代管資料夾,可授予或撤銷儲存空間上 IAM 權限以外的額外存取權。受管理資料夾不會使用真正的目錄樹狀結構,而是僅用於權限檢查的資源疊加層。
資源名稱
每個資源都有專屬名稱,用於識別資源,就像檔案名稱一樣。
Bucket 的資源名稱格式為 projects/_/buckets/BUCKET_NAME,其中 BUCKET_NAME 是 Bucket 的 ID。物件的資源名稱格式為 projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME,其中 OBJECT_NAME 是物件的 ID。
資源名稱結尾附加的 #NUMBER 表示物件的特定產生編號。#0 是物件最新版本的專屬 ID。如果物件名稱結尾的字串會被解讀為產生編號,則加入 #0 十分實用。
Cloud Storage 工具
您可以使用下列工具與 Cloud Storage 互動:
Google Cloud 控制台:您可以在瀏覽器中透過 Google Cloud 控制台的視覺化介面管理資料。
Google Cloud CLI:您可以使用
gcloud storage指令,透過終端機與 Cloud Storage 互動。用戶端程式庫:Cloud Storage 用戶端程式庫可讓您使用偏好的語言 (包括 C++、C#、Go、Java、Node.js、PHP、Python 和 Ruby) 管理資料。
Terraform:Terraform 是一種基礎架構即程式碼 (IaC) 工具,可用於佈建 Cloud Storage 的基礎架構。詳情請參閱「使用 Cloud Storage 佈建資源」。
gRPC:您可以使用 gRPC 與 Cloud Storage 互動。gRPC 是由Google 開發的高效能開放原始碼通用遠端程序呼叫 (RPC) 框架,您可以使用通訊協定緩衝區定義服務。
Cloud Storage FUSE:Cloud Storage FUSE 可讓您將 Cloud Storage bucket 掛接至本機檔案系統。這樣一來,應用程式就能使用標準檔案系統語意,從 bucket 讀取或寫入 bucket。
GCSFS Python 程式庫:GCSFS 是 Python 程式庫,可為 Cloud Storage 提供 Python 式的檔案系統介面。
用途和主要功能
Cloud Storage 提供耐用且全球通用的物件儲存空間,可因應各種企業工作負載,從高效能人工智慧 (AI) 和機器學習 (ML) 訓練,到法規歸檔皆適用。
儲存及存取資料,以用於 AI/機器學習和資料分析
透過專為大規模處理作業設計的高處理量、低延遲資料存取機制,加快 AI/機器學習管道和分析洞察的處理速度。
| 功能 | 功能、產品或功能 |
|---|---|
| Cloud Storage Rapid | 高效能儲存空間與運算資源位於同一位置,存取時間不到 1 毫秒,總處理量可達數 TB/秒。包括:
|
| 階層命名空間 | 將資料整理至邏輯目錄結構,提供不可分割的資料夾作業,且初始 QPS 限制最多可比沒有階層式命名空間的 bucket 高出 8 倍。階層結構式命名空間只能在建立 bucket 時啟用,無法在現有 bucket 上啟用。 |
| Cloud Storage FUSE | 將 bucket 掛接至本機檔案系統,讓應用程式使用標準檔案系統語意,從 bucket 讀取或寫入 bucket。 |
如要進一步瞭解如何提升效能,請參閱「最佳化 AI/機器學習和資料分析的儲存空間」。
確保資料安全無虞且符合規範
透過內建的加密機制、存取控管和不可變更的資料保留政策,保護資產並符合全球法規標準。
| 安全層 | 功能、產品或功能 |
|---|---|
| 存取控管 | 強制執行最低權限存取權,並將流量限制在信任的網路。產品和功能包括:
|
| 資料加密 | 加密靜態資料和傳輸中的資料。產品和功能包括:
|
| 資料保留和不可變更性 | 防止意外刪除資料,並協助遵守資料法規。產品和功能包括:
|
備份、災難復原和業務持續性
透過多區域可用性和快速跨區域複製功能,保護企業免於資料遺失、災難事件和區域性服務中斷的影響。
| 功能、產品或功能 | 說明 |
|---|---|
| 雙區域和多區域 | 自動在地理位置相隔的 Google Cloud 區域複製資料,確保可用性達 99.99%。 |
| 強化型複製 | 在 15 分鐘內,將所有新寫入的物件複製到雙區域配對。 |
| 物件版本管理和虛刪除 | 保留先前的疊代和最近刪除的物件,以便在意外覆寫或發生勒索軟體事件後還原。 |
成本最佳化及管理資料生命週期
根據存取頻率選擇經濟實惠的儲存空間層級,在資料生命週期內降低儲存空間費用。
| 儲存空間級別、產品或功能 | 說明 |
|---|---|
| 儲存空間級別 | 根據資料存取頻率,選擇 Standard Storage、Nearline Storage、Coldline Storage、Archive Storage 和 Rapid Storage。 |
| Autoclass | 根據物件存取模式,自動在儲存空間級別間移轉物件。 |
| 物件生命週期管理 | 使用自訂規則型政策刪除或轉移物件。 |
內容發布和提供網路服務
以低延遲和高可用性,在全球發布數位資產、下載內容和媒體檔案。
| 功能、產品或功能 | 說明 |
|---|---|
| Cloud CDN 和 Cloud Load Balancing | 在 Google全球邊緣位置快取靜態資產,以超低延遲傳遞網路內容。 |
| 已簽署的網址 | 提供私人物件的限時讀取或寫入權限,不必提供 Google 憑證。 |
| 靜態網站託管 | 直接從公開 bucket 提供靜態 HTML、CSS、JavaScript 和媒體資產。 |
資料遷移和事件驅動式擷取
簡化外部資料的移入作業,並在物件上傳後觸發自動處理工作流程。 Google Cloud
| 整合 | 說明 |
|---|---|
| Storage 移轉服務 | 代管式高規模線上資料移轉服務,可從 Amazon S3、Microsoft Azure Blob 儲存體、HTTP 來源或地端部署儲存空間移轉資料。 |
| Transfer Appliance | 堅固耐用的硬體設備,可將數百 PB 的離線資料運送至 Google Cloud。 |
| Eventarc 和 Pub/Sub | 在物件建立、刪除或中繼資料更新時發出即時事件通知,以觸發 Cloud Functions 或 Cloud Run 服務。 |
快速入門導覽課程指南
如要瞭解使用 Cloud Storage 的基本知識,請參閱下列指南:
尋找其他產品?
如果 Cloud Storage 不適合您,請參閱下列儲存空間服務的相關資訊:
Google Cloud Managed Lustre:將資料儲存在高效能全代管平行檔案系統中,這個系統經過最佳化,適合 AI 和 HPC 工作負載。
Google 雲端硬碟:儲存、管理及共用個人檔案。
Cloud Storage for Firebase:管理行動應用程式的資料。
Persistent Disk:將區塊儲存空間新增至 Compute Engine 虛擬機器。
Filestore:為 GKE 叢集新增檔案儲存空間,供多個寫入者存取。
探索 Google提供的更多儲存空間服務。
後續步驟
- 透過Google Cloud 控制台或 Google Cloud CLI 瞭解 Cloud Storage 的基礎知識。
- 嘗試Google Cloud 使用 Cloud Storage 的快速入門解決方案。
- 開始使用用戶端程式庫。
- 使用 Cloud Storage 代理程式技能,透過 AI 程式設計助理自動執行儲存空間工作流程。
- 使用 Storage 移轉服務,快速將線上資料匯入 Cloud Storage,或在 Cloud Storage bucket 之間移動資料。