Cloud Storage 總覽

本頁面說明 Cloud Storage 的運作方式,以及支援的用途。

Cloud Storage 的運作方式

Cloud Storage 是Google Cloud 提供的可擴充代管儲存服務,可讓您在稱為「值區」的容器中,以「物件」形式儲存資料。

所有值區都與專案相關聯,您可以在機構底下為專案分組。建立專案後,您可以建立 bucket、將物件上傳至 bucket,以及從 bucket 下載物件。您也可以授予權限,讓指定主體存取資料,或讓公開網際網路上的所有人存取資料。目錄功能可讓您更像使用硬碟或網路附加儲存裝置 (NAS) 一樣使用 Cloud Storage:您可以使用資料夾在目錄結構中整理物件,並透過代管資料夾簡化物件的存取控管。

每個專案、bucket、物件、資料夾和受管理資料夾都是Google Cloud中的資源,Compute Engine 執行個體也是如此。

階層 Google Cloud

以下說明 Cloud Storage 結構如何套用至實際案例:

  • 機構:貴公司 (例如 Example Inc.) 建立 Google Cloud名為 exampleinc.org 的機構。

  • 專案:Example Inc. 正在建構多個應用程式,每個應用程式都與一個專案相關聯。每個專案都有自己的 Cloud Storage API 和其他資源。

  • 值區:每個專案可包含多個值區,這些值區是儲存物件的容器。舉例來說,您可以為應用程式產生的所有圖片檔案建立 photos bucket,並建立另一個 videos bucket。Cloud Storage 提供不同的儲存空間級別和位置,讓您選擇適合工作負載需求的資料耐用性和可用性。

    值區是更廣泛生態系統中的主要資料基礎。 Google Cloud您可以將 bucket 連線為其他Google Cloud 服務的儲存空間後端,例如 AI Hypercomputer、Vertex AI 和 Google Kubernetes Engine。

  • 物件:儲存空間會包含物件,例如名為 puppy.png 的圖片。 物件是不可變更的資料片段,由任何格式的檔案組成。 每個 bucket 基本上可包含無限個個別物件。

  • 資料夾:啟用階層命名空間的 bucket 可以包含資料夾。資料夾可提供實際的檔案系統來儲存物件,而非模擬檔案系統。您可以在單一作業中,以原子方式重新命名資料夾和其中的所有物件。

  • 代管資料夾:每個儲存空間也可以包含代管資料夾,可授予或撤銷儲存空間上 IAM 權限以外的額外存取權。受管理資料夾不會使用真正的目錄樹狀結構,而是僅用於權限檢查的資源疊加層。

資源名稱

每個資源都有專屬名稱,用於識別資源,就像檔案名稱一樣。 Bucket 的資源名稱格式為 projects/_/buckets/BUCKET_NAME,其中 BUCKET_NAME 是 Bucket 的 ID。物件的資源名稱格式為 projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME,其中 OBJECT_NAME 是物件的 ID。

資源名稱結尾附加的 #NUMBER 表示物件的特定產生編號。#0 是物件最新版本的專屬 ID。如果物件名稱結尾的字串會被解讀為產生編號,則加入 #0 十分實用。

Cloud Storage 工具

您可以使用下列工具與 Cloud Storage 互動:

  • Google Cloud 控制台:您可以在瀏覽器中透過 Google Cloud 控制台的視覺化介面管理資料。

  • Google Cloud CLI:您可以使用 gcloud storage 指令,透過終端機與 Cloud Storage 互動。

  • 用戶端程式庫:Cloud Storage 用戶端程式庫可讓您使用偏好的語言 (包括 C++、C#、Go、Java、Node.js、PHP、Python 和 Ruby) 管理資料。

  • REST API:使用 JSON 或 XML API 管理資料。

  • Terraform:Terraform 是一種基礎架構即程式碼 (IaC) 工具,可用於佈建 Cloud Storage 的基礎架構。詳情請參閱「使用 Cloud Storage 佈建資源」。

  • gRPC:您可以使用 gRPC 與 Cloud Storage 互動。gRPC 是由Google 開發的高效能開放原始碼通用遠端程序呼叫 (RPC) 框架,您可以使用通訊協定緩衝區定義服務。

  • Cloud Storage FUSE:Cloud Storage FUSE 可讓您將 Cloud Storage bucket 掛接至本機檔案系統。這樣一來,應用程式就能使用標準檔案系統語意,從 bucket 讀取或寫入 bucket。

  • GCSFS Python 程式庫:GCSFS 是 Python 程式庫,可為 Cloud Storage 提供 Python 式的檔案系統介面。

用途和主要功能

Cloud Storage 提供耐用且全球通用的物件儲存空間,可因應各種企業工作負載,從高效能人工智慧 (AI) 和機器學習 (ML) 訓練,到法規歸檔皆適用。

儲存及存取資料,以用於 AI/機器學習和資料分析

透過專為大規模處理作業設計的高處理量、低延遲資料存取機制,加快 AI/機器學習管道和分析洞察的處理速度。

功能 功能、產品或功能
Cloud Storage Rapid 高效能儲存空間與運算資源位於同一位置,存取時間不到 1 毫秒,總處理量可達數 TB/秒。包括:
  • Rapid Bucket:Rapid Storage 儲存空間級別的可用區物件儲存空間,專為資料密集型 AI/機器學習和數據分析工作負載設計。
  • Rapid Cache:全代管、採用 SSD 的可用區讀取快取,可自動調整容量和頻寬,加快讀取效能。
階層命名空間 將資料整理至邏輯目錄結構,提供不可分割的資料夾作業,且初始 QPS 限制最多可比沒有階層式命名空間的 bucket 高出 8 倍。階層結構式命名空間只能在建立 bucket 時啟用,無法在現有 bucket 上啟用。
Cloud Storage FUSE 將 bucket 掛接至本機檔案系統,讓應用程式使用標準檔案系統語意,從 bucket 讀取或寫入 bucket。

如要進一步瞭解如何提升效能,請參閱「最佳化 AI/機器學習和資料分析的儲存空間」。

確保資料安全無虞且符合規範

透過內建的加密機制、存取控管和不可變更的資料保留政策,保護資產並符合全球法規標準。

安全層 功能、產品或功能
存取控管 強制執行最低權限存取權,並將流量限制在信任的網路。產品和功能包括:
  • 身分與存取權管理: 透過角色式存取權控管,授權特定使用者、群組或服務帳戶對 Cloud Storage 資源執行動作。
  • 統一 bucket 層級存取控管: 停用物件層級存取控管清單 (ACL),並專門使用 bucket 層級 IAM 政策,統一控管 Cloud Storage 資源的存取權。
  • Bucket IP 過濾: 根據要求的來源 IP 位址限制 bucket 存取權,防止特定 IP 位址或虛擬私有雲 (VPC) 未經授權存取資料。
資料加密 加密靜態資料和傳輸中的資料。產品和功能包括:
  • Google管理的金鑰: 使用 Google擁有及維護的伺服器端金鑰,根據預設自動加密 Cloud Storage 中的靜態資料。
  • CMEK (Cloud KMS): 控管加密金鑰的輪替時間表、存取權和生命週期,保護 Cloud Storage 資源。
  • CSEK: 提供您自己的加密編譯金鑰,並在每個 API 要求中提供,而非 Google 儲存或復原金鑰資料,確保 Cloud Storage 靜態資料安全無虞。
資料保留和不可變更性 防止意外刪除資料,並協助遵守資料法規。產品和功能包括:
  • 值區鎖定: 指定值區的保留政策,強制執行法規和法規遵循資料保留規則,控管值區中的物件必須保留多久。
  • 物件保留: 為特定物件套用不可變更的保留期限,控管個別物件的生命週期,避免物件在期限到期前遭到刪除或取代。
  • 物件版本管理: 自動將遭覆寫或刪除的使用中物件封存為非現行版本,保留資料的歷來副本,讓您隨時還原物件的過去狀態。
  • 虛刪除: 保留最近刪除的物件和值區,防止資料因意外或惡意刪除而永久遺失。Cloud Storage 預設會為所有 bucket 啟用虛刪除功能,保留期限為七天。

備份、災難復原和業務持續性

透過多區域可用性和快速跨區域複製功能,保護企業免於資料遺失、災難事件和區域性服務中斷的影響。

功能、產品或功能 說明
雙區域和多區域 自動在地理位置相隔的 Google Cloud 區域複製資料,確保可用性達 99.99%。
強化型複製 在 15 分鐘內,將所有新寫入的物件複製到雙區域配對。
物件版本管理和虛刪除 保留先前的疊代和最近刪除的物件,以便在意外覆寫或發生勒索軟體事件後還原。

成本最佳化及管理資料生命週期

根據存取頻率選擇經濟實惠的儲存空間層級,在資料生命週期內降低儲存空間費用。

儲存空間級別、產品或功能 說明
儲存空間級別 根據資料存取頻率,選擇 Standard Storage、Nearline Storage、Coldline Storage、Archive Storage 和 Rapid Storage。
Autoclass 根據物件存取模式,自動在儲存空間級別間移轉物件。
物件生命週期管理 使用自訂規則型政策刪除或轉移物件。

內容發布和提供網路服務

以低延遲和高可用性,在全球發布數位資產、下載內容和媒體檔案。

功能、產品或功能 說明
Cloud CDN 和 Cloud Load Balancing 在 Google全球邊緣位置快取靜態資產,以超低延遲傳遞網路內容。
已簽署的網址 提供私人物件的限時讀取或寫入權限,不必提供 Google 憑證。
靜態網站託管 直接從公開 bucket 提供靜態 HTML、CSS、JavaScript 和媒體資產。

資料遷移和事件驅動式擷取

簡化外部資料的移入作業,並在物件上傳後觸發自動處理工作流程。 Google Cloud

整合 說明
Storage 移轉服務 代管式高規模線上資料移轉服務,可從 Amazon S3、Microsoft Azure Blob 儲存體、HTTP 來源或地端部署儲存空間移轉資料。
Transfer Appliance 堅固耐用的硬體設備,可將數百 PB 的離線資料運送至 Google Cloud。
Eventarc 和 Pub/Sub 在物件建立、刪除或中繼資料更新時發出即時事件通知,以觸發 Cloud Functions 或 Cloud Run 服務。

快速入門導覽課程指南

如要瞭解使用 Cloud Storage 的基本知識,請參閱下列指南:

尋找其他產品?

如果 Cloud Storage 不適合您,請參閱下列儲存空間服務的相關資訊:

後續步驟