software1987 Tech-Blog

Google Storage

Vor einiger Zeit schon hat Google seinen neuen Dienst "Google Storage" angekündigt. Damit will Google dem schon seit einigen Jahren existierenden Amazon Simple Storage Service (S3) und dem CDN Amazon Cloudfront konkurenz machen. Ich habe mich für einen Developer Account beworben und durfte die letzten Tage mit Google Storage rumspielen.

Das ganze läuft wie für Google typisch zurzeit noch als Beta und sämtliche Aktionen mit dem Developer Account laufen in einer Sandbox ab. Google hat ganze Arbeit geleistet und alles gut Dokumentiert sowie mehrere Tools zur Verfügung gestellt um mit dem Service arbeiten zu können.

Preise

Vermutlich das wichtigste wenn man einigen Traffic verursacht sind die Preise für Traffic sowie das Hosting. Ich habe im folgenden die Preise der Dienste von Amazon S3/Cloudfront, Rackspacecloud Cloud Files sowie Google Storage verglichen:

Aktion	Amazon S3/Cloudfront	Rackspacecloud Cloud Files	Google Storage
Speicher (GB/Monat)	$0.15	$0.15	$0.17
Upload	kostenlos bis 30.06.2010	$0.08/GB	$0.10/GB
Download	$0.15/GB (<10TB)	$0.22/GB	$0.15/GB für Amerika,Europa,mittl. Osten, Afrika $0.30/GB für Asia-Pacific
Download (CDN)	$0,15/GB	$0.22/GB	Datenreplikation nur in USA
PUT, COPY, POST, LIST	$0.01/1000 Anfragen	$0.01/500 Anfragen (<250KB) sonst kostenlos	$0.01/1000 Anfragen
GET, HEAD und andere Anfragen	$0.01/10000 Anfragen ($0.0075 im CDN)	kostenlos	$0.01/10000 Anfragen

Die obigen Preise sind Stand vom 19. Juni 2010 - Ich gebe keine Gewähr auf Korrektheit! Für Amazon S3 habe ich den günstigsten Tarif gewählt (Datacenter in N.California ist teurer) und bin davon ausgegangen, dass der Speicherbedarf unter 50TB liegt (Staffelung). Alle Preise sind in US Dollar angegeben.

Zugriff

Der Zugriff funktioniert bei allen drei hier betrachteten Anbietern nahezu gleich. Typischerweise werden die Daten unter Nutzung einer REST-API übertragen und beim Anbieter gespeichert.

Bei Rackspacecloud Cloud Files ist es schon seit langem möglich neben der REST-API auch einen webbasierenden Browser zu nutzen um seine Dateien und Ordner zu verwalten. Amazon S3 hat dies vor kurzem ebenfalls eingeführt und ermöglicht nun das Verwalten von Dateien im Browser. Google Storage bietet mit dem Google Storage Manager ein äquivalentes Tool welches die Funktionen von HTML5 Drag&Drop bereits integriert und damit das Hochladen von Dateien oer Drag&Drop ermöglicht (gleichzeitig aber auch aktuelle Browser erfordert). Der Storage Manger ist sonst relativ schlicht und erlaubt neben dem Hinzufügen von Dateien noch das Erstellen und Löschen von "Buckets". Weiterhin ist es möglich eine Datei öffentlich Zuganglich zu machen (siehe kleiner Haken rechts). Dateien sind dann unter

http://commondatastorage.googleapis.com/bucket/dateiname

abrufbar.

Hier der Vergleich zu Rackspace CloudFiles:

GSUtil

Neben dem bereits erwähnten Google Storage Manager stellt Google mit GSUtil ein Programm für die Kommandozeile zur Verfügung mit welchem sich der Google Storage Account verwalten lässt. Wie auch bei den beiden anderen Anbietern sind dazu ein Access Key und ein Secret Key nötig. GSUtil läuft unter MacOSX sowie Linux und mit Cygwin auch unter Windows.

Beim ersten Start von GSUtil legt dieses im home-Verzeichnis des Benutzers eine Datei ~/.boto an und erfragt die beiden Developer Keys. Diese sind danach im INI-Format gespeichert:

[Credentials]
gs_access_key_id = google_storage_access_key
gs_secret_access_key = google_storage_secret

Mittels GSUtil lassen sich nun Buckets anlegen:

gsutil mb gs://software1987

Dies legt ein Bucket mit dem Namen software1987 an. Buckets müssen im gesammten Google Storage Namensraum einmalig sein! Desweiteren müssen Buckets gewissen Benennungsregeln entsprechen.

Um z.B. alle Bilder zu Google Storage zu übertragen genügt der folgende Aufruf, welcher alle .png-Bilder in das Bucket software1987 hochlädt.

gsutil cp *.png gs://software1987

Nach der Übertragung kann man mit:

gsutil ls -l gs://software1987

Die im Bucket befindlichen Dateien auflisten lassen (in diesem Fall bewirkt -l das Anzeigen einer detaillierten Liste).

Python Library

Eine erweiterte Version von "Boto" (einer Library die bereits Zugriff auf einige Amazon Dienste bietet) hat Google als Python Library für den Zugriff auf Google Storage veröffentlicht.

https://code.google.com/apis/storage/docs/gspythonlibrary.html

Alles in allem muss ich sagen, dass Google Storage bisher sehr solide aussieht und man sich innerhalb weniger Minuten einarbeiten kann. Bei Amazon S3/CloudFront war ich nicht zuletzt auch wegen des unübersichtlichen Interfaces nicht so sehr angetan. Sollte mein Server wirklich mal in die Lage geraten stärkere Last ertragen zu müssen so würde sich Google Storage definitiv anbieten etwas Last abzubauen. Für deutsche Seiten würde sich das allerdings nicht sonderlich lohnen, da Google die Daten bisher nur in den Rechenzentren in den USA repliziert und die Ladezeit somit eher negativ beeinflusst werden würde.

Wer sich etwas mehr in die Materie einarbeiten möchte, dem empfehle ich den "Getting Started" Artikel von Google sowie die Links die ich im Text verstreut habe.