SOEのひとりごと

Salesforce管理者兼エンジニアのSOEがつぶやいてます

【オープンソース調査】GCPで組む公開情報分析基盤のメモ(1)

備忘録です
GCPGoogle Cloud Platform)には、オープンソースなデータの収集に役立つ様々な機能があります。

これらの機能を利用することで、効率的な収集・分析が可能になります。
また、GoogleはAI関連のAPIも提供しているため、高度な分析基盤を作ることができます。

利用予定の機能

BigQuery

大量のデータを分析するためのデータウェアハウスサービスです。
収集や分析によって得たデータをテーブルに保存できます。

Cloud Storage

スケーラブルなオブジェクトストレージサービスで、分析結果や、収集した生データをファイルで保存できます。

Cloud Functions

イベント駆動型のサーバーレスコンピューティングサービスで、例えばスクレイピングや、APIコールなどの処理、アラートなどに使用できます。

Cloud Pub/Sub

大規模なデータセットをストリーミング処理するためのマネージドサービスで、データの収集や処理に利用できます。