avatar

これからの道のりは長く困難ですが

大データアーキテクチャコース復習ノート

大データシステムの要求には、データ、機能、性能など多くの側面が含まれ、目標は高性能、高可用性、耐障害性、拡張性を実現することです。大データとクラウドコンピューティングは密接に関連しており、クラウドコンピューティングは大データ処理に計算資源を提供し、大データはクラウドコンピューティングサービスの典型的な応用です。クラウドコンピューティングはネットワークを通じて動的に拡張可能な計算サービスを提供し、資源の仮想化、超大規模、弾力性などの特徴を持ち、IaaS、PaaS、SaaSの3つのサービスモデルに分かれます。パブリッククラウド、プライベートクラウド、コミュニティクラウド、ハイブリッドクラウドは4つの主要なサービス形態で、それぞれに長所と短所があります。クラウドコンピューティングのコア技術には仮想化とコンテナ化が含まれ、仮想化はコンピュータ資源を抽象化し、コンテナ化は軽量な仮想化環境を提供します。大データ処理プロセスにはデータ収集、前処理、保存、分析、可視化が含まれ、分散コンピューティングがその鍵となる技術です。Hadoopは大データ処理のコアフレームワークで、HDFS、MapReduce、YARNを含み、大規模データの保存と計算をサポートします。分散システムはシャーディングとレプリカによって高可用性と耐障害性を実現し、CAP定理は分散システムが一貫性、可用性、分区耐障害性の間でトレードオフを行う必要があることを示しています。
0%