Giới thiệu AWS Storage Services
1. Giới thiệu AWS Storage Service
Lưu trữ và quản lý dữ liệu là một nhu cầu cơ bản và thiết yếu của mọi doanh nghiệp. Cùng với xu thế chuyển đổi số, việc chuyển đổi dữ liệu cũng là một vấn đề rất quan trọng và cấp thiết, với nhiều yêu cầu về kỹ thuật ( tính mở rộng, độ tin cậy và ổn định) cũng như chi phí. Nắm bắt được điều đó, AWS đã xây dựng nhiều dịch vụ để đáp ứng các nhu cầu khác nhau của doanh nghiệp trong lưu trữ và quản lý dữ liệu. Trong bài viết này, chúng ta sẽ cùng tìm hiểu những dịch vụ dữ liệu thường dùng của AWS và các usecase chính.
2. Các dịch vụ Storage và usecase
Dựa trên cách thức quản lý và lưu trữ dữ liệu ( Dữ liệu được lưu trữ ở đâu / Làm sao để nhập xuất dữ liệu/ Làm sao để tránh mất mát dữ liệu), các dịch vụ kho dữ liệu của AWS có thể chia thành các nhóm chính như sau:
- Object, file, and block storage services: Bao gồm các dịch vụ lưu trữ dữ liệu dưới dạng tập tin như S3, EBS, EFS , …
- Data services between on-premises and AWS : là các dịch vụ giúp kết hợp, đồng bộ hoặc dịch chuyển dữ liệu giữa trung tâm dữ liệu hiện có (on-premise) và các dịch vụ cloud của AWS ( Storage gateway, Snow Family,..)
- Database services: là các dịch vụ lưu trữ thông tin dưới dạng cơ sở dữ liệu trên AWS Cloud ( RDS, Aurora, …)
- Disaster recovery and backup services: bao gồm các dịch vụ giúp backup dữ liệu, đảm bảo an toàn và giảm thiểu mất mát dữ liệu
Sau đây chúng ta sẽ đi sâu vào từng nhóm và các dịch vụ chính của nó.
2.1. Object, file, and block storage services
2.1.1. S3
S3 ( Simple Storage Service ) là dịch vụ lưu trữ dữ liệu dưới dạng object với độ bền của dữ liệu rất cao ( 99.999999999% ) và khả năng mở rộng tốt. Nó được thiết kế để lưu trữ và truy xuất lượng dữ liệu không hạn chế từ bất kỳ đâu qua web. Với các class lưu trữ khác nhau, bạn có thể tối ưu hóa chi phí, tổ chức dữ liệu và cấu hình các biện pháp kiểm soát quyền truy cập được tinh chỉnh để đáp ứng yêu cầu cụ thể của tổ chức của mình.
Các usecase thường dùng của S3 là
- Lưu trữ và sao lưu dữ liệu với chi phí thấp
- Phân phối dữ liệu đa phương tiện trên môi trường web
- Xây dựng Data Lake
2.1.2. EBS
EBS ( Elastic Block Store) là dịch vụ lưu trữ dữ liệu block-storage được thiết kế cho Amazon EC2 ( dịch vụ máy chủ của AWS ). Khác với Instance Store ( Ổ cứng gắn mặc định vào EC2 có tốc độ cao, sẽ bị mất dữ liệu nếu máy chủ khởi tạo lại), EBS tương tự như một ổ cứng mạng, bạn có thể gắn nó vào hoặc gỡ ra khỏi EC2 instance khi mà máy chủ đang hoạt động. EBS hiện có 4 loại
- gp2 / gp3 (SSD): Ổ SSD cân bằng giữa giá cả và hiệu năng
- io1 / io2 (SSD): Ổ SSD với tốc độ cao và độ trễ thấp
- st1 (HDD): Ổ HDD giá rẻ phục vụ nhu cầu truy xuất thường xuyên
- sc1 (HDD): Ổ HDD giá rẻ nhất và có hiệu suất thấp, sử dụng lưu trữ dữ liệu truy xuất không thường xuyên
Do có tốc độ truy xuất cao và khả năng lưu trữ dữ liệu lâu dài, EBS có thể dùng để triển khai cơ sở dữ liệu, lưu trữ dữ liệu cho engine phân tích dữ liệu ( Hadoop, Spark ) hay những ứng dụng chuyên dụng yêu cầu hiệu năng cao.
2.1.3. EFS
EFS là hệ thống quản lý file qua mạng (NFS) có thể gắn với nhiều EC2 , AWS containers , Lambda hay máy chủ khác cùng 1 lúc. Nó có độ tin cậy cao, dễ dàng mở rộng, tốc độ nhanh tuy nhiên giá thành theo đó cũng cao hơn ( ~ 3x gp2, for standard storage). So với EBS , EFS có thể gắn vào nhiều đối tượng một lúc và có khả năng phân tán Multi-AZ ( EBS sẽ bị giới hạn ở mức AZ ), từ đó có độ tin cậy cao hơn. Do vậy, EFS thường dùng để quản lý và chia sẻ nội dung cho nhiều đối tượng khác nhau với hiệu năng cao.
2.1.4. FSx
FSx là hệ thống quản lý file của các bên thứ 3 ( third-party ) được triển khai trên AWS. FSx gồm các service như sau:
- FSx for Windows: Là hệ thống quản lý file tương thích với Window. Các tính năng trên hệ thống file của window đều được hỗ trợ ( Supports SMB protocol, Windows NTFS, Microsoft Active Directory, … ). FSx for Windows có thể triển khai trên Linux EC2 instance. Nhờ khả năng tương thích tốt với Windows, service này rất phù hợp trong trường hợp chuyển đổi file system nền Windows lên AWS với chi phí thấp và tiết kiệm thời gian.
- FSx for Lustre: Là hệ thống file trên nền Linux, tối ưu cho việc tính toán song song và phân tán. Do vậy, nó thích hợp sử dụng cho các công việc yêu cầu tốc độ cao như Machine Learning, High Performance Computing (HPC), Big Data, …
- Amazon FSx for NetApp ONTAP & Amazon FSx for OpenZFS : Là những hệ thống quản lý file có độ tương thích với nhiều hệ điều hành ( Windows, Linux, MacOS) và máy chủ / container ( EC2, ECS, EKS, • VMware Cloud on AWS ). Do vậy trong trường hợp máy chủ hiện tại có đa dạng hệ điều hành và máy chủ / container, sử dụng chúng là đơn giản nhất khi chuyển đổi từ on-premise lên AWS Cloud
2.1.5. File Cache
File Cache là dịch vụ cung cấp cache tốc độ cao trên AWS, khiến cho việc truy xuất file trở nên nhanh chóng và dễ dàng hơn. Dịch vụ này cho phép ta caching và kết hợp dữ liệu từ nhiều nguồn khác nhau như S3, NFS, .. dưới một endpoint duy nhất. FileCache phù hợp với những usecase yêu cầu truy xuất file tốc độ cao như render VFX, tăng tốc cho tính toán hiệu năng cao (HPC) hay giảm thời gian training cho AI Model,
2.2. Data services between on-premises and AWS
2.2.1. Transfer Family
Là dịch vụ di chuyển dữ liệu giữa máy chủ hiện tại và AWS S3 hoặc AWS EFS qua giao thức FTP. Nó có thể tích hợp với các hệ thống xác thực như Microsoft Active Directory, LDAP, Okta, Amazon Cognito,… Nếu máy chủ hiện tại của bạn hỗ trợ FTP và chỉ muốn migrate lên S3 hoặc EFS thì Transfer Family sẽ là 1 lựa chọn tốt
2.2.2. DataSync
Trong khi Transfer Family chỉ hỗ trợ di chuyển giữa máy chủ bên ngoài và AWS qua FTP, DataSync có thể di chuyển dữ liệu giữa cả các dịch vụ AWS ( S3, EFS,FSx, … ) qua nhiều giao thức khác nhau ( (NFS, SMB, HDFS, S3 API ) . Ngoài ra, nó có thể thiết lập để di chuyển dữ liệu định kỳ. Do vậy nếu nhu cầu của bạn là kiểm soát và tự động hoá quá trình dịch chuyển giữa nhiều dịch vụ khác nhau, DataSync sẽ là một lựa chọn phù hợp.
2.2.3. SnowFamily
SnowFamily là dịch vụ của AWS, cung cấp cho bạn các thiết bị lưu trữ để thu thập dữ liệu của bạn, sau đó đồng bộ chúng lên AWS Cloud. Snow Family thường sử dụng trong trường hợp đường truyền mạng của bạn không đáp ứng được nhu cầu transfer dữ liệu, hoặc dữ liệu quá lớn khiến cho việc transfer qua mạng tốn rất nhiều thời gian.
2.2.4. Storage gateway
Trong trường hợp bạn chưa muốn chuyển hoàn toàn dữ liệu AWS do các vấn đề về bảo mật, chính sách công ty hoặc do chiến lược dữ liệu thì Storage Gateway sẽ là thích hợp cho bạn. Storage Gateway xây dựng một cầu nối giữa on-premise và AWS. Trong khi dữ liệu nằm trên cả on-premise và AWS, bạn vẫn có thể sử dụng chúng như là một khối dữ liệu thống nhất
2.3. Database services: là các dịch vụ lưu trữ thông tin dưới dạng cơ sở dữ liệu ( RDS, Aurora, …)
2.3.1. RDS & Aurora
RDS & Aurora là những dịch vụ giúp lưu trữ dữ liệu dưới dạng CSDL quan hệ (SQL). Các tính năng chính của nó bao gồm:
- Tự động giám sát, logging & monitoring
- Cho phép tạo replicas để tăng hiệu năng đọc
- Có khả năng scale cả chiều dọc và chiều ngang
- Dễ dàng backup dữ liệu
Các dịch vụ này thích hợp cho lập trình viên xây dựng các cơ sở dữ liệu cho các ứng dụng web, hoặc dịch chuyển từ các CSDL quan hệ sẵn có lên AWS mà không phải quản lý hệ điều hành cũng như máy chủ bên trong.
2.3.2. DynamoDB
Amazon DynamoDB là một cơ sở dữ liệu NoSQL khóa-giá trị được quản lý hoàn toàn, phi máy chủ và được thiết kế để chạy các ứng dụng hiệu suất cao trên mọi quy mô. DynamoDB cung cấp tính năng bảo mật tích hợp, sao lưu liên tục, automated multi-Region replication, lưu đệm trong bộ nhớ và các công cụ import và export dữ liệu.
DynamoDB phù hợp lưu trữ cho các ứng dụng yêu cầu hiệu năng cao mà không đòi hỏi sự chặt chẽ dữ liệu như CSDL quan hệ ( gaming, streaming, …)
2.4. AWS Backup service
Backup là 1 nhu cầu quan trọng trong quản lý nhằm giảm thiểu mất mát dữ liệu. AWS Backup là dịch vụ tập trung quản lý và tự động hóa backup trên các dịch vụ AWS. Sau khi lập Backup Plan, hệ thống sẽ tự động được backup theo những thiết lập đã được cài đặt
3. Tổng kết
Các dịch vụ lưu trữ dữ liệu của AWS cung cấp cho chúng ta rất nhiều lựa chọn trong việc lưu trữ và quản lý dữ liệu. Bất kể nhu cầu của bạn là lưu trữ dạng object, file hay block, lưu trữ ngắn hạn hay lâu dài, AWS đều có thể hỗ trợ. Mỗi dịch vụ của AWS có những tính năng riêng và phù hợp cho những usecase khác nhau. Việc chọn lựa dịch vụ phù hợp sẽ giúp bạn tối ưu chi phí, hiệu suất, độ tin cậy cũng như khả năng mở rộng sau này.
