GIỚI THIỆU VỀ BRIGHTICS AI

1/ Tổng quan

Trong những năm gần đây, sự bùng nổ của dữ liệu lớn và AI dẫn đến các giải pháp phát triển cao cấp được áp dụng trong nhiều mảng kinh doanh nghiệp khác nhau. Nhiều doanh nghiệp áp dụng công nghệ mới của AI / DL để đưa ra các quyết định nhằm cải thiện tình hình kinh doanh theo chiều hướng tích cực. Thêm vào đó, AI / DL gần như thay đổi nhiều mặt trong xã hội của chúng ta, cũng như định hướng phát triển các mô hình kinh doanh theo một cách rất khác mà không thể dự báo như trước đây.

Với nhu cầu lớn của thị trường kinh doanh, nhu cầu phát triển AI / DL cũng tăng mạnh. Một trong những trở ngại là việc phát triển AI / DL đòi hỏi kỹ năng lập trình tốt, cũng như nhiều kỹ năng phát triển và quản lý phần mềm khác mà hầu hết những người đang cần các giải pháp AI / DL một cách cấp thiết để phát triển lĩnh vực kinh doanh khó có thể tiếp cận được, và đòi hỏi phải mất nhiều thời gian để phát triển.

Do đó, việc đơn giản hóa việc phát triển các dự án AI / DL trở thành một trong những lợi thế lớn đối với bất kỳ doanh nghiệp nào đã và đang áp dụng công nghệ này, vì không phải doanh nghiệp nào cũng có đủ nhân viên có kỹ năng lập trình cần thiết để phát triển các dự án AI / DL. Sự cần thiết của một nền tảng có thể giúp các nhà khoa học dữ liệu, các nhà quản lý kỹ thuật phát triển các giải pháp AI của riêng họ chỉ bằng những cú nhấp chuột, kéo và thả – mà không mất quá nhiều thời giờ để tạo ra một dự án lớn với hàng nghìn dòng mã lệnh – mà trong đó vô số lỗi và vấn đề đang chờ đợi trong quá trình thực hiện – ngày càng trở nên cần thiết, vì nền tảng này sẽ giúp tiết kiệm thời gian cho các doanh nghiệp xây dựng nên giải pháp sử dụng AI của họ, cũng như đảm bảo sự ổn định của các kiến ​​trúc dự án của họ và hơn thế nữa, khả năng mở rộng giải pháp trong dài hạn.

Do đó, nền tảng Brightics AI / Deep Learning ra đời để đáp ứng những đòi hỏi trên.

2/ Kiến trúc

Nền tảng Brightics AI bao gồm các thành tố sau đây:

Server:

Máy chủ đóng vai trò là tác nhân giám sát / quản lý cấu hình, phân quyền cho các người dùng khác nhau các quyền khác nhau, như khả năng truy cập tài nguyên, kết nối những dữ liệu cần thiết, …

Back-end Architecture:

Back-end bao gồm các nền tảng và thư viện khác nhau chuyên dùng cho việc phát triển Dữ liệu lớn và AI:

• Dữ liệu lớn: Hadoop, Spark
• Lập trình phát triển AI: Python, Keras, Tensorflow
• Công cụ phân tích: Python, R

Xử lý dữ liệu:

Brightics AI đã bao gồm các mô-đun khác nhau để xử lý các loại dữ liệu khác nhau:

• Cơ sở dữ liệu quan hệ (Postgres, MySQL, Oracle, …)
• Văn bản (log, notes, …)
• Hình ảnh
• Videos
• Files

Mỗi loại dữ liệu khác nhau có thể được xử lý bởi các mô-đun ETL khác nhau chuyên dùng cho các loại dữ liệu đó.

Trực quan hóa:

Để trực quan hóa kết quả phân tích dữ liệu hoặc xử lý dữ liệu, Brightics AI hỗ trợ hầu hết các loại đồ thị / biểu đồ thường được sử dụng trong biểu diễn dữ liệu.

Brightics AI cũng có thể hỗ trợ các mô-đun trực quan hóa của bên thứ 3, cung cấp API và đầu vào để phân tích dữ liệu theo yêu cầu của các mô-đun đó.

3/ Các chức năng chính

Ngôn ngữ lập trình được hỗ trợ

Brightics AI đóng vai trò là một nền tảng để phân tích Dữ liệu lớn, nó hỗ trợ hầu hết các ngôn ngữ lập trình chuyên dụng cho Dữ liệu lớn:

• Scala
• Python

Visualized workflow

Tính năng lớn nhất của Brightics AI là khả năng giảm thiểu khối lượng lớn công việc lập trình mà không phải hy sinh quá nhiều khả năng tùy biến cần thiết cho các dự án khoa học dữ liệu. Chỉ bằng cách kéo và thả, người dùng có thể tạo ra luồng cho bất kỳ luồng khai thác dữ liệu hoặc phân tích dữ liệu nào, dễ dàng thiết kế và hiển thị trực tiếp trong nền tảng Brightics AI.

Đơn vị nhỏ nhất của Brightics AI là một khối chức năng. Khối chức năng phục vụ một chức năng duy nhất tùy thuộc vào thiết kế của người dùng cho dự án, cũng như thư viện hỗ trợ được cung cấp từ Brightics AI. Nếu chức năng được yêu cầu không có sẵn hoặc cần được xác định ở nơi khác, Brightics AI cũng cung cấp mô-đun do người dùng xác định (UDF), nơi mà người dùng có thể thêm mô-đun / thư viện bên ngoài của họ mà không được hỗ trợ trực tiếp trong Brightics.

Trong bất kỳ khối chức năng nào, phần đầu vào và đầu ra có thể được xem dưới nhiều dạng trực quan dữ liệu khác nhau: bảng, đường vẽ, biểu đồ, … tùy thuộc vào yêu cầu của người dùng. Người dùng có thể thay đổi các tham số tổng quát cho khối chức năng khi họ thấy phù hợp với mục đích làm việc của mình.

Một khối chức năng có thể được kết nối với một hay nhiều khối chức năng khác và sử dụng tài nguyên của các khối đó làm đầu vào của nó. Các đầu vào có thể là đầu ra dữ liệu của các khối khác hoặc các mô hình đã được huấn luyện. Người dùng có thể thoải mái lựa chọn thay đổi các kết nối sao cho phù hợp với các luồng phân tích dữ liệu của dự án.

Các chức năng khai phá dữ liệu được hỗ trợ:

Là một nền tảng dành riêng cho nhà khoa học dữ liệu, Brightics AI bao gồm tất cả các phương pháp mới nhất để xử lý dữ liệu và phân tích dữ liệu. Hầu hết các công cụ chuyển đổi dữ liệu phổ biến thường thấy trong SQL, Excel, … đều được đưa vào hoạt động trong Brightics AI. Brightics AI cũng chứa hầu hết các phương pháp thống kê kinh điển để phân tích dữ liệu và thuật toán học máy.

Tất cả các chức năng của chuyển đổi dữ liệu có thể dễ dàng thực hiện trong Brightics AI:

• Kết hợp
• Phân tán
• Gộp
• Bảng tổng hợp
• Lấy mẫu
• Xóa dữ liệu bị mất

Tạo ra biến mới:

• Chuyển dời biến
• Label Encode
• One Hot Encode
• PCA
• Scaling

Các phương pháp thống kê:

• Bartlett’s Test
• Tương quan
• One Way ANOVA
• Biểu đồ cặp biến
• Thống kê bảng
• Tukey’s Range Test

Các thuật toán hồi quy:

• Decision Tree Regression
• Random Forest Regression
• GLM
• Linear Regression
• XGB Regression

Các thuật toán phân lớp:

• Decision Tree Classification
• Random Forest Classification
• Logistic Regression
• Support Vector Classification
• XGB Classification

Các thuật toán phân cụm:

• Kmeans

Brightics AI cung cấp sự tiện lợi của các chương trình học máy tự động, tự đề xuất các tham số tổng quát được tối ưu hóa cho các thuật toán nhất định mà áp dụng trong các bài toán dữ liệu cụ thể. Việc sử dụng các tính năng này giúp nhà khoa học dữ liệu đẩy nhanh quá trình thiết kế và vận hành dự án khoa học dữ liệu của họ, giảm thời gian làm việc cho việc điều chỉnh các tham số tổng quát.

Thiết kế mô hình học sâu

Brightics DL là một giải pháp kinh doanh thực hiện việc dán nhãn hình ảnh, xử lý văn bản và đề xuất các mô hình xử lý phù hợp.

Vẫn dựa trên thiết kế của các khối chức năng và kết nối giữa các khối chức năng, thiết kế kiến trúc cho các bài toán học sâu có thể được thực hiện dễ dàng trong nền tảng Brightics AI: mỗi khối chức năng giờ đây tương ứng với mỗi lớp biến số trong luồng Học sâu, với các thông số trong lớp đấy (Kích thước của nhân tích chập, bộ lọc tham số, hàm kích hoạt) đều có sẵn để người dùng thiết kế cho phù hợp. Các tham số tổng quát cho huấn luyện AI (số vòng lặp, hàm mất mát, …) đều có thể được xác định trong các thanh công cụ điều chỉnh phù hợp với hầu hết các nhu cầu về tùy chỉnh cấu hình và huấn luyện AI.

Trong khi người dùng có thể tạo kiến trúc luồng Học sâu bằng cách sử dụng các chức năng Brightics AI, Brightics AI cũng cung cấp các loại mô hình tiền xử lý của một số thuật toán Học sâu kinh điển và tân tiến để xử lý văn bản, xử lý hình ảnh, như MXNet, VGG , Inception, … với độ chính xác cao.

Giống như học máy tự động được hỗ trợ trong học máy, Brightics AI cũng cung cấp tính năng tự đề xuất mô hình học tập tối ưu hoặc đề xuất tham số tối ưu để tối ưu hóa dữ liệu đào tạo.

References:

Overall:

For trial with Brightics: