CÔNG TY CỔ PHẦN DỊCH VỤ CÔNG NGHỆ DATECH

Số 23E4 KĐT Cầu Diễn, Tổ 7, Phú Diễn, Bắc Từ Liêm, Hà Nội


Công nghiệp đầu tiên: Đo điểm chuẩn LLM trên Cấu trúc Ethernet suy luận AI đa nút

20/04/2024
Bookmark Tin tức

Giới thiệu chung

AI và ML (học máy) đã được phát triển trong nhiều thập kỷ, nhưng ngay cả với những tiến bộ nhanh chóng ngày nay, công nghệ này vẫn tiếp tục bị phân mảnh, riêng biệt và chưa được hiểu rõ. Tại Juniper Networks, chúng tôi tin rằng hãng có thể mở khóa giai đoạn tiếp theo của việc áp dụng AI thông qua sự cộng tác mạnh mẽ nhằm dân chủ hóa cơ sở hạ tầng AI bằng cách giảm chi phí và tăng tốc đổi mới. Đó là lý do tại sao gần đây Juniper đã tham gia MLCommons.

MLCommons là một tập đoàn công nghiệp AI được xây dựng dựa trên triết lý hợp tác mở để cải thiện hệ thống AI. Với sứ mệnh thúc đẩy đổi mới vì tiến bộ xã hội, MLCommons thúc đẩy sự hợp tác giữa các nhà lãnh đạo trong ngành và các học giả để đo lường và cải thiện độ chính xác, an toàn, tốc độ và hiệu quả của công nghệ AI. Bằng cách cung cấp các bộ dữ liệu công khai, các biện pháp thực hành tốt nhất về AI, bộ kiểm tra điểm chuẩn cũng như các số liệu và tiêu chuẩn ngành có thể đo lường được, MLCommons giúp các tổ chức xây dựng và triển khai các hệ thống và giải pháp AI có thể đáp ứng các yêu cầu về khối lượng công việc AI/ML phức tạp để đào tạo và suy luận.

Việc phát triển và triển khai các ứng dụng AI đòi hỏi cơ sở hạ tầng được điều chỉnh cao với các máy chủ GPU được xây dựng có mục đích, ngăn xếp phần mềm AI/ML mạnh mẽ và kết cấu mạng không mất dữ liệu, có độ trễ thấp. Đào tạo mô hình AI/ML và sau đó sử dụng mô hình đó để rút ra kết luận từ dữ liệu mới—một quy trình được gọi là suy luận—là hai quy trình riêng biệt yêu cầu các số liệu hiệu suất khác nhau, có giá trị trong việc xây dựng và điều chỉnh các cụm AI. Để định lượng hiệu suất và thời gian phản hồi, vòng thử nghiệm gần đây nhất của MLCommons, MLPerf Inference v4.0, được thiết kế để đo lường tốc độ các cụm AI có thể chạy các mô hình AI/ML trong nhiều tình huống Suy luận AI khác nhau. MLPerf cung cấp điểm chuẩn hiệu suất hệ thống ML tiêu chuẩn ngành theo cách trung lập về kiến trúc, mang tính đại diện và có thể tái tạo cho các hệ thống biên và trung tâm dữ liệu.

Kiểm tra LLM nghiêm ngặt

Juniper là công ty đầu tiên gửi điểm chuẩn suy luận Llama2 đa nút, thể hiện cam kết của Juniper đối với các kiến trúc mở sử dụng Ethernet để kết nối các GPU trong kết cấu mạng trung tâm dữ liệu. Việc kiểm tra nhiều nút—trong trường hợp này là nhiều máy chủ GPU—là điều cần thiết để đáp ứng quy mô và độ phức tạp ngày càng tăng của các mô hình ngôn ngữ lớn (LLM). Nhiều mô hình AI, đặc biệt là những mô hình được sử dụng cho các nhiệm vụ như nhận dạng hình ảnh hoặc giọng nói, có chi phí tính toán cực kỳ cao. Việc chia nhỏ quá trình suy luận trên nhiều nút sẽ cải thiện hiệu quả. Sử dụng nhiều nút là rất quan trọng khi xử lý khối lượng lớn dữ liệu, mô hình phức tạp hoặc nhu cầu ra quyết định theo thời gian thực mà một máy đơn lẻ không thể xử lý hiệu quả—ví dụ: hệ thống phát hiện gian lận trong thương mại điện tử phân tích giao dịch trong thời gian thực . Suy luận đa nút cho phép Juniper mô phỏng các mẫu lưu lượng mạng trong thế giới thực và đánh giá chính xác liệu cơ sở hạ tầng có thể xử lý các yêu cầu phức tạp về xử lý dữ liệu trên các mạng lớn hay không.

Juniper đã tận dụng và xây dựng dựa trên TensorRT-LLM của NVIDIA, một khung dành cho suy luận LLM được tối ưu hóa, để đánh giá suy luận Llama2. Llama2 là mô hình có 70 tỷ tham số, mô hình lớn nhất trong bộ điểm chuẩn Suy luận MLPerf—một cấp độ lớn hơn mô hình GPT-J được giới thiệu trong MLPerf Inference v3.1. Nó chính xác hơn nhưng cũng phức tạp và thách thức hơn trên cơ sở hạ tầng cụm AI. Đây là lần gửi nhiều nút đầu tiên tới MLCommons để suy luận AI dựa trên Ethernet và do đó, Juniper tin rằng đây là lần đầu tiên thử nghiệm thực sự các khía cạnh mạng của cụm suy luận AI.

Theo David Kanter, Giám đốc điều hành của MLCommons, “Việc gửi tới MLPerf khá khó khăn và là một thành tựu thực sự. “Do tính chất phức tạp của khối lượng công việc học máy, mỗi nhà cung cấp phải đảm bảo rằng cả phần cứng và phần mềm của họ đều có khả năng, ổn định và hiệu suất để chạy các loại khối lượng công việc ML này. Đây là một cam kết quan trọng và chúng tôi tôn vinh sự làm việc chăm chỉ và cống hiến của Juniper Networks, công ty đầu tiên gửi mô hình ngôn ngữ lớn nhiều nút cho điểm chuẩn Suy luận MLPerf.”Juniper AI Lab

Juniper đã tiến hành những thử nghiệm này trong Phòng thí nghiệm Đổi mới AI tại trụ sở chính ở Sunnyvale. Juniper đã ủy quyền cho phòng thí nghiệm này vào năm 2023 để phân tích các khối lượng công việc AI/ML khác nhau và các mẫu lưu lượng mạng liên quan. Điều này đã phát triển hơn nữa chuyên môn của chúng tôi trong việc vận hành toàn bộ cơ sở hạ tầng AI, tối ưu hóa và điều chỉnh kết cấu Ethernet cho khối lượng công việc AI/ML và cuối cùng là xuất bản Thiết kế được xác thực Juniper (JVD) mới. Phòng thí nghiệm đổi mới AI được xây dựng với các máy chủ GPU H100 và A100 của NVIDIA, hệ thống lưu trữ phân tán, bộ chuyển mạch Juniper QFX và PTX, đồng thời được vận hành thông qua Juniper Apstra,™ giải pháp tự động hóa và quản lý kết cấu DC đa nhà cung cấp dẫn đầu thị trường của chúng tôi. Chúng tôi điều chỉnh các cụm AI và kết cấu trung tâm dữ liệu của mình để cho phép quản lý tắc nghẽn và cân bằng tải tối ưu nhằm đơn giản hóa việc triển khai của khách hàng với độ ổn định ngay lập tức.

Giải pháp Trung tâm dữ liệu AI của Juniper là một cách nhanh chóng để triển khai các mạng suy luận và đào tạo AI hiệu suất cao mà Juniper tin là thiết kế linh hoạt nhất và dễ quản lý nhất với nguồn lực CNTT doanh nghiệp hạn chế. Các tính năng giải pháp của juniper:

  • Hiệu suất của giải pháp đã được xác thực: Các thiết kế đã được xác thực từ đầu đến cuối đảm bảo sự tự tin khi lựa chọn sản phẩm; đẩy nhanh thời gian triển khai
  • Đơn giản hóa hoạt động: Tiết kiệm thời gian và tiền bạc với phương pháp thiết kế, triển khai và khắc phục sự cố ưu tiên hoạt động, sử dụng ít tài nguyên hơn
  • Tính linh hoạt mở: Thiết kế mạng của bạn bằng cách sử dụng các công nghệ và sản phẩm đã được chứng minh giúp tránh bị ràng buộc bởi nhà cung cấp

Kết luận

Để tìm hiểu thêm thông tin về các giải pháp của Juniper, vui lòng liên hệ với chúng tôi:

CÔNG TY CỔ PHẦN DỊCH VỤ CÔNG NGHỆ DATECH

  • Địa chỉ:Số 23E4 KĐT Cầu Diễn, Tổ 7, Phú Diễn, Bắc Từ Liêm, Hà Nội
  • Điện thoại: 02432012368
  • Hotline: 098 115 6699
  • Email: info@datech.vn
  • Website:https://datech.vn