Kỹ Thuật DevOps
Với chúng tôi, DevOps là cách để đi nhanh và vẫn nguyên vẹn khi vào cua. Một hạ tầng cho phép thử nghiệm, triển khai thay đổi, khôi phục lại mà không hoảng loạn, và thấy được điều gì đang xảy ra trong hệ thống ngay lúc này. Chúng tôi theo cách tiếp cận của GitHub: Infrastructure as Code, nơi mọi thứ được mô tả bằng mã và trạng thái hệ thống sống trong Git. Đây là bảo đảm rằng các tài sản số của bạn luôn an toàn, có thể di chuyển và tái tạo được. Khi hạ tầng được mô tả bằng mã, bạn có thể nhanh chóng quay về bất kỳ thời điểm nào, dựng lại môi trường từ đầu và yên tâm rằng nó sẽ chạy như hôm qua.
Giá trị kinh doanh
Khả năng tái tạo nghĩa là môi trường có thể được dựng lại và vẫn y nguyên. Các kho riêng tư lưu mã và cấu hình hạ tầng — đó là bản sao lưu và lịch sử thay đổi của bạn. Tính di động của tài sản số nghĩa là bạn vẫn giữ được tự do khỏi một nhà cung cấp hay máy chủ duy nhất. Những lần rollback nhanh cứu bạn khỏi các sai lầm đắt giá: nếu có gì trục trặc, bạn quay về phiên bản hoạt động trong vài phút. Điều này đặc biệt quan trọng với doanh nghiệp: tài sản số của bạn luôn được bảo toàn, chúng di chuyển được giữa các môi trường, và khi gặp sự cố bạn có khả năng quay lại nhanh. Hạ tầng trở thành một tài sản.
Chúng tôi yêu tốc độ. Và tốc độ thiếu vệ sinh sản xuất kết thúc bằng việc bạn sợ đụng vào chính hệ thống của mình.
MLOps và kỹ thuật suy luận
MLOps là sự tiếp nối tự nhiên của DevOps cho học máy. Cùng với các kỹ sư suy luận, chúng tôi tìm giải pháp cho những instance cần GPU và môi trường chuyên biệt. Điều này đặc biệt quan trọng khi xét đến tốc độ xuất hiện của các mô hình mới và tầm quan trọng của việc kiểm thử chúng thật nhanh. Hạ tầng tốt làm giảm đáng kể chi phí của một thử nghiệm. Nhất là ở phía ML: nếu bạn phải tự triển khai các mô hình, bạn áp dụng chúng càng nhanh thì càng tốt. Ngày mai có thể xuất hiện một mô hình mới giải bài toán của bạn tốt hơn — và bạn phải sẵn sàng để thử nó thật nhanh. Thiếu hạ tầng đúng đắn thì mỗi thử nghiệm đều tốn kém. Có hạ tầng đúng đắn, bạn có thể thử hàng chục phương án trong một ngày.
Quản lý bí mật và bảo mật
Quản lý bí mật là phần bắt buộc của DevOps hiện đại. Chúng tôi dùng Vault và các giải pháp đám mây để quản lý bí mật, vì giữ mật khẩu và khóa trong mã hoặc file cấu hình là một rủi ro. Bí mật phải được cô lập, quản lý phiên bản, và chỉ sẵn có cho những ai thực sự cần. Bảo mật là một thói quen: bí mật trong kho đúng, chính sách truy cập, quyền tối thiểu, ranh giới rõ ràng. Mỗi lần triển khai đều được kiểm tra về bảo mật, mỗi lượt truy cập đều được ghi log, mỗi lỗi đều được phân tích.
Đám mây và phần cứng thuần
Chúng tôi làm việc cả trên đám mây lẫn trên phần cứng thuần — vì lựa chọn phụ thuộc vào bài toán. Đám mây đem lại sự linh hoạt và khả năng mở rộng; phần cứng thuần đem lại sự kiểm soát và khả năng dự đoán. Đôi khi cần kết hợp: máy chủ riêng cho các công việc trọng yếu, đám mây cho các thử nghiệm. Một bài toán đặc biệt thú vị là kết nối máy riêng của bạn vào Kubernetes. Nếu bạn có phần cứng riêng với GPU và muốn tránh thuê nó trên đám mây, bạn có thể kết nối nó vào một cụm Kubernetes duy nhất. Điều này cho bạn quản lý tập trung nhưng sử dụng tài nguyên của chính mình. Hữu ích cho những ai làm việc với các mô hình ML và muốn kiểm soát hạ tầng trong khi giữ hóa đơn GPU đám mây ở mức kiểm soát được.
Chuẩn mực và sổ tay
Chúng tôi dành sự chú ý riêng cho việc viết công cụ, chuẩn mực và sổ tay cho các lập trình viên. Chúng tôi mô tả các cơ chế hiện tại, CI/CD, kiểm thử, quy trình triển khai. Vì DevOps gắn với hạ tầng và sự thoải mái làm việc của mọi đội nhóm. Có các chuẩn mực: triển khai thế nào, triển khai thế nào là bị cấm, những bước kiểm tra nào là bắt buộc, rollback ra sao. Có các sổ tay: làm việc với bí mật thế nào, thiết lập giám sát thế nào, debug sự cố thế nào. Tất cả những điều đó làm cho công việc trở nên dự đoán được và rõ ràng với mọi người tham gia quy trình. DevOps với chúng tôi gắn với kỷ luật và với sự thoải mái. Kỷ luật nghĩa là mọi thứ đều được mô tả, được kiểm tra và được ghi chép. Thoải mái nghĩa là lập trình viên có thể làm việc mà không phải nghĩ đến hạ tầng, và vận hành thôi biến thành cơn ác mộng.
Điều này thể hiện ra sao trong các dự án của chúng tôi
Những pipeline chẳng cần phép thuật. Những lần triển khai có thể dừng lại. Hạ tầng vẫn độc lập với «một người duy nhất còn nhớ». Và thói quen đo đạc: tốc độ, độ ổn định, chi phí của lỗi, mức tiêu thụ tài nguyên. Một trong những chỉ số cốt lõi của chúng tôi là mức tiêu thụ tài nguyên. Nó phù hợp đến đâu, có thể sắp xếp lại ra sao, có thể tối ưu ở đâu. Vì hạ tầng tốt làm việc hiệu quả. Nếu bạn cần đưa một hệ thống về trạng thái có thể phát triển trong bình yên — chúng tôi biết cách soạn kế hoạch công việc và đi những bước đầu sao cho sau đó bạn có thể tự mình tiến bước.
Trạng thái
Năng lực này đang hoạt động và liên tục phát triển — vì các dự án của chúng tôi đòi hỏi tốc độ, sự ổn định và sự rõ ràng đồng thời. Cơ sở hạ tầng hiện trường trên máy tính vi mô: cảm biến, xử lý cục bộ, truyền thông và khả năng quan sát - khi thực tế cần được đo lường.
Máy Tính Vi Mô