Sự cố sau khi deploy Integrate Service

1. Đối tượng đọc

• Stage Owner
• Customer Success Engineer
• Customer Success Specialist

2. Nội dung chi tiết

2.1. Nguyên nhân gây ra sự cố

• Test không hết các bước sau trình deploy dẫn đến việc Hubspot bị lôĩ gây ảnh hưởng đến khách hàng
• Một đoạn code được cho là đã sưả cách đây vài tháng bung lôĩ, vì nghĩ là commit đó đã rất lâu nên không rollback về trước commit đó

2.2. Hậu quả và bài học

Hâụ quả bị delay gần 1 ngaỳ để debug tìm lôĩ, sau khi rollback về commit trước commit gây lôĩ thì hệ thống hoạt động trở lại

Kinh nghiệm ở lesson lần naỳ bao gồm

• Cần hỏi teamate cần test những gì để chắc chắn về các phần cần được test nêú chưa biết
• Sau khi deploy cần kiểm tra kỹ phần mớí update, và các phần liên quan xem hệ thống có hoạt động tốt hay không

3. Kết Luận

Tài liệu này nói về 1 lần gây ra sự cố của 1 customer success engineer, qua đó ta thấy dù task như thế nào thì sai sót của con người là không tránh khỏi, và có thể gây ra hậu quả không lường trước được, nên mọi thao tác liên quan đến môi trường production bắt buộc phải kĩ lưỡng và đúng quy tắc