Hướng dẫn trạng thái Core Fabric
Cách đọc, diễn giải và khắc phục sự cố trạng thái core fabric trong VergeOS, bao gồm giá trị điểm, ví dụ fabric khỏe mạnh và không khỏe mạnh, và xác minh trước khi bảo trì.
Điều kiện tiên quyết
Quyền truy cập vào giao diện VergeOS với đặc quyền quản lý nút
Hiểu biết cơ bản về kiến trúc mạng lõi VergeOS
Truy cập console vật lý hoặc IPMI vào các nút (để khắc phục sự cố)
Biết các phân bổ VLAN lõi của bạn (Core 1 và Core 2) và tốc độ liên kết NIC dự kiến
Fabric lõi là gì?
Fabric là xương sống của hệ thống VergeOS của bạn, sử dụng mạng lõi để quản lý mọi liên lạc giữa các nút, bao gồm lưu lượng vSAN, khám phá peer, thao tác quản lý, lưu lượng mạng giữa các nút, di chuyển VM và mạng, cùng các chức năng khác.
Một triển khai VergeOS điển hình sử dụng hai mạng lõi vật lý độc lập ("Core 1 Switch", "Core 2 Switch") để dự phòng. Mỗi nút nên có hai đường dẫn vật lý độc lập tới mọi nút khác trong cluster.
Yêu cầu không có hop qua switch
Tất cả các nút phải được kết nối vào cùng một fabric chuyển mạch với không có hop qua switch giữa chúng. Độ trễ mục tiêu giữa các nút trên các mạng fabric lõi nhỏ hơn 0,05 ms. Việc thêm hop qua switch sẽ tạo ra độ trễ làm giảm điểm fabric và hiệu năng cluster.
Sự dự phòng của fabric lõi này rất quan trọng để duy trì khả năng phục hồi của hệ thống và hoạt động không gián đoạn, ngay cả khi nút hoặc ổ đĩa gặp lỗi, đồng thời cho phép thực hiện bảo trì mà không cần downtime.
Yêu cầu MTU của Fabric lõi:
Cổng switch vật lý
>= 9216
NIC vật lý
9192 (thông thường)
lớp phủ VXLAN
MTU của NIC trừ 50 byte overhead
Truy cập trạng thái Fabric (UI)
Trạng thái fabric có sẵn trong giao diện VergeOS ở nhiều mức độ chi tiết khác nhau.
Cảnh báo
Tóm tắt
Giám sát hằng ngày — cảnh báo khi các đường dẫn bị suy giảm hoặc mất
Danh sách NIC của nút
Theo từng NIC
Kiểm tra nhanh trạng thái của tất cả NIC của nút
Bảng điều khiển nút
Theo từng NIC (nút đã chọn)
Kiểm tra nhanh trạng thái của từng NIC và kết nối của chúng tới các nút khác
Chẩn đoán nút
Báo cáo JSON đầy đủ
Khắc phục sự cố nâng cao — đầy đủ chi tiết về đường dẫn, điểm số và peer
Cảnh báo
Về mặt hằng ngày, việc giám sát trạng thái fabric có thể được xử lý thông qua cùng hệ thống cảnh báo dùng cho phần còn lại của môi trường VergeOS của bạn. Một cảnh báo sẽ được kích hoạt khi liên lạc hai chiều không khả dụng trên một đường dẫn mạng lõi.
Nhấp vào một cảnh báo trong danh sách sẽ chuyển trực tiếp đến Bảng điều khiển nút bị ảnh hưởng, nơi có thể xem thêm chi tiết.
Để biết thêm thông tin về việc xem và quản lý cảnh báo, hãy xem Hướng dẫn Cảnh báo.
Xử lý ngay các cảnh báo mạng lõi
Các cảnh báo mạng lõi cho thấy hệ thống của bạn có thể chưa có đầy đủ dự phòng fabric. Hãy khắc phục ngay để đảm bảo cluster có thể chịu được sự cố mà không bị gián đoạn. Có thể cấu hình các tác nhân sự kiện để gửi thông báo qua email, hệ thống cảnh báo tin nhắn, các kênh Slack được giám sát, v.v., đảm bảo quản trị viên được thông báo ngay lập tức. Xem Hướng dẫn Sản phẩm Task Engine để biết thêm thông tin về việc tạo các tác vụ tự động; mục này Ví dụ Tự động hóa bài viết KB cung cấp ví dụ về việc thiết lập thông báo theo sự kiện.
Danh sách NIC của nút
Đây là cách nhanh để xem trạng thái fabric trên tất cả NIC mạng lõi từ một trang duy nhất.
Đi tới Cơ sở hạ tầng > Các nút.
Nhấp vào NICs ở menu bên trái.
Hiển thị danh sách tất cả NIC từ mọi nút. Cột Trạng thái Fabric cột hiển thị trạng thái cho NIC mạng lõi (ví dụ: 'Confirmed', 'No Path', 'Degraded'). Một Trạng thái Fabric giá trị 'None' được hiển thị cho các NIC không tham gia vào core fabric (ví dụ: mạng bên ngoài).
Bảng điều khiển nút
Thông tin trạng thái có sẵn theo từng NIC từ mỗi Bảng điều khiển nút.
Đi tới Cơ sở hạ tầng > Các nút.
Nhấp đúp vào mục mong muốn nút từ danh sách.
Cuộn xuống NICs phần trên Bảng điều khiển nút. Mỗi NIC core fabric sẽ hiển thị hoặc một Đã xác nhận chỉ báo trạng thái hoặc một thông báo trạng thái sự cố (ví dụ: No Path, Degraded).
Để biết chi tiết hơn, hãy nhấp vào biểu tượng quả địa cầu ở bên phải. Thao tác này sẽ mở một popup hiển thị chi tiết NIC:
Nhà sản xuất, Model, Giao diện và Driver
Đã xác nhận / Không có đường dẫn / Suy giảm trạng thái theo từng kết nối tới mỗi nút khác trong hệ thống
Điểm số cho từng kết nối tới mỗi nút khác (xem Giá trị điểm số bên dưới)
Mỗi đường dẫn nên hiển thị Đã xác nhận trạng thái. Bất kỳ đường dẫn nào hiển thị Không có đường dẫn hoặc Suy giảm cho thấy có vấn đề kết nối cần được điều tra và khắc phục.
Chẩn đoán nút
Các chi tiết trạng thái fabric mở rộng hơn (hữu ích cho khắc phục sự cố nâng cao) có sẵn thông qua Node Diagnostics. Mục này trả về một báo cáo JSON đầy đủ về trạng thái fabric như nút được chọn nhìn thấy, bao gồm tất cả các peer được phát hiện, các đường dẫn, điểm số và trạng thái xác nhận của chúng.
Đi tới Cơ sở hạ tầng > Các nút.
Chọn mục mong muốn nút từ danh sách.
Nhấp vào Chẩn đoán trong menu bên trái.
Chọn Cấu hình fabric từ Truy vấn trình đơn thả xuống.
Nhấp vào Gửi để thực thi.
Xem lại đầu ra. Các trường chính cần kiểm tra trước:
paths[].confirmedvàpaths[].scorecho từng nút peer.
Tham chiếu trường
Các trường sau xuất hiện trong đầu ra JSON trạng thái fabric.
$sysid
Giá trị băm SHA-1 xác định hệ thống VergeOS này (lấy từ /.system_id)
$last_update
Dấu thời gian của lần làm mới trạng thái fabric gần nhất
syncing_time
Trường cấp cao nhất cho biết nút hiện có đang đồng bộ đồng hồ với cluster hay không. Điều này phải là false trước khi nút tham gia hoàn tất. Trong quá trình nút gia nhập ban đầu, giá trị thường là true.
paths
Mảng các đường dẫn mạng tới nút peer này
paths[].ip
Địa chỉ IP của nút từ xa trên mạng lõi
paths[].iface
Giao diện mạng cục bộ được dùng để đi tới đường dẫn này
paths[].score
Điểm chất lượng kết nối dạng số (càng cao càng tốt). Điểm tối đa phụ thuộc vào tốc độ liên kết của NIC — xem Giá trị điểm số bên dưới.
paths[].confirmed
Việc đường dẫn này đã được xác minh là hoạt động và có thể truy cập (true / false)
vxlans
Các điểm cuối tunnel VXLAN được cấu hình cho peer này. Đây là các tunnel lớp phủ được dùng cho lưu lượng mạng ảo giữa các nút.
Trạng thái xác nhận
true
Đường dẫn đã được xác minh — giao tiếp hai chiều đang hoạt động
false
Đường dẫn không thể được xác minh — kết nối đã mất hoặc chưa từng được thiết lập
Giá trị điểm số
Tên điểm trường này biểu thị chất lượng kết nối tới một nút peer qua một đường dẫn cụ thể. Điểm tối đa tương ứng với tốc độ liên kết của NIC lõi — điểm càng cao cho thấy kết nối càng nhanh và khỏe hơn.
100 Gbps
200
50 Gbps
100
25 Gbps
50
10 Gbps
20
Một điểm số đáng kể thấp hơn mức tối đa mong đợi cho thấy sự suy giảm - các nguyên nhân có thể gồm độ trễ mạng, mất gói hoặc định tuyến không tối ưu. Một điểm 0 cho thấy mất hoàn toàn giao tiếp hai chiều.
Đã xác nhận so với Điểm số
đã xác nhận cho biết đường dẫn có thể truy cập hay không, trong khi điểm phản ánh chất lượng của đường dẫn đó.
Ví dụ về Fabric khỏe mạnh và không khỏe mạnh
Fabric khỏe mạnh (hệ thống 2 nút)
Tất cả các nút đều hiển thị, mỗi nút có hai đường dẫn, điểm số đạt mức tối đa theo tốc độ NIC, tất cả đều được xác nhận:
Cần tìm gì
Mọi nút trong cluster đều xuất hiện trong đầu ra (trong cluster 4 nút, bạn sẽ thấy đủ 4 mục nút)
Mỗi nút có hai đường dẫn (mỗi đường cho một mạng lõi)
Tất cả các đường dẫn đều hiển thị
"confirmed": true"syncing_time": falseở cấp cao nhấtĐiểm số khớp với mức tối đa mong đợi cho tốc độ NIC của bạn (ví dụ: 200 cho 100Gbps, 50 cho 25Gbps)
Fabric suy giảm — Mất dự phòng
Thiếu một đường dẫn cho một nút (lỗi một mạng lõi):
Tác động
Nút chỉ có thể truy cập qua một mạng lõi. Nếu đường dẫn còn lại bị lỗi, nút sẽ mất hoàn toàn kết nối cluster. Hãy điều tra ngay lập tức.
Fabric suy giảm — Điểm thấp
Cả hai đường dẫn đều có nhưng một đường cho thấy chất lượng giảm:
Tác động
Điểm thấp hơn mức tối đa mong đợi cho tốc độ NIC của bạn cho thấy sự suy giảm mạng trên đường dẫn đó. Hiệu năng vSAN có thể bị ảnh hưởng. Kiểm tra độ trễ, mất gói hoặc vấn đề switch trên mạng lõi bị ảnh hưởng.
Fabric nghiêm trọng — Đường dẫn chưa được xác nhận
Một đường dẫn tồn tại nhưng không thể xác minh:
Tác động
Nút đã mất liên lạc trên một mạng lõi. Nếu cả hai đường dẫn đều hiển thị "confirmed": false, nút sẽ bị cô lập khỏi cluster, gây gián đoạn vSAN và workload.
Fabric nghiêm trọng — Thiếu nút
Một nút lẽ ra phải nằm trong cluster hoàn toàn không xuất hiện trong đầu ra fabric.
Tác động
Nút bị thiếu hoàn toàn không thể truy cập. Có thể nó đã tắt nguồn, cả hai NIC lõi đều down, hoặc nó nằm trên VLAN khác. Hãy kiểm tra ngay kết nối vật lý và trạng thái nguồn của nút.
Xác minh Fabric trước khi bảo trì
Các thao tác bảo trì VergeOS — bao gồm cập nhật hệ thống, scale-up vSAN, và scale-out — yêu cầu fabric khỏe mạnh như một điều kiện tiên quyết. Không tiến hành bảo trì nếu fabric không khỏe mạnh. Trước tiên hãy giải quyết mọi sự cố bằng Khắc phục sự cố phần bên dưới.
Fabric khỏe mạnh có nghĩa là:
Tất cả các nút peer đều hiển thị trong đầu ra
Mỗi peer có hai đường dẫn (mỗi đường cho một mạng lõi)
Tất cả các đường dẫn đều hiển thị
"confirmed": trueĐiểm số khớp với mức tối đa mong đợi cho tốc độ liên kết NIC của bạn
"syncing_time": falseở cấp cao nhất
Xác minh nhanh
Từ bất kỳ nút nào, chạy Chẩn đoán nút > Cấu hình fabric và xác nhận mọi peer đáp ứng các tiêu chí trên trước khi tiếp tục bảo trì.
Khắc phục sự cố Fabric
Đường dẫn chưa được xác nhận
Triệu chứng: Một hoặc nhiều đường dẫn hiển thị "confirmed": false
Nguyên nhân và hành động phổ biến:
Cáp vật lý — Xác minh cáp đã được cắm chắc ở cả NIC của nút và cổng switch. Hãy thử một sợi cáp đã biết là tốt.
Cấu hình VLAN của switch — Xác nhận cổng switch được gán đúng core VLAN. Các cổng core nên được cấu hình là cổng access trên một VLAN riêng.
Không khớp MTU — Fabric lõi yêu cầu jumbo frame (MTU tối thiểu 9216 trên switch vật lý). Xác minh tính nhất quán MTU từ đầu đến cuối:
MTU cổng switch >= 9216
MTU của NIC vật lý (ví dụ: 9192)
MTU VXLAN = MTU của NIC trừ 50 byte overhead
NIC bị down — Kiểm tra trạng thái NIC trên bảng điều khiển nút. Nếu NIC hiển thị "Down", điều đó có thể cho thấy lỗi phần cứng hoặc sự cố driver.
Suy giảm điểm
Triệu chứng: Các đường dẫn đã được xác nhận nhưng điểm thấp hơn mức tối đa mong đợi cho tốc độ NIC của bạn
Nguyên nhân và hành động phổ biến:
Độ trễ mạng — Tất cả các nút phải nằm trên cùng một fabric chuyển mạch với không có hop qua switch không có hop switch giữa chúng (độ trễ mục tiêu <0,05 ms). Thêm hop switch vào đường dẫn fabric lõi sẽ tạo ra độ trễ có thể làm giảm đáng kể hiệu năng cluster và điểm số.
Tắc nghẽn switch — Xem các bộ đếm giao diện switch để tìm lỗi, gói rớt hoặc lỗi CRC.
Không khớp duplex/tốc độ — Sử dụng Chẩn đoán nút > Công cụ Ethernet để xác minh NIC đang thương lượng ở tốc độ mong đợi (10Gbps+).
Thiếu nút
Triệu chứng: Một nút lẽ ra phải có trong cluster không xuất hiện trong đầu ra fabric
Nguyên nhân và hành động phổ biến:
Nút ngoại tuyến — Xác minh nút đã được bật nguồn và đang chạy. Kiểm tra IPMI nếu nút không phản hồi.
Cả hai NIC lõi đều down — Nếu cả hai giao diện mạng lõi đều down, nút không thể tham gia phát hiện fabric.
Cô lập VLAN — Xác nhận các cổng switch của nút bị thiếu nằm trên cùng VLAN với các nút khác.
ybfabric không chạy —
ybfabricdaemon phải đang chạy để một nút tham gia phát hiện fabric. Nếu tiến trình không chạy,vsan-watchdognên tự động khởi động lại nó. Nếu nút vẫn bị thiếu sau vài phút, hãy liên hệ bộ phận hỗ trợ VergeOS.
Chỉ một đường dẫn
Triệu chứng: Các nút chỉ hiển thị một đường dẫn thay vì hai
Nguyên nhân và hành động phổ biến:
Lỗi cáp — Một cáp mạng lõi có thể bị ngắt kết nối hoặc hỏng. Hãy thử một sợi cáp đã biết là tốt.
Lỗi cổng switch — Cổng switch cho một mạng lõi có thể đang down. Kiểm tra trạng thái giao diện switch và nhật ký.
Lỗi NIC — Một trong hai NIC lõi có thể đã hỏng. Kiểm tra trạng thái NIC trên bảng điều khiển nút. Sử dụng Chẩn đoán nút > Công cụ Ethernet để xác minh trạng thái liên kết.
Sự cố đồng bộ thời gian
Triệu chứng: "syncing_time": true kéo dài hơn 60 giây sau khi nút khởi động
Nguyên nhân và hành động phổ biến:
Nút không thể liên lạc với các peer để đồng bộ đồng hồ. Hãy kiểm tra kết nối fabric trước.
Nếu các đường dẫn fabric khỏe mạnh thì
ybfabricdaemon có thể cần được khởi động lại thông qua script khởi động.
Các phương pháp hay nhất
Xử lý ngay các cảnh báo mạng lõi — Khắc phục sự cố nhanh chóng để duy trì đầy đủ dự phòng fabric
Xác minh fabric trước mỗi thao tác bảo trì — Hãy tạo thói quen kiểm tra trạng thái fabric trước khi cập nhật, scale-up, scale-out và bảo trì nút
Duy trì hai mạng lõi — Luôn giữ cả hai đường Core1 và Core2 ở trạng thái khỏe mạnh để có dự phòng
Kiểm tra sau khi thay đổi phần cứng — Sau bất kỳ thay đổi nào về cáp, switch hoặc NIC, hãy xác minh lại trạng thái fabric
Sử dụng hành động Refresh Fabric — Sau khi khắc phục sự cố kết nối, hãy dùng Refresh Fabric nút trên bảng điều khiển nút (hoặc hành động hàng loạt từ danh sách nút) để buộc cập nhật trạng thái
Bao gồm trạng thái fabric trong chẩn đoán — Khi làm việc với bộ phận hỗ trợ VergeOS, tệp
ybfabric.txttrong chẩn đoán hệ thống chứa trạng thái fabric tại thời điểm chẩn đoán được tạo
Tài nguyên liên quan
Cập nhật lần cuối
Nội dung này có hữu ích không?