Вы наверняка видели, как люди тыкают в риобет-зеркало, ожидая мгновенного результата, а потом разочарованно пожимают плечами — но проблема не в зеркале, а в их действиях. В 9 из 10 случаев система работает, но требует специфичных проверок, которые выходят за рамки стандартного «попинговать и проверить статус». Я покажу, как отличить реальные сбои от ложных срабатываний, даже когда логи молчат. Если вы читаете это, скорее всего, уже столкнулись с ситуацией, когда риобет зеркало рабочее по всем тестам, но данные не синхронизируются — сейчас разберёмся.
Почему стандартные проверки врут?
Ping — это ложный друг. Если ICMP-эхо не проходит, многие сразу ставят диагноз «зеркало умерло». Но что, если ваш фаервол блокирует ICMP? Проверьте альтернативу:
- Используйте telnet или nc к порту 80/443 — если соединение устанавливается, проблема не в сети.
- Сравните время отклика на HTTP-запросы к разным портам. Расхождение больше 200 мс? Возможно, NAT-трансляция нагружена.
API может отвечать 200 OK, но данные в ответе — устаревшие. Добавьте параметр ?force_check=1 к запросу — если появились свежие данные, виновата очередь репликации.
Ещё один важный момент: проверка через curl может показывать разные результаты в зависимости от версии клиента. Например, curl 7.64 может работать, а curl 7.68 — нет из-за изменений в обработке TLS. Убедитесь, что используемая версия curl поддерживает нужные параметры, такие как –tlsv1.2 или –http1.1.
Также стоит учитывать временные задержки на уровне DNS. Если ваш DNS-сервер медленно обновляет записи, попробуйте использовать прямой IP-адрес вместо доменного имени. Это особенно актуально для зеркал за балансировщиком нагрузки.
Что делать, если зеркало отвечает, но не обновляется
Первое: не паниковать. Задержка в 15 минут — это норма для большинства конфигураций. Но если ждать некогда:
- Найдите логи синхронизации — обычно в /var/log/riobet/sync.log, а не там, где лежат основные логи админки.
- Проверьте очередь командой riobet-cli queue –status. Если в столбце «Pending» больше 50 задач — это объясняет лаг.
Если логи не помогают
Запустите принудительную синхронизацию:
- curl -X POST http://localhost:8080/api/sync/force
- Добавьте заголовок X-Debug: true для подробного вывода.
- Сравните хеш эталонного пакета с зеркальным через riobet-cli hash-compare.
При анализе логов обратите внимание на сообщения типа “retry limit exceeded” или “connection timeout”. Они могут указывать на проблемы с сетью или базу данных. Например, если вы видите несколько таких сообщений подряд с интервалом в 30 секунд, возможно, произошла потеря соединения с основным сервером.
Также не забудьте проверить объем свободного места на диске. Если диск заполнен более чем на 95%, система может приостановить синхронизацию. Используйте команду df -h для проверки.
3 минуты на проверку сетевых маршрутов
traceroute не всегда покажет пробему. Вместо него:
- Используйте mtr — он покажает потери пакетов в реальном времени.
- Проверьте MTU: ping -s 1472 -M do
. Если пакеты не проходят, уменьшите MTU до 1400.
Особый случай: зеркало за NAT. Тут поможет тест на фрагментацию:
- ping -s 1480 -M want
- Если ответы есть, но с задержкой — NAT режет пакеты на части. Подробнее можно посмотреть riobet.
Если вы используете VPN или GRE-туннель, убедитесь, что размер MTU настроен правильно. Обычно для VPN рекомендуется значение 1400, а для GRE — 1410. Неправильный MTU может вызывать фрагментацию пакетов и увеличивать нагрузку на сеть.
Для более глубокого анализа можно использовать tcpdump. Например, команда tcpdump -i eth0 ‘tcp port 443’ покажет все HTTPS-запросы на порту 443. Это поможет выявить проблемы с установкой соединения или потерю пакетов.
Если API работает, а веб-интерфейс — нет
Типичные причины:
- CORS-заголовки не позволяют браузеру получить данные. Проверьте, есть ли Access-Control-Allow-Origin в ответе API.
- Веб-интерфейс использует устаревший эндпоинт /v1/data вместо /v2/data.
Ручной тест эндпоинтов
Если API отдаёт 200 OK, но тело пустое:
- curl -I http://
/api/sync — смотрим хедеры. - Ищем X-Mirror-State: active — если его нет, зеркало в режиме репликации.
Если веб-интерфейс не загружается, проверьте консоль разработчика в браузере. Часто там можно найти ошибки, связанные с CORS или смешанным содержимым (HTTP и HTTPS). Например, если страница загружается по HTTPS, но пытается загрузить скрипт по HTTP, браузер блокирует такие запросы.
Также убедитесь, что веб-интерфейс использует последнюю версию библиотек. Например, если используется React 16, а требуется React 18, это может вызвать проблемы с отображением данных.
После успешного деплоя
Первые 48 часов критичны. Мониторьте:
- Нагрузку на диск — iostat -dx 1. Если %util выше 90, репликация будет тормозить.
- Память процесса — riobet-cli memstat. Утечки проявляются не сразу.
Важно: не меняйте конфиг в первые сутки после фикса. Если проблема не в SLA, дайте системе стабилизироваться.
Также рекомендуется настроить мониторинг на основе Prometheus и Grafana. Это позволит отслеживать ключевые метрики, такие как время ответа API, количество активных соединений и объем передаваемых данных. Например, можно настроить алерт, который сработает, если время ответа превышает 500 мс.
Другой важный аспект — проверка скорости репликации. Если скорость ниже ожидаемой, попробуйте увеличить количество потоков настройкой replication_threads в конфигурации. Обычно рекомендуется значение, равное количеству ядер процессора.
Дальнейшие шаги диагностики
- Снять дамп трафика между узлами: tcpdump -i eth0 host
-w /tmp/debug.pcap - Сравнить хеши эталонного и зеркального пакетов через riobet-cli hash-compare –full
Когда пора в саппорт? Если после всех проверок задержка синхронизации превышает SLA в 3 раза или данные повреждены. Но скорее всего, вы уже нашли причину — просто она не там, где искали вначале.
Если проблема всё ещё не решена, попробуйте воспроизвести её на тестовом окружении. Это поможет изолировать причину и проверить возможные решения без риска для рабочей системы. Например, можно создать идентичную конфигурацию в Docker для локального тестирования.
Также не забудьте проверить файрвол на обоих узлах. Часто причина может быть в правиле, которое блокирует определённый тип трафика. Используйте команду iptables -L -v для проверки текущих правил и их воздействия на трафик.