Drift av FS-plattform
FS-plattform kjører i produksjon på Jboss 7.4 hos Usit. Applikasjonsnavnet er forvirrende nok fsapi-rest-blue og fsapi-rest-green. Forespørsler til FS-plattform går til api.fellesstudentsystem.no som håndteres av HAProxy hos Usit. HAProxy sender videre til nginx som kjører i Docker w3prod-fsapi01.uio.no og w3prod-fsapi02.uio.no. Nginx sender videre til IntArk gravitee gateway. Gravitee sender enten til fsapi-rest-blue eller fsapi-rest-green avhengig av hvilken som er satt aktiv. Uansett går trafikken videre til HAProxy hos Usit som sender trafikken til Jboss Apache. Denne lastbalanserer til de respektive Jboss 7.4 instansene: w3prod-jb-fs07 til fs12.
Denne kompleksiteten gjør at det er vanskelig å ha et stabilt produksjonsmiljø. I tillegg opplever vi til stadighet at instansene i Jboss slutter å svare på forespørsler som følge av det vi tror er en minnelekkasje.
Hvordan oppdager jeg at noe er galt?
FS-plattform er koblet opp i studieadministrasjon sitt Zabbix-dashboard. Ved problemer sender Zabbix varslinger til #studieadm-zabbix. Observabilitetsdata sendes til Grafana og følgende dashboard er ment å gi oversikt:
Hva gjør jeg dersom Jboss slutter å svare?
Vi har ikke direkte tilgang til Jboss, men kan heldigvis gjøre noe selv ved hjelp av rundeck. Det å restarte applikasjonen, kan gjøres ved hjelp av følgende jobb. Velg Server-group og oppgi den instansen av applikasjon som skal restartes.
Hvordan ser jeg hvilken instans som er aktiv?
Det enkleste er å se i grafana hvor det kommer logger. Dette følger av at gravitee bruker den inaktive instansen dersom helsesjekken sier at den aktive instansen har problemer.