Beberapa waktu yang lalu Excellent memindahkan sistem Zimbra yang selama ini digunakan ke versi yang baru. Versi yang baru ini menggunakan Zimbra Network Edition sehingga feature-feature utama dimanfaatkan semaksimal mungkin. Salah satu feature itu adalah feature HSM (Hierarchical Storage Management)

HSM adalah feature storage tiering, yang akan secara otomatis memindahkan data email dengan usia tertentu (misalnya lebih dari 6 bulan) atau berdasarkan kriteria tertentu ke storage lain secara otomatis. HSM secara otomatis berjalan setiap malam, melakukan patroli terhadap email yang memenuhi kriteria yang sudah ditetapkan dan memindahkan datanya ke storage yang diinginkan.

Dengan cara ini, kita bisa menggunakan harddisk kecepatan tinggi namun mahal seperti SSD atau SAS 15K RPM hanya untuk keperluan data utama saja. Hanya untuk email-email yang frekuensi aksesnya cukup sering. Hanya untuk email yang sifatnya “current” saja, misalnya untuk email beberapa bulan terakhir. Data-data email yang sudah jarang diakses namun tidak hendak dihapus bisa dipindah ke storage lain yang mungkin tidak secepat SSD namun lebih murah dan mendapat kapasitas lebih besar.

Saya menggunakan DigitalOcean Spaces sebagai secondary volume penampung HSM. Awal-awal menggunakannya lancar jaya namun setelah beberapa waktu, HSM selalu berhenti ditengah jalan. Pesannya seperti ini :

Network Modules NG has detected an abnormal interruption of a ZxPowerstore operation, usually caused by a mailboxd service restart.
Please make sure to find and fix the cause of said service restart before restarting the operation. 

For additional information see http://wiki.zextras.com/wiki/Running_Operation_Awareness.

— Operation Details —
Name: CheckBlobs
Start Time: 31/10/2018 15:24:56
Operation Id: d090f2c1-fbdb-49cb-b401-f9610e36f144
Requested By: zimbra

— Parameters —
origin = ZxLink

Hal yang sama juga terjadi pada mekanisme backup otomatis. Selalu terhenti ditengah jalan.

Network Modules NG has detected an abnormal interruption of a ZxBackup operation, usually caused by a mailboxd service restart.
Please make sure to find and fix the cause of said service restart before restarting the operation. 

For additional information see http://wiki.zextras.com/wiki/Running_Operation_Awareness.

— Operation Details —
Name: Smart Scan
Start Time: 01/11/2018 04:01:00
Operation Id: 14f67444-9871-4ad4-bd47-db3106c94c91
Requested By: zimbra

— Parameters —
requesterAddress = zimbra
additionalNotificationAddresses = com.zextras.lib.ContainerListString@1
origin = Cron
isDeep = false

Setelah mencoba beberapa upaya perbaikan dan pengecekan tidak berhasil, kami menghubungi Zimbra support. Mereka meminta beberapa log. Karena modul powerstore dan backup menggunakan teknologi Zextras, Zimbra support juga berkoordinasi dengan pihak Zextras. Team Excellent sendiri punya direct access ke team Zextras karena mereka kenal beberapa engineer Excellent dan saya sendiri pernah bertemu boss mereka di Thailand.

Berdasarkan hasil investigasi, modul backup maupun powerstore/HSM berhenti karena services mailbox mengalami proses restart. Kami confirmed tidak melakukan proses restart services manual jadi kemungkinan services ini mengalami kendala kemudian otomatis melakukan proses restart.

Selagi proses eskalasi masalah berlangsung, saya menemukan tampilan konsole dengan informasi yang menjadi clue, sebagai berikut :

Kalau dari pesan yang ada, Java proses yang salah satunya digunakan oleh services mailbox mengalami proses kill karena out of memory. Kecurigaan muncul jangan-jangan ini yang menjadi penyebab masalah. Karena masalahnya berkaitan dengan memory, solusinya adalah melakukan upgrade memory.

Saya mematikan services Zimbra, shutdown sistem kemudian melakukan update memory dan vCPU disisi cloud yang digunakan. Setelah proses upgrade selesai, sistem diaktifkan kembali dan services Zimbra difungsikan. Test proses backup dan HSM manual berjalan dengan lancar. Backup dan HSM otomatis yang dilakukan keesokan harinya juga berhasil. Jadi memang benar sumber utama masalah adalah kekurangan memory yang berakibat pada matinya services Java dan otomatis berimplikasi pada services mailbox.