审计日志检索失败故障处理
故障现象
进入云审计页面，看不到审计日志数据， 或根据关键字检索失败。
故障影响
较高。
故障处理
- 进入cloudtrail服务，执行ps aux | grep QC，观察worker进程是否正常执行。如果不正常，执行sh server.sh -t restart -n QC_CLOUD_TRAIL， 进行服务重启。
- 执行cd /data/release/cloudtrail/application/logs/sys && vim sys_{日期}.log ，查看是否有最新的 "QC_CLOUD_TRAIL_worker start" 启动日志，如果没有，那就是进程启动有问题
- 进程启动没问题，grep lookupEvents /data/release/cloudtrail/application/logs/detail/daily_{日期}.log , 观察是否有异常日志，如果有，根据response code判断是数据库异常还是es异常。进而对存储组件进行排查。
- cloudtrail服务的response code为0，说明读服务正常，进而去排查写服务。
- 进入auditreport服务，tail -f /data/log/audit /audit_report.logger.log , 查看有没有新的正常日志生成。
- 如果有新的正常日志，说明数据生产没问题，需要去排查es的日志，是不是出现写入的字段类型和es mapping 中不兼容，导致写入失败，或者是es的其他原因，