1审计日志检索失败故障处理
1.1 故障现象
进入云审计页面，看不到审计日志数据， 或根据关键字检索失败。
1.2 故障影响
较高。
1.3 故障处理
- 进入cloudtrail服务，执行ps aux | grep QC，观察worker进程是否正常执行。如果不正常，执行sh server.sh -t restart -n QC_CLOUD_TRAIL， 进行服务重启。
- cd /data/release/cloudtrail/application/logs/sys && vim sys_{日期}.log ，查看是否有最新的 "QC_CLOUD_TRAIL_worker start" 启动日志，如果没有，那就是进程启动有问题
- 进程启动没问题，grep lookupEvents /data/release/cloudtrail/application/logs/detail/daily_{日期}.log , 观察是否有异常日志，如果有，根据response code判断是数据库异常还是es异常。进而对存储组件进行排查。
- cloudtrail服务的response code为0，说明读服务正常，进而去排查写服务。
- 进入cloudtrail_log服务，vim /data/release/cloudtrail_log/application/logs/ca/ca_{日期}.log , 查看有没有新的数据生成。
- 如果有ca新的数据生成，vim /usr/local/services/qcloud_filebeat-1.0/logs/filebeat，查看日志filebeat有没有正常工作，正常工作的话，应该有新的日志不断产生。如果没有，重启filebeat。如果有，说明数据生产没问题，需要去排查es的日志，是不是出现写入的字段类型和es mapping 中不兼容，导致写入失败，或者是es的其他原因，
- 如果ca没有数据生成，说明是上游服务cam没有把数据打过来，需要联系cam相关工作人员进行排查。