一、背景
机器到期改密码后,业务报错,服务无法启动。
二、现象
业务监控页面显示服务未启动
三、问题排查过程
1、检查业务日志未发现异常(原因是一线人员手动重启了服务,未使用管理平台操作)
2、根据修改密码的动作检查ssh日志发现,频繁有访问失败的请求
3、从别的机器访问出问题的机器,发现无法ssh过去,报错Account locked due to X failed logins
4、以上错误明显是因为登录时密码错误导致账号登录被锁定
5、通过后台运维账号直接登录,切换到对应用户(dev),执行
pam_tally2 --user=dev
发现失败次数已经26000+次
四、原因分析
业务管理平台上,配置了密码访问方式,修改机器密码后,没有修改此配置,平台频繁使用错误密码访问机器导致了此问题。
五、解决
pam_tally2 --user=dev -r
加 -r 代表reset重置归零访问错误次数
六、反思与规避
1、这是修改密码前没有与产品侧沟通清楚导致
2、管理平台的访问方式里,有密钥访问,在定期修改主机密码的安全策略下,应该采用密钥方式访问
好记性不如烂笔头。
与君共勉。
来源地址:https://blog.csdn.net/love910809/article/details/130344654