(原创)记一次JAVA应用越来越慢的问题排查经过
(2018-04-25 10:10:23)分类: oracle |
(简单记录一下)
前些天现场的oracle服务器出现了,不知什么原因重启了。(后来了解到机房断电什么的)
数据库无法启动,所有文件都是只读的。
后来YJ去解决后,一些操作oracle的服务跑着跑着就慢了,后来发现程序报OOM
JAVA应用跑在windows上,64G内存,有进程lsass.exe占用了44G内存,怀疑此进程有问题,网上查到,这是windows的bug,重启后内存使用下降。
但是应用程序还是照样报错OOM,java.lang.OutOfMemoryError: Java heap
space
此时怀疑oracle服务器,发现 free -m 只有350M了。
后来YJ增加了服务器内存 至96G,
第一次重启后报 错:
ERROR:
ORA-09817: Write to audit file failed.
Linux-x86_64 Error: 28: No space left on device
Additional information: 12
ORA-09817: Write to audit file failed.
Linux-x86_64 Error: 28: No space left on device
Additional information: 12
ORA-01075: you are currently logged on
于是赶紧查磁盘空间,df -h
因为数据库起不来,所以找init.ora 启动:
startup pfile='.......initGAKK.ora'
又悲剧了,报undo表空间不存在,后来想到曾经换过UNDO表空间,于是把initGAKK.ora的undo_management改为MANUAL,再次启动后成功,创建undo表空间。
接下来:
把oracle的SGA从2G调到了32G,同时修改了 /etc/sctl.conf配置,改为了48G
再修改oracle 的SGA参数 后重启。
应用程序正常了