ORA-00257archiver error解决办法
1.之前有处理单机过oracle 11.2.0.4归档日志磁盘空间不足的问题 ,但是没有处理过ORACLE RAC的归档日志磁盘空间不足的问题
所以没有预想到会是出现asm磁盘空间不足的议题
Oracle数据库是目前业界最常用的大型数据库系统,我在单机ORACLE的实际项目中有遇到出现ORA-00257错误(空间不足错误),
通过查找资料,发现绝大部分说这是由于归档日志太多,占用了全部的硬盘剩余空间导致的,可通过简单删除日志或加大存储空间就能够解决。但是我在Oracle11g RAC上两个RAC节点发现,它们的存储空间都还有很大,却也报这个错误,经过大半天的折腾,发现原来是Oracle11g RAC中的ASM磁盘空间不足导致的。
操作系统CentOS 6.5 x86-64Linux
数据库Oracle 11.2.0.4.0
2.问题现象
数据库系统已经运行了一年多,在5月8号开发同事用应用账号连接数据库后,发现无法连接登入,并且出现ORA-00257:archive error.connect internal only,until freed 错误。
提示归档错误,通过查找ORACLE错误代码,解释为硬盘空间不足,需要删除归档日志增加空间,但是服务器两个节点可用空间都还有1.4T,目前只用了10GB左右,这是为什么呢?
且在5月8号用rman形式删除清理系统100天以前的归档日志以后好了,没想到第二天5月9号又出现了。没有理由啊,一天的归档日志大过一百天的归档日志,所以我就质疑数据库报错的准确性,认为这只是表面的归档日志空间已满,实质性的问题却还不知道。
3.诊断过程:
因为数据库不是我架设的,对oracle也不太熟,所以不知道归档日志放置的路径,通过语句查找也得到的是个+ARC/back/archivelog/**之类的,但是我就是想破脑袋,用find的方式也找不到具体存放路径。
a.查看数据库REDOLOG情况
[root@~]$ sqlplus / as sysdba
SQL> connect / as sysdba
SQL> select * from v$log;
GROUP# THREAD# SEQUENCE# BYTES MEMBERS ARC STATUS FIRST_CHANGE#FIRST_TIME
---------- ---------- ---------- ---------- ---------- ------------------------------------------ --------------
1 1 101 52428800 1 NO CURRENT 3621973 9-5月 -17
2 1 99 52428800 1 NO INACTIVE 3600145 9-5月 -17
3 1 100 52428800 1 NO INACTIVE 3611932 9-5月 -17
发现ARC状态为NO,表示系统没法自动做归档。
b.查看Oracle数据库后台归档服务进程
[oracle@~ ]ps -ef | grep oracle
发现grid 3081 1 0 10:14 ? 00:00:00 oracle+ASM1 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))
一个节点如上述服务正常,但另外一个节点却LOCAL=NO的类似情况,反正服务不正常
c.查看FLASH_RECOVERY_AREA空间中各部分使用情况
SQL> select * from v$recovery_file_dest;
NAME
--------------------------------------------------------------------------------
SPACE_LIMIT SPACE_USED SPACE_RECLAIMABLE NUMBER_OF_FILES
----------- ---------- ----------------- ---------------
+BACKUP
1.2885E+11 484442112 0 5
##注:空间大把的有
SQL> select * from v$flash_recovery_area_usage;
FILE_TYPE PERCENT_SPACE_USED PERCENT_SPACE_RECLAIMABLE
-------------------- ------------------ -------------------------
NUMBER_OF_FILES
---------------
CONTROL FILE .04 0 1
REDO LOG .33 0 4
ARCHIVED LOG 0 0 0
FILE_TYPE PERCENT_SPACE_USED PERCENT_SPACE_RECLAIMABLE
-------------------- ------------------ -------------------------
NUMBER_OF_FILES
---------------
BACKUP PIECE 0 0 0
IMAGE COPY 0 0 0
FLASHBACK LOG 0 0 0
FILE_TYPE PERCENT_SPACE_USED PERCENT_SPACE_RECLAIMABLE
-------------------- ------------------ -------------------------
NUMBER_OF_FILES
---------------
FOREIGN ARCHIVED LOG 0 0 0
7 rows selected.
发现ARCHIVELOG、BACKUPPIRCR都不大,就是0,没什么占用率,这样FLASH_RECOVERY_AREA空间的空间还大把的有。
因为之前报错时,不知道如何处理问题,就像直接shutdown immediate一个节点看看,没想到半天没任何反应,就直接使用shutdown abort强行关闭,该节点出现下列节点挂载实例报问题
d.故障节点挂载实例报错:
SQL> startup
ORACLE instance started.
Total System Global Area 413372416 bytes
Fixed Size 2253784 bytes
Variable Size 327158824 bytes
Database Buffers 79691776 bytes
Redo Buffers 4268032 bytes
Database mounted.
ORA-03113: end-of-file on communication channel
Process ID: 2420
Session ID: 1 Serial number: 5
e.查找资料发现,下面做法可行:
SQL> conn / as sysdba
Connected to an idle instance.
SQL> startup nomount
ORACLE instance started.
Total System Global Area 413372416 bytes
Fixed Size 2253784 bytes
Variable Size 327158824 bytes
Database Buffers 79691776 bytes
Redo Buffers 4268032 bytes
SQL> alter database mount;
Database altered.
SQL> alter database open;
alter database open
*
ERROR at line 1:
ORA-01034: ORACLE not available
Process ID: 0
Session ID: 0 Serial number: 0
发现在打开数据文件报错
SQL> recover database until time '2017-05-09'
ORA-00283: recovery session canceled due to errors
ORA-01124: cannot recover data file 1 - file is in use or recovery
ORA-01110: data file 1: '+DATADG/fmall/datafile/system.259.907327891'
用覆盖形式恢复也报错
f.后面有资料提出可使用RMAN操作系统删掉归档来解决问题
rman下crosscheck然后delete。
[oracle@~ ]rman target sys/pass
RMAN > crosscheck archivelog all;
validation succeeded for archived log
archived log file name=+ARCH/fmall/archivelog/2017_03_08/thread_2_seq_6362.21528.938070989 RECID=43022 STAMP=938070990
validation succeeded for archived log
RMAN-06900: WARNING: unable to generate V$RMAN_STATUS or V$RMAN_OUTPUT row
RMAN-06901: WARNING: disabling update of the V$RMAN_STATUS and V$RMAN_OUTPUT rows
ORACLE error from target database:
ORA-01089: immediate shutdown in progress - no operations are permitted
Process ID: 14578
Session ID: 235 Serial number: 2647
校验日志的可用性,报错或者等待很久没有结果出来
RMAN > delete archivelog all completed before 'sysdate-30';
RMAN-08137: WARNING: archived log not deleted, needed for standby or upstream capture process
如果你删除三十天前的归档日志,等待很久却没有结果,甚至像上面一样报错可以参考我下面的做法
RMAN > delete force noprompt archivelog until time 'sysdate-30';
强制性删除三十天前的归档日志
网站异常告警解除,说明归档日志腾出空间,致使数据库可正常提供应用连接。
g.实例证明,归档日志空间已满导致应用无法连接数据库
有经验的DBA告诉我说,RAC会有一个ASM的磁盘空间议题,我经过查询ASM磁盘空间发现,我的妈呀,ARCH的空间就才腾出282M。
SQL> select name,total_mb,free_mb from v$asm_disk;
NAME TOTAL_MB FREE_MB
------------------------------ ---------- ----------
GRIDDG_0001 4768 4585
ARCH_0000 944137 282
DATADG_0000 1238390 1202771
GRIDDG_0000 4768 4553
BACKUP_0000 953675 949001
再次进入RMAN,使用delete archivelog的方式再删除15天后,查看ASM磁盘空间大小:
SQL> select name,total_mb,free_mb from v$asm_disk;
NAME TOTAL_MB FREE_MB
------------------------------ ---------- ----------
GRIDDG_0001 4768 4585
ARCH_0000 944137 716045
DATADG_0000 1238390 1202771
GRIDDG_0000 4768 4553
BACKUP_0000 953675 949001
空出了将近700多G的空间,太可怕了,短短十五天就能够用掉将近七百多G的归档日志空间,我的数据库大小才1.1G,归档日志就一天以十几二十G的速度疯长。一定是哪里出了问题,必须彻查。
当然首先要做的估计就是把清理归档日志命令写成脚本纳入crontab里,按一定时间进行处理。初步怀疑是应用程式sql语句中存在类似于死循环的东西,导致归档日志如此庞大,后续有什么发现,我将再次记录下来。
致此,归档日志空间已满议题是暂时解决了。