2、Oracle Logminer性能測(cè)試
Oracle Logminer性能測(cè)試
1 測(cè)試介紹
1.1 測(cè)試目的
通過模擬不同環(huán)境下LogMiner解析聯(lián)機(jī)/歸檔日志文件運(yùn)行情況，通過測(cè)試所獲取的數(shù)據(jù)分析，通過對(duì)以下兩點(diǎn)的驗(yàn)證來確定通過LogMiner技術(shù)技術(shù)可行性：
1、在日志文件不同大小、不同數(shù)據(jù)壓力情況下對(duì)數(shù)據(jù)庫(kù)服務(wù)器內(nèi)存、CPU的影響；
2、并通過查詢LogMiner的動(dòng)態(tài)表和實(shí)際物理表中數(shù)據(jù)數(shù)目是否一致，驗(yàn)證其準(zhǔn)確性。
1.2 測(cè)試環(huán)境
|
用途及說明 |
硬件配置 |
軟件配置 |
其它說明 |
|
數(shù)據(jù)庫(kù)服務(wù)器 |
型號(hào)：T420i 處理器：Intel(R)core(TM) i5 CPU M430 主頻：2.2G 內(nèi)存：2G 硬盤：300G |
操作系統(tǒng)：WindowXP 數(shù)據(jù)庫(kù)及版本：Oracle10.2g IP地址：10.88.54.83 |
|
|
測(cè)試機(jī) |
型號(hào)：T420i 處理器：Intel(R)core(TM) i5 CPU M430 主頻：2.2GHz 內(nèi)存：1.8 GB 顯示器：1280*800 寬屏 |
操作系統(tǒng)：windows xp 瀏覽器及版本：ie8 |
1.3 測(cè)試方案
1.3.1 性能影響(針對(duì)目標(biāo)一)
為了模擬實(shí)際運(yùn)行環(huán)境，加入了Logminer運(yùn)行背景環(huán)境，分別測(cè)試數(shù)據(jù)庫(kù)在無操作、300個(gè)插入/秒操作、500個(gè)插入/秒操作情況下運(yùn)行情況，并且對(duì)比日志文件50M、100M大小下運(yùn)行情況
1.3.2 準(zhǔn)確性(針對(duì)目標(biāo)二)
1、數(shù)據(jù)類型
|
序號(hào) |
數(shù)據(jù)類型 |
是否支持 |
問題處理 |
|
1 |
BINARY_DOUBLE |
8.1及以上 |
|
|
2 |
BINARY_FLOAT |
8.1及以上 |
|
|
3 |
CHAR |
8.1及以上 |
|
|
4 |
DATE |
8.1及以上 |
需設(shè)置時(shí)間格式，否則只能同步日期 alter system set nls_date_format='yyyy-MM-dd HH24:mi:ss' scope=spfile; |
|
5 |
INTERVAL DAY |
8.1及以上 |
|
|
6 |
INTERVAL YEAR |
8.1及以上 |
|
|
7 |
NUMBER |
8.1及以上 |
|
|
8 |
NVARCHAR2 |
8.1及以上 |
|
|
9 |
RAW |
8.1及以上 |
|
|
10 |
TIMESTAMP |
8.1及以上 |
|
|
11 |
TIMESTAMP WITH LOCAL TIME ZONE |
8.1及以上 |
|
|
12 |
VARCHAR2 |
8.1及以上 |
|
|
13 |
LONG |
9.2及以上 |
|
|
14 |
CLOB |
10.1及以上 |
需要設(shè)置如下： ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS; 插入時(shí)分為兩條語句，另外插入二進(jìn)制數(shù)據(jù)未進(jìn)行測(cè)試 |
|
15 |
BLOB |
10.0及以上 |
2、DDL語句測(cè)試（未測(cè)試完畢）
|
序號(hào) |
類型 |
是否支持 |
|
1 |
創(chuàng)建表（Create table） |
支持 |
|
2 |
刪除表（Drop table） |
支持，出現(xiàn)兩個(gè)語句，首先修改表名為臨時(shí)表名，然后刪除該臨時(shí)表 監(jiān)控該類型需要進(jìn)行合并處理 |
|
3 |
創(chuàng)建作業(yè)（Create job） |
不支持 |
|
4 |
創(chuàng)建序列（Create sequence） |
支持 |
|
5 |
創(chuàng)建存儲(chǔ)過程（Create pocedure） |
支持 |
|
6 |
增加字段（alter table TABLE add column） |
支持 |
|
7 |
刪除字段（alter table emp drop column） |
支持 |
|
8 |
修改字段（alter table emp modify column） |
支持 |
|
9 |
修改列名（alter table rename column） |
支持 |
|
10 |
修改表名（rename emp to TABLE） |
支持 |
|
11 |
清除表數(shù)據(jù)（truncate table TABLE） |
支持 |
|
12 |
刪除表（drop table TABLE） |
支持 |
|
13 |
恢復(fù)被刪除的表（Flashback table TABLE to before drop） |
支持 |
|
14 |
NOT NULL約束（alter table TABLE modify COLUMN not null） |
支持 |
|
15 |
UNIQUE約束 |
支持 |
|
16 |
PRIMARY KEY約束 |
支持 |
|
17 |
FOREIGN KEY 約束 |
支持 |
|
18 |
CKECK 約束 |
支持 |
|
19 |
禁用/激活約束 |
支持 |
|
20 |
刪除約束 |
支持 |
|
21 |
創(chuàng)建不唯一索引 |
支持 |
|
22 |
創(chuàng)建唯一索引 |
支持 |
|
23 |
創(chuàng)建位圖索引 |
支持 |
|
24 |
創(chuàng)建反序索引 |
支持 |
|
25 |
創(chuàng)建函數(shù)索引 |
支持 |
|
26 |
修改索引 |
支持 |
|
27 |
合并索引 |
支持 |
|
28 |
重建索引 |
支持 |
|
29 |
刪除索引 |
支持 |
|
30 |
創(chuàng)建視圖（CREATE VIEW） |
支持 |
|
31 |
修改視圖（CREATE OR REPLACE VIEW） |
支持 |
|
32 |
刪除視圖（DROP VIEW） |
支持 |
|
33 |
創(chuàng)建序列（CREATE SEQUENCE） |
支持 |
|
34 |
修改序列（ALTER SEQUENCE） |
支持 |
|
35 |
刪除序列（DROP SEQUENCE） |
支持 |
3、其他問題測(cè)試
|
序號(hào) |
問題 |
現(xiàn)象及處理方式 |
|
1 |
主子表插入數(shù)據(jù)測(cè)試 |
能夠正常插入及同步 |
|
2 |
事務(wù)提交(commit、rollback) |
能夠看到提交和未提交的內(nèi)容，考慮在產(chǎn)品設(shè)計(jì)中加入DBMS_LOGMNR.COMMITTED_DATA_ONLY 參數(shù)，該參數(shù)只讀取已經(jīng)提交事務(wù) |
|
3 |
批量更新時(shí)，影響多條數(shù)據(jù)，在聯(lián)機(jī)日志中每一條更新數(shù)據(jù)對(duì)應(yīng)生成一條語句 |
不影響，可同步獲取再執(zhí)行 |
|
4 |
更新和刪除語句中帶rowid |
加入去除rowid參數(shù)dbms_logmnr.NO_ROWID_IN_STMT |
|
5 |
2 測(cè)試結(jié)論
2.1 測(cè)試初步結(jié)論
1. 從性能影響測(cè)試中可以看出：
a) logminer加載分析過程隨機(jī)器根據(jù)負(fù)載不同在6~21秒完成；
b) 加載分析過程并不隨日志文件個(gè)數(shù)增加在時(shí)間、CPU、內(nèi)存有較大變化；
c) 加載分析過程中受分析日志文件個(gè)數(shù)最大是內(nèi)存，其次是CPU，耗時(shí)應(yīng)影響較小；
2. 從準(zhǔn)確性測(cè)試來看
a) 通過設(shè)置基本上能夠獲取DML語句（其中LOB字段還需要進(jìn)行測(cè)試）；
b) 從現(xiàn)有情況來看，DDL支持并不充分，需要進(jìn)一步測(cè)試；
附測(cè)試數(shù)據(jù)：
|
|
聯(lián)機(jī)日志大小 |
讀取文件個(gè)數(shù) |
運(yùn)行作業(yè)數(shù)目 |
插入數(shù)據(jù)量 |
生成字典文件 |
加載處理 |
分析處理 |
log_contents |
|||||
|
大小(M) |
時(shí)間(秒) |
耗時(shí)(秒) |
CPU(%) |
內(nèi)存(M) |
耗時(shí)(秒) |
CPU(%) |
內(nèi)存(M) |
||||||
|
方案一 |
50M |
1個(gè) |
0個(gè) |
0筆/秒 |
47.5 |
12.7 |
1 |
1 |
309 |
5.5 |
25 |
438 |
600 |
|
3個(gè) |
0個(gè) |
0筆/秒 |
1 |
1 |
309 |
5.7 |
25 |
444 |
222,236 |
||||
|
5個(gè) |
0個(gè) |
0筆/秒 |
1 |
1 |
326 |
5.6 |
25 |
445 |
492,606 |
||||
|
10個(gè) |
0個(gè) |
0筆/秒 |
1 |
1 |
326 |
5.6 |
25 |
445 |
1,149,284 |
||||
|
方案二 |
50M |
1個(gè) |
500個(gè) |
估計(jì)300筆/秒 |
47.5 |
20 |
1 |
26 |
391 |
6.7 |
35 |
530 |
111,328 |
|
3個(gè) |
500個(gè) |
估計(jì)300筆/秒 |
1 |
21 |
473 |
6.4 |
37 |
619 |
372,389 |
||||
|
5個(gè) |
500個(gè) |
估計(jì)300筆/秒 |
1 |
25 |
534 |
6.8 |
44 |
692 |
622,390 |
||||
|
10個(gè) |
500個(gè) |
估計(jì)300筆/秒 |
1 |
30 |
624 |
6.7 |
39 |
780 |
1,254,748 |
||||
|
方案三 |
50M（未運(yùn)行CPU80%,680M） |
1個(gè) |
1000個(gè) |
估計(jì)500筆/秒 |
47.5 |
54.7 |
3.5 |
71 |
688 |
15 |
80 |
806 |
35,892 |
|
3個(gè) |
1000個(gè) |
估計(jì)500筆/秒 |
1.5 |
41 |
688 |
14.4 |
78 |
777 |
384,743 |
||||
|
5個(gè) |
1000個(gè) |
估計(jì)500筆/秒 |
1 |
68 |
687 |
75 |
805 |
652,148 |
|||||
|
10個(gè) |
1000個(gè) |
估計(jì)500筆/秒 |
10 |
80 |
689 |
13.2 |
79 |
806 |
1,295,158 |
||||
|
方案四 |
50M（未運(yùn)行CPU80%,667M） |
1個(gè) |
2000個(gè) |
估計(jì)1000筆/秒 |
47.5 |
73.7 |
5.5 |
84 |
691 |
14.6 |
78 |
808 |
133,844 |
|
3個(gè) |
2000個(gè) |
估計(jì)1000筆/秒 |
11.4 |
70 |
691 |
12 |
75 |
809 |
390,029 |
||||
|
5個(gè) |
2000個(gè) |
估計(jì)1000筆/秒 |
5.5 |
76 |
690 |
13.6 |
76 |
806 |
668,013 |
||||
|
10個(gè) |
2000個(gè) |
估計(jì)1000筆/秒 |
6.1 |
40 |
690 |
15.4 |
88 |
809 |
1,335,587 |
||||
|
方案五 |
100M（未運(yùn)行CPU25%,464M） |
1個(gè) |
500個(gè) |
估計(jì)300筆/秒 |
23.8 |
8.7 |
0.8 |
26 |
484 |
4.1 |
30 |
573 |
268,715 |
|
3個(gè) |
500個(gè) |
估計(jì)300筆/秒 |
0.9 |
25 |
534 |
3.2 |
36 |
622 |
768,989 |
||||
|
5個(gè) |
500個(gè) |
估計(jì)300筆/秒 |
0.9 |
27 |
581 |
3.2 |
35 |
662 |
1,324,447 |
||||
|
10個(gè) |
500個(gè) |
估計(jì)300筆/秒 |
1.1 |
29 |
690 |
5.2 |
35 |
763 |
2,619,322 |
||||
浙公網(wǎng)安備 33010602011771號(hào)