AnalyticDB PostgreSQL POC流程
客戶面臨的問題:
1、數倉是基于傳統的hadoop或者orcale搭建,需要做查詢加速;
2、使用商業數倉建設的,例如Teradata、Greenplum等,有信創的要求,加入ADB PG;
POC的范圍:
1、性能
-客戶有單并發測試的要求,進行單表查詢或者復雜查詢;
-客戶有高并發作業,例如并行跑批作業、小查詢高QPS的查詢;
-客戶需要數據加載和卸載的測試;
-客戶需要測擴展線性比,例如從10臺主機拓展成20臺主機,性能的提升是多少,一般ADB PG的線性比在0.8以上;
2、功能,以演示加截圖的方式進行
-運維管理
=集群管理:常規管理、擴縮容、參數配置、版本升級
=租戶管理
=賬號/權限管理
=監控告警
=備份恢復
=日志管理:審計日志、錯誤日志、慢日志
-兼容性
=SQL兼容性、其他對象兼容性:針對ORACLE,AP和TP共用同一個ORACLE環境,將AP遷移到ADB PG,需要考察ADB PG和ORACLE SQL的兼容度以及表、視圖、存儲過程的兼容性
=BI工具兼容性、HADOOP生態兼容性:用ADB PG做HADOOP查詢加速和冷熱數據分離,能不能直接訪問HDFS做查詢的加速
-數據同步:通過DTS做全量和實時的數據同步
-內核功能:
=行/列存的格式和壓縮算法、壓縮比
=分區表類型、靈活的分區策略、維護管理便捷性和分區裁剪
3、穩定性
-超負荷大作業:承受20個并發的作業,會跑30個或者更多來考察內核的穩定性
-不合理大作業:例如笛卡爾積
-破壞性測試:管控HA方面的能力
POC的流程
1、產品介紹
2、方案溝通:POC范圍、時間規劃、資源環境
3、POC準備:部署形態、軟件版本、工具、部署和測試腳本、數據模型
4、POC入場:環境準備、環境搭建,例如賬號申請等
5、啟動測試:數據加載、性能測試、功能測試、穩定性測試
6、整理報告
7、匯報結果
實例選型
1、選型因素:部署形態
-專有云
-DBStack(混部3+N):3臺主機做底座,其中2臺用來做Master,另外一臺做混布,已達到充分利用資源
-純軟:更靈活,做Master等的混布
2、選型因素:性能維度
-資源(CPU+MEM)高并發場景,建議選擇單節點大的計算規格或者使用Multi-Master
-存儲介質:高性能場景,建議選擇ESSD或SSD存儲,金融行業客戶會提供機器,PK相對公平和統一標準
3、選型因素:容量維度
MPP架構,計算能力及存儲容量,隨節點數線性增加
4、規格計算示例:以存儲預留模式的單節點4core SSD存儲為例,單節點存儲容量320GB。假設客戶數據量為4TB,且一般預留30%水位,那需要規劃4TB/(1-30%)/320GB,即實例至少為18個節點。
系統內核參數:
關閉huge page
echo never>/sys/kernel/mm/transparent hugepage/enabled
vm.overcommit memory設置為2,使用swap空間
gp_max packet size=8192,MTU=9000個別場景下gp_max_packetsize=8192會導致集群網絡通信異常
比如:專有云hotfix:v3.13.0r-rds-SP009使用gp_max_packetsize=1450和MTU=1500的組合
XFS是ADB數據庫數據目錄的最佳實踐文件系統。掛載選項:rw,noatime,inode64
blockdev預讀尺寸應該被設置為16384
/sbin/blockdev-getra/dev/sdb 16384
IO調度器deadline
cat/sys/block/sdb/queue/scheduler noop anticipatory[deadline]cfq
配置參數
cat /etc/sysctl.conf
kermel.core uses pid=1
kernel.msgmax =65536
kemel.msqmnb=65536
kernel.pid _max =262144
kernel.printk=5417
kernel.randomize va_space =1
kermel.sem =4096 2147483647 2147483646 512000
kernel.shmall =4294967296
kernel.shmmax =68719476736
kernel.sysrq=0
net.core.netdev_max backlog =10000
net.core.rmem default=262144
net.core.rmem_max=16777216
net.core.somaxconn=4096
net.core.wmem_ default=262144
net.core.wmem_max =16777216
netipv4.confall accept redirects=0
net.ipv4.confall.arp announce=2
net.ipv4.confall.arp_ignore=1
net.ipv4.confall.rp filter=1
net.ipv4.confall.secure .redirects=0
netipv4.confall.send redirects=0
net.ipv4.conf default accept redirects=0
netipv4.conf default accept source route=0
net.ipv4.conf default.rp filter=1
netipv4.conf default secure redirects=0
netipv4.confdefault send redirects=0
netipv4.conflo.arp announce=2
net.ipv4.conflo.arp_ignore=1
netipv4.ip forward=1
netipv4.ip Jocal port range =42000 62000
net.ipv4.ip local reserved ports =41000-41100
netipv4.tcp max syn backlog=4096
netipv4.tcp .mem =8388608 12582912 16777216
netipv4.tcp rmem=8192 87380 16777216
net.ipv4.tcp synack retries=2
net.ipv4.tcp_syncookies=0
netipv4.tcp.wmem =8192 65536 16777216
vm.max map count=655300
vm.min free kbytes=400000
vm.overcommit_memory=0

浙公網安備 33010602011771號