1. 為什么數(shù)據(jù)質(zhì)量值得關(guān)注 1.1. 數(shù)據(jù)是你的CEO的首要任務(wù) 1.2. 下游數(shù)據(jù)消費(fèi)者（包括產(chǎn)品分析師、營銷領(lǐng)導(dǎo)者和銷售團(tuán)隊）則依賴于數(shù)據(jù)驅(qū)動的工具 1.3. 數(shù)據(jù)宕機(jī) 1.3.1. 指數(shù)據(jù)丟失、不準(zhǔn)確或出現(xiàn)錯誤的情況，它表現(xiàn)為過時的儀表板、不準(zhǔn)確的報告，甚至是糟糕的決策 1.3.2. 數(shù)據(jù)宕 ...

對于PostgreSQL的高可用，之前研究過repmgr以及pg_auto_failover，起作用都是起到主節(jié)點故障時，實現(xiàn)“自動故障轉(zhuǎn)移”的目的。但是repmgr以及pg_auto_failover得缺點是對數(shù)據(jù)庫侵入過多，需要在被監(jiān)控的數(shù)據(jù)庫內(nèi)部進(jìn)行一系列的配置操作，甚至需要專用的服務(wù)器作為仲 ...

PostgreSQL系統(tǒng)表或視圖中pg_node_tree類型值解析 pg_node_tree類型說明 pg_node_tree是一種openGauss/PostgreSQL內(nèi)部數(shù)據(jù)類型，用于表示樹形結(jié)構(gòu)的數(shù)據(jù)。這個數(shù)據(jù)類型通常對用戶不可見，因此直接查詢或操作它的內(nèi)容通常需要使用一些PostgreS ...

PostgreSQL中將對象oid轉(zhuǎn)為對象名 使用pg的內(nèi)部數(shù)據(jù)類型將對象oid轉(zhuǎn)為對象名，可以簡化一些系統(tǒng)視圖的關(guān)聯(lián)查詢。 數(shù)據(jù)庫類型轉(zhuǎn)換對應(yīng)類型的oid 可以用以下數(shù)據(jù)庫類型轉(zhuǎn)換對應(yīng)類型的oid（以pg12為例） postgres=# select typname from pg_type wh ...

1. 基本信息 數(shù)據(jù)工程之道：設(shè)計和構(gòu)建健壯的數(shù)據(jù)系統(tǒng) [美]喬·里斯(Joe Reis),[美]馬特·豪斯利(Matt Housley)著 機(jī)械工業(yè)出版社,2024年2月出版 1.1. 讀薄率 書籍總字?jǐn)?shù)473千字，筆記總字?jǐn)?shù)109584字。 讀薄率109584÷473000≈23.17% 1.2 ...

1. 未來 1.1. 運(yùn)營的優(yōu)先級和最佳實踐與技術(shù)可能會改變，但生命周期的主要階段會在許多年內(nèi)保持不變 1.2. 隨著組織以新的方式利用數(shù)據(jù)，將需要新的基礎(chǔ)、系統(tǒng)和工作流來滿足這些需求 1.3. 如果工具變得更容易使用，數(shù)據(jù)工程師就會向價值鏈上游移動，專注于更高級別的工作 1.4. 數(shù)據(jù)工程生命周期 ...

面試：什么是死鎖，死鎖產(chǎn)生的四個必要條件，如何避免或解決死鎖；數(shù)據(jù)庫鎖，鎖分類，控制事務(wù)；MySQL中的死鎖現(xiàn)象，MySQL死鎖如何解決 ...

前言 我之前在使用達(dá)夢數(shù)據(jù)庫的時候，遇到了很多很多的問題，主要對達(dá)夢數(shù)據(jù)庫也不是很熟悉，它的語法和我所熟悉的mysql和postgresql有很大的區(qū)別。 今天，講一下我之前遇到的一個問題。這個問題的起因是用達(dá)夢數(shù)據(jù)庫遷移工具，將數(shù)據(jù)庫從postgresql遷移到達(dá)夢數(shù)據(jù)庫。遷移之后導(dǎo)致的代碼報錯。 ...

Redis概念和基礎(chǔ) Redis是一種支持key-value等多種數(shù)據(jù)結(jié)構(gòu)的存儲系統(tǒng)?？捎糜诰彺?，事件發(fā)布或訂閱，高速隊列等場景。支持網(wǎng)絡(luò)，提供字符串，哈希，列表，隊列，集合結(jié)構(gòu)直接存取，基于內(nèi)存，可持久化。 什么是Redis Redis是一款內(nèi)存高速緩存數(shù)據(jù)庫。支持key-value存儲系統(tǒng)，支持 ...

程序以 Python 語言開發(fā)，可讀取、解密、還原微信數(shù)據(jù)庫并幫助用戶查看聊天記錄，還可以將其聊天記錄導(dǎo)出為csv、html等格式用于AI訓(xùn)練，自動回復(fù)或備份等等作用。 ...

1. 序列化 1.1. 僅僅通過從CSV轉(zhuǎn)換到Parquet序列化，任務(wù)性能就提高了上百倍 1.2. 基于行的序列化 1.2.1. 基于行的序列化是按行來組織數(shù)據(jù) 1.2.2. 對于那些半結(jié)構(gòu)化的數(shù)據(jù)（支持嵌套和模式變化的數(shù)據(jù)對象）?，基于行的序列化需要將每個對象作為一個單元來存儲 1.2.3. C ...

寫在前面 今天繼續(xù)學(xué)習(xí)hive部分的知識。 Hive中如何實現(xiàn)行列轉(zhuǎn)換 一行變多行 可以對表使用 LATERAL VIEW EXPLODE()，也可以直接使用 EXPLAIN() 函數(shù)來處理一行數(shù)據(jù)。 SELECT name, col1 FROM testarray2 LATERAL VIEW EX ...

[20241107]nocache的編譯.txt--//原來的測試環(huán)境不存在，需要建立nocache工具了解文件緩存情況，學(xué)習(xí)OS相關(guān)知識。--//實際上linux對這些工具從應(yīng)用角度講不重要，如果有用，linux實用程序里面應(yīng)該包含類似工具?？上б恢辈惶峁?。--//一般這類安裝，我都會寫安裝筆記， ...

碰到MYSQL常見的1032錯誤，從庫復(fù)制異常。 通過show slave status\G 命令也能看到對應(yīng)的報錯（處理時忘記截圖了）。 通過報錯我們可以去主庫找到binlog中具體的報錯。 mysqlbinlog --no-defaults -v -v --base64-output=DECOD ...

在B站上看到一個分頁視頻，老師講的挺好 ，記錄下來。想看原視頻的可以去B站 --1.建立Students表CREATE TABLE students ( ID INT PRIMARY KEY IDENTITY(1,2), NAME NVARCHAR(50) NOT NULL, SEX CHAR(6) ...

在大數(shù)據(jù)和現(xiàn)代 IT 環(huán)境中，任務(wù)調(diào)度與工作負(fù)載自動化（WLA）工具是優(yōu)化資源利用、提升生產(chǎn)效率的核心驅(qū)動力。隨著企業(yè)對數(shù)據(jù)分析、實時處理和多地域任務(wù)調(diào)度需求的增加，這些工具成為關(guān)鍵技術(shù)。 本文將介紹當(dāng)前技術(shù)發(fā)展背景下的Top 10開源任務(wù)調(diào)度工具，并探討它們在大數(shù)據(jù)和工作負(fù)載管理中的實際應(yīng)用。 任 ...

【GreatSQL優(yōu)化器-01】const_table 一、const_table介紹 GreatSQL的優(yōu)化器主要用JOIN類來進(jìn)行處理SQL語句的，JOIN類有以下四個table數(shù)量相關(guān)的成員變量。其中const_tables是optimize最開始就檢查并且標(biāo)識的，因為這樣可以把記錄最少的表放 ...

在當(dāng)今快速發(fā)展的技術(shù)領(lǐng)域，DevOps、DataOps和MLOps成為了推動企業(yè)數(shù)字化轉(zhuǎn)型的三大核心實踐。它們各自關(guān)注不同的領(lǐng)域，但又相互關(guān)聯(lián)，共同推動著軟件和數(shù)據(jù)的高效開發(fā)與運(yùn)營。 DevOps：軟件開發(fā)的加速器 DevOps是一種將開發(fā)（Development）和運(yùn)營（Operations）結(jié)合 ...

11種優(yōu)化方案供你參考，優(yōu)化 SQL Server 數(shù)據(jù)庫性能得從多個方面著手，包括硬件配置、數(shù)據(jù)庫結(jié)構(gòu)、查詢優(yōu)化、索引管理、分區(qū)分表、并行處理等。通過合理的索引、查詢優(yōu)化、數(shù)據(jù)分區(qū)等技術(shù)，可以在數(shù)據(jù)量增大時保持較好的性能。同時，定期進(jìn)行數(shù)據(jù)庫維護(hù)和清理，保證數(shù)據(jù)庫高效運(yùn)行。 ...

1. 安全和隱私 1.1. 安全在數(shù)據(jù)工程的執(zhí)行層面至關(guān)重要 1.1.1. 安全需要成為一種思想和行動的習(xí)慣 1.1.2. 安全是隱私立足的根本 1.2. 數(shù)據(jù)安全是數(shù)據(jù)工程師在其工作和數(shù)據(jù)工程生命周期的每個階段需要考慮的首要問題 1.2.1. 數(shù)據(jù)工程師的安全和隱私職責(zé)在不同的組織中會有很大的不同 ...