smiecj

摘要： 原文鏈接 前言：這里提到的錯誤，并不是那種“致命錯誤”，而是業務中的使用習慣的問題。如果不夠了解語言的設計方式，導致使用習慣不當，可能就會引入一些設計不夠好的代碼。因此學習這些前人對使用方式的總結是很有幫助的。 話不多說，一起來看看都有哪些常見易犯的錯誤： 一、枚舉默認值和json反序列化 先來看一 閱讀全文

摘要： 項目 如果你想直接看代碼，可以直接看我的 git-docker-centos 項目地址，最近發布了 v1.2.0 版本，readme 已經非常詳細了，包括項目的使用方式 和 需求規劃 本機環境基本只依賴 Docker 的安裝，Docker Desktop 的安裝教程可參考我之前的博客-Docker 閱讀全文

摘要： sealos 官方文檔 release 背景 sealos 是用于一鍵部署 k8s 集群的工具。對于不想被太多操作系統細節配置困擾，又想快速裝好一套測試k8s集群的同學，無疑是很方便的 網上教程很多，這邊自己簡單寫下在公司機器上安裝的過程，繞了一部分坑，幫助大家更快地使用 官方文檔還說明 sealo 閱讀全文

摘要： 背景 有個比較大的技術側需求: 將數據從 HDFS 遷移到 s3。當然在真正遷移之前，還需要驗證遷移到 s3 的數據，和上層查詢器（hive、presto 之間的兼容性） 這里我們對一張業務表的數據做個簡單的遷移測試 驗證 數據遷移 為了讓 hdfs 指令能直接操作 s3 的數據，參考 Using 閱讀全文

摘要： 背景 用戶需求: 需要將 mongodb 的數據同步到 hive 表，共 2 億+條數據，總數據量約 30G 查閱一些博客后，大致同步方法有以下幾種 手動+離線 對于比較小的數據，可以先通過 mongoexport 將數據導出到本地 json 文件，再將 json 直接上傳到 hdfs，創建 hiv 閱讀全文

摘要： 本文公眾號 背景 在大數據實時同步的場景中，一個常見場景是從 mysql OLTP 數據庫同步到 doris OLAP 數據庫，前者屬于業務系統通常情況下使用的數據庫，后者提供給業務的同事進行高并發、大批量的數據計算和分析 今年年初時，我們這里的部署方案還是 flink cdc 2.4 + flin 閱讀全文

摘要： 本文公眾號地址 本文背景 應一個用戶的好心和好奇心，在最近水深火熱的百忙之中抽時間寫完了一個簡短的項目介紹，其實就是幾個azkaban的批量操作腳本，但在大數據集群的“運維生涯”中，還是幫了自己不少忙，也算是為了它做一個簡單的回顧吧 項目背景 azkaban 是一個大數據領域通用的任務管理服務，它的 閱讀全文

摘要： 背景 從 阮一峰老師的博客 了解到 sadserver 這樣一個可以提供 linux 服務器，并嘗試解決系統和服務相關問題的在線測試平臺。非常難得的是它可以直接提供一個公網的 linux 服務器（一般40-60分鐘后會自動銷毀），你可以在上面做任何探索。對于想要學習常用 linux 指令的同學，是一 閱讀全文