Loading

.Net Core with 微服務 - Seq 日志聚合

上一次我們介紹并演示了如果使用 Consul 做為我們微服務的注冊中心，來實現服務的注冊與發現。那么本次我們講會演示如何做日志聚合。日志聚合比較常用的有 ELK 等，但是這次我想要介紹的是一款比較小眾的日志聚合工具 - Seq 。

日志聚合

日志是我們寫程序離不開的一個東西。在我們排查問題的時候日志就是我們的救命稻草。我們的每個服務都在不停的生產日志。但是實施微服務后，如果按照傳統的寫本地文件的日志方案，顯然會面臨跟修改配置一樣麻煩的境地。不同的日志分散在各個服務器、容器內，這種情況下查日志簡直是生不如死。
日志聚合組件為我們解決了這個問題。所有的服務通過接口發送日志到聚合服務，再由聚合服務進行統一存儲，并且提供統一的查詢、分析的能力。
日志聚合組件業界有 ELK、Exceptionless、Seq 等。

Seq

Seq 是一款使用現代化技術構建的結構化日志存儲，查詢，分析工具。比起 ELK 這種組合要輕量級許多。只需要一個安裝包就具有數據存儲，查詢，圖表分析功能。它對 windows 友好，直接提供了安裝包。當然也可以使用 docker 來部署。Seq 對于單個用戶是免費的，這對于一些小團隊并沒有什么問題。Seq 一個比較強大的功能是提供了類似 Sql 語句的數據查詢及處理能力，使得用戶可以直接寫 Select from 來得到自己想要的數據。

seq 的 dashboard 頁面。

seq 的查詢界面。
seq 網址

使用 docker 安裝

docker run --name seq -e ACCEPT_EULA=Y -p 8900:80 -p 5341:5341 datalust/seq

使用 docker run 運行一個實例。8900 綁定容器的 80 端口，該端口是 web 管理界面的入口。5341 綁定容器的 5341 端口，該端口是日志寫入時候真正的端口。

使用 docker-compose 安裝

  seq_server:
    image: datalust/seq
    restart: always
    container_name: seq_server
    hostname: seq_server
    environment:
      - ACCEPT_EULA=Y
    ports:
      - 8900:80
      - 5341:5341

把上面的 docker 命令改寫成 docker-compose 命令。
安裝好 seq 之后，我們訪問一下 http://localhost:8090 如果管理后臺出現說明我們安裝成功了。

NLog 集成 Seq

seq 安裝成功之后，我們可以開始跟 asp.net core 項目進行集成了。這里采用 Nlog 日志組件進行演示，如何跟 seq 集成。

點擊 “API KEYS” 、“ADD API KEY” 彈出新增 API KEY 界面。

我們可以在這個界面為每個服務指定一個 APIKEY 當寫入 Seq 的是用來區分服務。填寫 title 信息，選擇具有的權限，還可以自定義一些屬性，這些屬性會附加到每個日志記錄上。比如我們這里為 member_center 這個 apikey 自定義一個 app = member_center 的屬性。

Install-Package NLog.Targets.Seq

nuget 安裝 Nlog 的 Seq 擴展。

<?xml version="1.0" encoding="utf-8" ?>
<nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd"
      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
      autoReload="true"
      internalLogLevel="info"
      internalLogFile="logs/internal-nlog.txt">

  <extensions>
    <add assembly="NLog.Targets.Seq"/>
  </extensions>
  <!-- the targets to write to -->
  <targets>

    <!-- write to the void aka just remove -->
    <target xsi:type="Null" name="blackhole" />

    <target name="seq" xsi:type="BufferingWrapper" bufferSize="1000" flushTimeout="2000"  >
      <target xsi:type="Seq" serverUrl="http://192.168.18.164:5341" apiKey="vuRYxr8bMXuvKNbwVNUp">
        <property name="ThreadId" value="${threadid}" as="number" />
        <property name="stacktrace" value="${onexception:inner=${stacktrace}}"/>
      </target>
    </target>
  </targets>

  <!-- rules to map from logger name to target -->
  <rules>
    <!--Skip Microsoft logs and so log only own logs-->
    <logger name="Microsoft.*" minlevel="Trace" writeTo="blackhole" final="true" />

    <logger name="*" minlevel="Trace" writeTo="seq" />
  </rules>
</nlog>

在項目根目錄添加一個 nlog.config 的 xml 配置文件。添加一個 seq 的 target ，在這個 target 上填寫 serverUrl（seq的服務地址），apiKey。

        public static IHostBuilder CreateHostBuilder(string[] args) =>
            Host.CreateDefaultBuilder(args)
                .ConfigureWebHostDefaults(webBuilder =>
                {
                    webBuilder.ConfigureKestrel(options =>
                    {
                        options.ListenAnyIP(6003);
                    });
                    webBuilder.UseStartup<Startup>();
                })
                .UseNLog();

在 Program 文件的 CreateHostBuilder 方法最后追加 UseNLog 調用。

    [ApiController]
    [Route("[controller]")]
    public class TestController : ControllerBase
    {
        private readonly ILogger _logger;

        public TestController(ILoggerFactory loggerFactory)
        {
            _logger = loggerFactory.CreateLogger<TestController>();
        }

        [HttpGet("TestLogSeq")]
        public string TestLogSeq()
        {
            _logger.LogTrace("this is a test log for trace level .");
            _logger.LogDebug("this is a test log for debug level .");
            _logger.LogInformation("this is a test log for info level .");
            _logger.LogWarning("this is a test log for warning level .");
            _logger.LogError(new Exception("this is a ex for seq log ."), "this is a test log for error level .");

            return "ok";
        }
    }

添加一個 TestController 編寫一個 TestLogSeq 方法，在這里打一些日志。

我們訪問一下這個接口，打開 seq 的站點可以看到我們的日志已經寫到 seq 里面了。

查詢

我們的服務每天都會產生數以萬計的日志，現在把所有服務的日志都聚合在一起，那數量就更加龐大。在海量日志中查找需要的日志，顯然變得很困難。
還好 Seq 帶有強大的查詢功能。我們可以像在數據庫里查詢那樣，使用 Sql 語句來進行查詢。
下面演示幾個查詢例子：

like 查詢

@Message like '%init%'

查詢日志消息里帶有 init 關鍵字的日志

2. = 查詢

@Level = 'Error'

查詢日志級別為 Error 的日志。

app = 'hotel_base'

查詢所有 hotel_base 服務的日志。

3. 聚合函數

select count(1) from stream group by @Level

按日志級別分組，統計每個級別的數量。

以上簡單的演示了幾個查詢方案，Seq 的查詢相當的強大，具體請查考官方文檔：the-seq-query-language

總結

通過以上內容，我們簡單的演示了 Seq 日志聚合工具的安裝、與.net core 進行集成，查詢日志等功能。Seq 雖然比起 ELK 比較冷門，但是最近跟一些朋友交流下來，發現很多朋友都開始使用 Seq 來做為日志聚合工具了。這也說明 Seq 確實有一定的實力，大家不妨一試。

項目地址

https://github.com/kklldog/myhotel_microservice

關注我的公眾號一起玩轉技術

posted @ 2021-06-24 09:12 Agile.Zhou 閱讀(5850) 評論(22) 收藏舉報

刷新頁面返回頂部