摘要： 文章中引用的代碼均來自https://github.com/vczh/tinymoe。實現Tinymoe的第一步自然是一個詞法分析器。詞法分析其所作的事情很簡單，就是把一份代碼分割成若干個token，記錄下他們所在文件的位置，以及丟掉不必要的信息。但是Tinymoe是一個按行分割的語言，自然token列表也就是二維的，第一維是行，第二維是每一行的token。在繼續講詞法分析器之前，先看看Tiny... 閱讀全文