功能：
1.自由配置文件格式：生成的DataTable的主鍵、文件內容中是否有表頭、列分隔符、列是否可空、列中數據類型(String型可加長度限制)、列是否導進DataTable；
2.支持TXT、CSV、XLS、XLSX格式；(08-11-29日更新，增加了Xls和Xlsx文件導入支持)
3.生成錯誤信息報告：支持讀到N條錯誤數據后，終止文件解析(N可配置，暫時先寫死在Code中，提供源碼可自行加入配置)；
4.解析大文件時，支持行讀；
5. 支持傳入文件名或者Stream(例如Web上傳后直接取得數據流)
(08-11-29日更新，增加了Xls和Xlsx文件導入支持)
1. 功能：
1.1. 自由配置文件格式：生成的DataTable的主鍵、文件內容中是否有表頭、列分隔符、列是否可空、列中數據類型(String型可加長度限制)、列是否導進DataTable(過濾文件中的列，不讀入DataTable)；
1.2. 支持TXT、CSV、XLS、XLSX四種格式；
1.3. 生成錯誤信息報告：支持讀到N條錯誤數據后，終止文件解析(N在config文件中配置)；
1.4. 解析大文件時，支持行讀；
1.5. 支持傳入文件名或者Stream(例如Web上傳后直接取得數據流)
2. 使用示例：
2.1 數據文件(數據保存成DemoDataFile.txt)
happyhippy|other info|1984-9-11|
test|unuseful info|9999-12-30|0
或(帶表頭信息的數據)：
雇員姓名|無用信息不用導入|生日|薪水
happyhippy|other info|1984-9-11|
test|unuseful info|9999-12-30|0
2.2 配置定義
Code
<?xml version="1.0" encoding="utf-8" ?>
<DataTableSchema>
<FileType Ext="csv" HasHeader="true"/>
<FileType Ext="txt" CellSplit="," HasHeader="true"/>
<FileType Ext="xls" HasHeader="true"/>
<FileType Ext="xlsx" HasHeader="true"/>
<Columns>
<Column Name="EmployeeName" Type="System.String" Length="50" Description="雇員姓名" PrimaryKey="true"></Column>
<Column Name="Birthday" Type="System.DateTime" Description="生日" AllowNull="true"></Column>
<Column Name="Salary" Type="System.Decimal" Description="薪水" AllowNull="false"></Column>
</Columns>
</DataTableSchema>各個屬性代表的意思：
FileType節點：CellSplit:列分隔符；HasHeader：文件內容中是否有表頭(如果設成了true，則文件中的表頭必須跟配置文件中的列的Description字段一致)；
Column節點：PrimaryKey：指定生成的DataTable的主鍵(默認false)；AllowNull：設定是否可空(默認true)；Type：列中數據類型(無默認值，必須指定；String型須加長度限制)；Used：列是否導進DataTable(默認true)
2.3 導入結果
2.4 調用示例代碼(4種讀取方式)
Code
XmlDocument dom = new XmlDocument();
dom.Load("demoSchema.xml"); //可以將配置定義放在數據庫或其他地方
string schema = dom.InnerXml;
ImportTxtFile(schema);
ImportXlsFile(schema);
private static void ImportXlsFile(string schema)
{
string fileFullName = "Excel.xls";
DataTable resultDT = null;
try
{
//法1：傳入文件名，按schema中的配置進行解析
resultDT = ImportHelper.Import(fileFullName, schema);
//法2：文件流解析
using (Stream fileStram = new FileStream(fileFullName, FileMode.Open, FileAccess.Read))
{
resultDT = ImportHelper.Import(fileStram, schema, FlatFileType.XLS);
}
//法3：如果數據量大，可以進行行讀：
using (FlatFileReader reader = FlatFileReader.GetFlatFileReader(fileFullName, schema))
{
reader.CheckHeadRow();
int totelCount = 0; //記錄讀了多少行
while (reader.Read())
{
if (reader.ReadRow(totelCount + 1))
totelCount++;
if (totelCount % 500 == 0) //每批讀500條記錄
{
resultDT = reader.GetResultTable();//接下來可以對resultDT進行處理
reader.ClearResultTable();
}
}
if (totelCount % 500 > 0)
{
resultDT = reader.GetResultTable(); //最后一批記錄
//接下來可以對resultDT進行處理
}
if (reader.ErrorInfoTable != null && reader.ErrorInfoTable.Rows.Count > 0)
throw new ErrorFileException("解析文件出錯", reader.ErrorInfoTable);
}
}
catch (ErrorFileException efex)
{
DataTable errorInfoTable = efex.ErrorInfoDataTable;//存儲了錯誤信息的DataTable
}
}
private static void ImportTxtFile(string schema)
{
string fileFullName = "DemoDataFile.txt";
DataTable resultDT = null;
try
{
//法1：傳入文件名，按schema中的配置進行解析
resultDT = ImportHelper.Import(fileFullName, schema);
//法2：文件流解析
using (Stream fileStram = new FileStream(fileFullName, FileMode.Open, FileAccess.Read))
{
resultDT = ImportHelper.Import(fileStram, schema, FlatFileType.TXT);
}
//法3：如果數據量大，可以進行行讀：
using (FlatFileReader reader = FlatFileReader.GetFlatFileReader(fileFullName, schema))
{
reader.CheckHeadRow();
int totelCount = 0; //記錄讀了多少行
while (reader.Read())
{
if (reader.ReadRow(totelCount + 1))
totelCount++;
if (totelCount % 500 == 0) //每批讀500條記錄
{
resultDT = reader.GetResultTable();//接下來可以對resultDT進行處理
reader.ClearResultTable();
}
}
if (totelCount % 500 > 0)
{
resultDT = reader.GetResultTable(); //最后一批記錄
//接下來可以對resultDT進行處理
}
if (reader.ErrorInfoTable != null && reader.ErrorInfoTable.Rows.Count > 0)
throw new ErrorFileException("解析文件出錯", reader.ErrorInfoTable);
}
}
catch (ErrorFileException efex)
{
DataTable errorInfoTable = efex.ErrorInfoDataTable;//存儲了錯誤信息的DataTable
}
}
3. 源代碼下載：Happyhippy.ImpotFile.rar
4. 程序結構：
5. 遺留問題：
5.1. CSV讀取方式中，禁止將內容轉換成數字；
浙公網安備 33010602011771號