看了《從數(shù)據(jù)角度解析福州美食》后難免心癢，動(dòng)了要分析合肥餐飲業(yè)的念頭，因此特地寫了Node.js爬蟲爬取了合肥的大眾點(diǎn)評(píng)數(shù)據(jù)。分析數(shù)據(jù)庫(kù)我并沒(méi)有采用MySQL而是用的MongoDB，是因?yàn)榕廊〉臄?shù)據(jù)存在字段缺失的情況（schema不一致）。

1. 數(shù)據(jù)準(zhǔn)備

MongoDB簡(jiǎn)介

不同于MySQL，MongoDB是一種Schema-less的NoSQL數(shù)據(jù)庫(kù)；與ElasticSearch類似，最小存儲(chǔ)單元Document為BSON object。MySQL與MongoDB的基本概念對(duì)比：

MongoDB不支持collection之間join操作，所以應(yīng)存儲(chǔ)待分析的join后的寬表。同時(shí)，MongoDB具有靈活的數(shù)據(jù)模型及可擴(kuò)展的Schema，支持前后Document的schema不一致。

寫操作

Node.js將爬取的json數(shù)據(jù)寫入MongoDB，在寫之前對(duì)數(shù)據(jù)做了清洗過(guò)濾——將人均價(jià)格太離譜的餐館給剔除掉了：

var MongoClient = require('mongodb').MongoClient;
var fs = require('fs');
// Connection URL
var url = 'mongodb://<user>:<passwd>@<host1>:<port1>,<host2>:<port2>/<db>';

var insertDocuments = function (db, docs, callback) {
  // Get the documents collection
  var collection = db.collection('dianping');
  // Insert documents
  collection.insertMany(docs, function (err, result) {
    console.log('Inserted', result.result.n, 'documents into the collection');
    callback(result);
  });
};

var array = fs.readFileSync('data1.json').toString().split('\n')
    .filter(function (line) { // filter empty line
      return line != '';
    }).map(function (line) {
      return JSON.parse(line);
    }).map(function (doc) {
      doc.taste = parseFloat(doc['taste']);
      doc.surrounding = parseFloat(doc['surrounding']);
      doc.service = parseFloat(doc['service']);
      return doc;
    })
    .filter(function (doc) {  // filter dirty data
      return doc.price == '' || (doc.price >= 3 && doc.price <= 800)
    });

MongoClient.connect(url, function (err, db) {
  var docs = array;
  console.log("Connected successfully to server");
  insertDocuments(db, docs, function () {
    db.close();
  });
});

Diver用的是官方的，共計(jì)寫入4979家商戶。

2. 數(shù)據(jù)分析

商家分析

價(jià)格最貴的10家餐廳：

db.dianping.find(
	{$where: "this.price != ''"},
	{id: 1, name: 1, branchName: 1, price: 1,  star: 1, taste: 1, surrounding: 1,  service: 1, region: 1, _id: 0}).sort({price: -1}).limit(10)

從上面可以看出，價(jià)格貴不一定代表口味好，貴的大部分是酒店餐廳。

最好吃的10家餐館：

db.dianping.find(
	{}, 
	{id: 1, name: 1, branchName: 1, price: 1,  star: 1, taste: 1, surrounding: 1,  service: 1, region: 1, _id: 0}).sort({taste: -1}).limit(10)

最好吃排行榜中火鍋類的餐館占了8個(gè)，合肥人是有多喜歡吃火鍋！

“三九”餐廳，即口味、服務(wù)、環(huán)境評(píng)分都在9.0（包含9.0）之上的餐廳：

db.dianping.find(
	{taste: {$gt: 9}, surrounding: {$gt: 9}, service: {$gt: 9}}, 
	{id: 1, name: 1, branchName: 1, price: 1,  star: 1, taste: 1, surrounding: 1,  service: 1, region: 1, _id: 0}).sort({taste: -1})

“三九”餐廳排行榜的人均價(jià)格在￥100上下，可以看出合肥餐飲業(yè)的價(jià)格保持在相對(duì)良心的水平。

分店最多的前15家餐廳：

db.dianping.aggregate([
	{$group: {_id: {name: "$name", category: "$category"}, totalBranches: {$sum: 1}}}, 
	{$sort: {"totalBranches": -1}}, 
	{$limit: 15}])

在上面連鎖店中，快餐簡(jiǎn)餐、面包西點(diǎn)類占了多數(shù)；其中，老鄉(xiāng)雞與采蝶軒是本土品牌。在合肥餐飲業(yè)的市場(chǎng)競(jìng)爭(zhēng)，本土品牌還是占優(yōu)勢(shì)的。

商圈分析

最多吃貨Top 15商圈（商家數(shù)量與分類數(shù)量）：

db.dianping.aggregate([
	{$match: {"region": {$not: /.*[區(qū)縣].*/}}},
	{$group: {_id: "$region", categorys: {$addToSet: "$category"}, totalShops: {$sum: 1}}},
	{$unwind: "$categorys"},
	{$group: {_id: {region :"$_id", totalShops: "$totalShops"}, categorys: {$sum: 1}}},
	{$sort: {"_id.totalShops": -1}}, 
	{$limit: 15}])

三里庵拿下了商家數(shù)、分類數(shù)的雙料冠軍；但是，在下面的最好吃排行榜上卻看不到其蹤影了，說(shuō)明三里庵商圈的餐館量大卻質(zhì)不高。

最好吃的Top 15商圈（平均口味評(píng)分）：

db.dianping.aggregate([
	{$match: {"region": {$not: /.*[區(qū)縣].*/}}},
	{$group: {_id: "$region", avgTaste: {$avg: "$taste"}, avgSurr: {$avg: "$surrounding"}, AvgSer: {$avg: "$service"}}},
	{$sort: {"avgTaste": -1}}, 
	{$limit: 15}])

臥牛山街道拿了頭冠，說(shuō)實(shí)在的，我還沒(méi)去吃過(guò)。