书籍分类统计优化

Author: TruthHun88

change.md

@@ -8,10 +8,11 @@
 
 # 开发日志
 ## TODO
-
-<a name="v2.0"></a>
-## V2.0 开发升级预告(微信小程序)
-- [ ] 微信小程序开发
+- [ ] a 标签中的英文括号统一转成中文括号
+- [ ] 增加文档发布的审核开关功能，避免一些用户发布垃圾文档(所有公开发布的文档都必须先审核)
+- [ ] 审核管理
+    - [ ] 书籍点评审核管理
+    - [ ] 书籍公开发布审核管理
 - [ ] 文档采集，replace过滤和替换采集到的网页标签和内容，图片懒加载的文档项目，也无处可逃。
 - [ ] 导出markdown
 - [ ] 在线HTML转markdown工具
@@ -31,31 +32,28 @@
 - [ ] 增加电子书下载管控，是否必须登录才能下载电子书
 - [ ] 发布队列
 
-    
+
+<a name="v2.0"></a>
+## V2.0 开发升级预告(微信小程序)
+- [ ] 微信小程序开发
 
 
 ## v1.7 升级日志
-- [x] 书籍和文档搜索精度控制
-- [x] 增加`钉子`功能，把相关书籍钉在列表页首位
+- [x] 增加书籍和文档搜索精度控制（在管理后台可设置）
+- [x] 增加`钉子`功能，把想要置顶的书籍置顶在`发现`列表页首位
 - [x] 文档阅读，移动端展开菜单优化(右下角增加展开菜单按钮)
-- [x] 后台增加一个是否登录才能下载电子书的功能，用以扩大用户的注册数
 - [x] 跳转编辑指定文档
-- [x] 注释的方式，在编辑文档的时候显示采集的文档源链接，但是HTML不显示
 - [x] 流程图、时序图、数学公式的支持和优化
 - [x] 移除外部引入的js、css公共资源库，实现本地化和内网部署的优化
-- [x] 文章内容目录显示优化
+- [x] 文章`内容目录`显示优化
 - [x] 管理员删除书籍,需要输入管理员密码
 - [x] 增加书籍语种分类（中文、英文、其他）
 - [x] 增加首页最新推荐书籍内容
-- [x] 内容采集，书籍链接优化
-- [x] 增加关联书籍推荐功能
+- [x] 增加关联书籍推荐功能(需要启用elasticsearch)
 - [x] SEO 优化，如果文档内容图片缺少`alt`，自动使用文档标题填充
 - [x] 采集HTML的时候，block 里面的内容不转markdown
-- [ ] a 标签中的英文括号统一转成中文括号
-- [ ] 增加文档发布的审核开关功能，避免一些用户发布垃圾文档(所有公开发布的文档都必须先审核)
-- [ ] 审核管理
-    - [ ] 书籍点评审核管理
-    - [ ] 书籍公开发布审核管理
+- [x] 书籍分类统计不正确的问题
+- [x] 采集功能增强，自带截图功能。
 
 
 

controllers/BookController.go

@@ -294,6 +294,8 @@ func (this *BookController) PrivatelyOwned() {
 		this.JsonResult(6004, "保存失败")
 	}
 	go func() {
+		models.CountCategory()
+
 		public := true
 		if state == 1 {
 			public = false

controllers/ManagerController.go

@@ -602,6 +602,7 @@ func (this *ManagerController) PrivatelyOwned() {
 	}
 
 	go func() {
+		models.CountCategory()
 		public := true
 		if state == 1 {
 			public = false

models/base.go

@@ -2,7 +2,6 @@ package models
 
 import (
 	"fmt"
-
 	"os"
 
 	"strconv"
@@ -153,3 +152,60 @@ func SitemapUpdate(domain string) {
 	}
 	Sitemap.CreateSitemapIndex(si, "sitemap.xml")
 }
+
+// 统计书籍分类
+var counting = false
+
+type Count struct {
+	Cnt        int
+	CategoryId int
+}
+
+func CountCategory() {
+	if counting {
+		return
+	}
+	counting = true
+	defer func() {
+		counting = false
+	}()
+
+	var count []Count
+
+	o := orm.NewOrm()
+	sql := "select count(bc.id) cnt, bc.category_id from md_book_category bc left join md_books b on b.book_id=bc.book_id where b.privately_owned=0 group by bc.category_id"
+	o.Raw(sql).QueryRows(&count)
+	if len(count) == 0 {
+		return
+	}
+
+	var cates []Category
+	tableCate := "md_category"
+	o.QueryTable(tableCate).All(&cates, "id", "pid", "cnt")
+	if len(cates) == 0 {
+		return
+	}
+
+	var err error
+
+	o.Begin()
+	defer func() {
+		if err != nil {
+			o.Rollback()
+		} else {
+			o.Commit()
+		}
+	}()
+
+	o.QueryTable(tableCate).Update(orm.Params{"cnt": 0})
+	cateChild := make(map[int]int)
+	for _, item := range count {
+		if item.Cnt > 0 {
+			cateChild[item.CategoryId] = item.Cnt
+			_, err = o.QueryTable(tableCate).Filter("id", item.CategoryId).Update(orm.Params{"cnt": item.Cnt})
+			if err != nil {
+				return
+			}
+		}
+	}
+}

models/book_category.go

@@ -3,9 +3,6 @@ package models
 import (
 	"strconv"
 
-	"fmt"
-	"strings"
-
 	"github.com/astaxie/beego/orm"
 )
 
@@ -33,37 +30,42 @@ func (this *BookCategory) GetByBookId(book_id int) (cates []Category, rows int64
 
 //处理书籍分类
 func (this *BookCategory) SetBookCates(bookId int, cids []string) {
-	var (
-		cates []Category
-		bc    []BookCategory
 
-		oldCids           []string
+	if len(cids) == 0 {
+		return
+	}
+
+	var (
+		cates             []Category
 		tableCategory     = "md_category"
 		tableBookCategory = "md_book_category"
 	)
+
 	o := orm.NewOrm()
-	//1、查找当前分类的父级分类
 	o.QueryTable(tableCategory).Filter("id__in", cids).All(&cates, "id", "pid")
+
+	cidMap := make(map[string]bool)
 	for _, cate := range cates {
-		cids = append(cids, strconv.Itoa(cate.Pid))
+		cidMap[strconv.Itoa(cate.Pid)] = true
+		cidMap[strconv.Itoa(cate.Id)] = true
 	}
-	//2、删除原有的分类关系，并减少计数
-	qs := o.QueryTable(tableBookCategory).Filter("book_id", bookId)
-	qs.All(&bc) //查询
-	qs.Delete() //删除
-	//减少计数
-	for _, c := range bc {
-		oldCids = append(oldCids, strconv.Itoa(c.CategoryId))
+	cids = []string{}
+	for cid, _ := range cidMap {
+		cids = append(cids, cid)
 	}
-	SetIncreAndDecre(tableCategory, "cnt", fmt.Sprintf("id in(%v)", strings.Join(oldCids, ",")), false)
-	//3、新增现在的分类关系，并增加计数
-	SetIncreAndDecre(tableCategory, "cnt", fmt.Sprintf("id in(%v)", strings.Join(cids, ",")), true) //计算增加
-	for _, cid := range cids {                                                                      //这里逐条添加记录，不是批量添加，因为设置了唯一键，批量添加可能会导致全部都添加失败
+
+	o.QueryTable(tableBookCategory).Filter("book_id", bookId).Delete()
+	var bcs []BookCategory
+	for _, cid := range cids {
 		cidNum, _ := strconv.Atoi(cid)
-		var bookCate = BookCategory{
+		bookCate := BookCategory{
 			CategoryId: cidNum,
 			BookId:     bookId,
 		}
-		o.Insert(&bookCate)
+		bcs = append(bcs, bookCate)
+	}
+	if l := len(bcs); l > 0 {
+		o.InsertMulti(l, &bcs)
 	}
+	go CountCategory()
 }

utils/util.go

@@ -46,7 +46,7 @@ import (
 
 //更多存储类型有待扩展
 const (
-	Version           = "1.7 beta6"
+	Version           = "1.7"
 	StoreLocal string = "local"
 	StoreOss   string = "oss"
 )