在 KubeSphere 部署 Wiki 系统 wiki.js 并启用中文全文检索-六虎

作者：scwang18，主要负责技术架构，在容器云方向颇有研究。

背景

wiki.js 是优秀的开源 Wiki 体系，相较于 xwiki ，功用现在性上比 xwiki 不行完善，但也在不断进步。 Wiki 写作、共享、权限办理功用仍是有的，胜在 UI 规划很漂亮，能满意小团队的基本知识办理需求。

以下工作是在 KubeSphere 3.2.1 + Helm 3 现已布置好的情况下进行的。

布置 KuberSphere 的方法官网有很详细的文档介绍，这儿不再赘叙。
kubesphere.com.cn/docs/instal…

预备 storageclass

咱们运用 OpenEBS 作为存储，OpenEBS 默认装置的 Local StorageSlass 在 Pod 毁掉后自动删去，不适合用于我的 MySQL 存储，咱们在 Local StorageClass 基础上稍作修正，创立新的 StorageClass，答应 Pod 毁掉后，PV 内容继续保留，手动决议怎样处理。

apiVersion: v1
items:
- apiVersion: storage.k8s.io/v1
  kind: StorageClass
  metadata:
    annotations:
      cas.openebs.io/config: |
        - name: StorageType
          value: "hostpath"
        - name: BasePath
          value: "/var/openebs/localretain/"
      openebs.io/cas-type: local
      storageclass.beta.kubernetes.io/is-default-class: "false"
      storageclass.kubesphere.io/supported-access-modes: '["ReadWriteOnce"]'
    name: localretain
  provisioner: openebs.io/local
  reclaimPolicy: Retain
  volumeBindingMode: WaitForFirstConsumer
kind: List
metadata:
  resourceVersion: ""
  selfLink: ""

布置 PostgreSQL 数据库

咱们团队其他项目中也需求运用 PostgreSQL, 为了提高 PostgreSQL 数据库的利用率和统一办理，咱们独立布置 PostgreSQL，并在装置 wiki.js 时，装备为运用外部数据库。

预备用户名暗码装备

咱们运用 Secret 保存 PostgreSQL 用户暗码等灵敏信息。

kind: Secret
apiVersion: v1
metadata:
  name: postgres-prod
data:
  POSTGRES_PASSWORD: xxxx
type: Opaque

以上 POSTGRES_PASSWORD 自行预备，为 base64 编码的数据。

预备数据库初始化脚本

运用 ConfigMap 保存数据库初始化脚本，在数据库创立时，将 ConfigMap 中的数据库初始化脚本挂载到 /docker-entrypoint-initdb.d, 容器初始化时会自动履行该脚本。

apiVersion: v1
kind: ConfigMap
metadata:
  name: wikijs-postgres-init
data:
  init.sql: |-
    CREATE DATABASE wikijs;
    CREATE USER wikijs with password 'xxxx';
    GRANT CONNECT ON DATABASE wikijs to wikijs;
    GRANT USAGE ON SCHEMA public TO wikijs;
    GRANT SELECT,update,INSERT,delete ON ALL TABLES IN SCHEMA public TO wikijs;
    ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT ON TABLES TO wikijs;

以上 wikijs 用户的暗码自行预备，明文保存。

预备存储

咱们运用 KubeSphere 默认装置的 OpenEBS 来供给存储服务。可以经过创立 PVC 来供给持久化存储。

这儿声明一个 10G 的 PVC。

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: postgres-prod-data
  finalizers:
    - kubernetes.io/pvc-protection
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi
  storageClassName: localretain
  volumeMode: Filesystem

布置 PostgreSQL 数据库

在前面的步骤预备好各种装备信息和存储后，就可以开始布置 PostgreSQL 服务了。

咱们的 Kubernetes 没有装备存储阵列，运用的是 OpenEBS 作为存储，采用 Deployment 方法布置 PostgreSQL。

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: postgres-prod
  name: postgres-prod
spec:
  replicas: 1
  selector:
    matchLabels:
      app: postgres-prod
  template:
    metadata:
      labels:
        app: postgres-prod
    spec:
      containers:
        - name: db
          imagePullPolicy: IfNotPresent
          image: 'abcfy2/zhparser:12-alpine'
          ports:
            - name: tcp-5432
              protocol: TCP
              containerPort: 5432
          envFrom:
          - secretRef:
              name: postgres-prod
          volumeMounts:
            - name: postgres-prod-data
              readOnly: false
              mountPath: /var/lib/postgresql/data
            - name: wikijs-postgres-init
              readOnly: true
              mountPath: /docker-entrypoint-initdb.d
      volumes:
        - name: postgres-prod-data
          persistentVolumeClaim:
            claimName: postgres-prod-data
        - name: wikijs-postgres-init
          configMap:
            name: wikijs-postgres-init

创立供其他 Pod 拜访的 Service

apiVersion: v1
kind: Service
metadata:
  name: postgres-prod
spec:
  selector:
    app: postgres-prod
  ports:
    - protocol: TCP
      port: 5432
      targetPort: tcp-5432

完结 PostgreSQL 布置

测验略

布置 wiki.js

预备用户名暗码装备

咱们运用 Secret 保存 wiki.js 用于衔接数据库的用户名暗码等灵敏信息。

apiVersion: v1
kind: Secret
metadata:
  name: wikijs
data:
  DB_USER: d2lraWpz
  DB_PASS: xxxx
type: Opaque

以上 DB_PASS 自行预备，为 base64 编码的数据。

预备数据库衔接装备

咱们运用 ConfigMap 保存 wiki.js 的数据库衔接信息。

apiVersion: v1
kind: ConfigMap
metadata:
  name: wikijs
data:
  DB_TYPE: postgres
  DB_HOST: postgres-prod.infra
  DB_PORT: "5432"
  DB_NAME: wikijs
  HA_ACTIVE: "true"

创立数据库用户和数据库

假如 PostgreSQL 数据库里没有创立 wikijs 用户和数据，需求手工完结一下工作：

经过『数据库东西』衔接 PostgreSQL 数据库，履行一下 SQL 语句，完结数据库和用户的创立、授权。

CREATE DATABASE wikijs;
CREATE USER wikijs with password 'xxxx';
GRANT CONNECT ON DATABASE wikijs to wikijs;
GRANT USAGE ON SCHEMA public TO wikijs;
GRANT SELECT,update,INSERT,delete ON ALL TABLES IN SCHEMA public TO wikijs;
ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT ON TABLES TO wikijs;

以上 wikijs 的暗码自行修正。

预备 wiki.js 的 yaml 布置文件

采用 Deployment 方法布置 wiki.js 的 yaml 文件如下：

# wikijs-deploy.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: wikijs
  name: wikijs
spec:
  replicas: 1
  selector:
    matchLabels:
      app: wikijs
  template:
    metadata:
      labels:
        app: wikijs
    spec:
      containers:
        - name: wikijs
          image: 'requarks/wiki:2'
          ports:
            - name: http-3000
              protocol: TCP
              containerPort: 3000
          envFrom:
          - secretRef:
              name: wikijs
          - configMapRef:
              name: wikijs

创立集群内拜访 wiki.js 的 Service

# wikijs-svc.yaml
apiVersion: v1
kind: Service
metadata:
  name: wikijs
spec:
  selector:
    app: wikijs
  ports:
    - protocol: TCP
      port: 3000
      targetPort: http-3000

创立集群外拜访的 Ingress

# wikijs-ing.yaml
kind: Ingress
apiVersion: networking.k8s.io/v1
metadata:
  name: wikijs
spec:
  ingressClassName: nginx
  rules:
    - host: wiki.xxxx.cn
      http:
        paths:
          - path: /
            pathType: ImplementationSpecific
            backend:
              service:
                name: wikijs
                port:
                  number: 3000

以上 host 域名需求自行装备。

履行布置

$ kubectl apply -f wikijs-deploy.yaml
$ kubectl apply -f wikijs-svc.yaml
$ kubectl apply -f wikijs-ing.yaml

装备 wiki.js 支撑中文全文检索

wiki.js 的全文检索支撑根据 PostgreSQL 的检索，也支撑 Elasticsearch 等，相对来说, PostgreSQL 比较轻量级，本项目中，咱们运用 PostgreSQL 的全文检索。

可是，由于 PostgreSQL 不支撑中文分词，需求额定装置插件并装备启用中文分词，下面描述了为 wiki.js 发动根据 PostgreSQL 数据库中文分词的全文检索。

颁发 wikijs 用户暂时超管权限

经过数据库办理东西登录有超管权限的 PostgreSQL 用户，暂时颁发 wiki.js 用户暂时超管权限，便于发动中文分词功用。

ALTER USER wikijs WITH SUPERUSER;

启用数据库的中文分词才能

运用数据库办理东西登录 PostgreSQL 数据库的 wikijs 用户，履行以下指令，发动数据库的中文分词功用。

CREATE EXTENSION pg_trgm;
CREATE EXTENSION zhparser;
CREATE TEXT SEARCH CONFIGURATION pg_catalog.chinese_zh (PARSER = zhparser);
ALTER TEXT SEARCH CONFIGURATION chinese_zh ADD MAPPING FOR n,v,a,i,e,l WITH simple;
-- 忽略标点影响
ALTER ROLE wikijs SET zhparser.punctuation_ignore = ON;
-- 短词复合
ALTER ROLE wikijs SET zhparser.multi_short = ON;
-- 测验一下
select ts_debug('chinese_zh', '芳华是最夸姣的年岁，芳华是最绚烂的日子。每一个人的芳华都无比名贵，名贵的芳华只有与斗争为伴才最闪光、最出彩。');

撤销 wikijs 用户的暂时超管权限

ALTER USER wikijs WITH NOSUPERUSER;

创立支撑中文分词的装备 ConfigMap

# zh-parse.yaml
kind: ConfigMap
apiVersion: v1
metadata:
  name: wikijs-zhparser
data:
  definition.yml: |-
    key: postgres
    title: Database - PostgreSQL
    description: Advanced PostgreSQL-based search engine.
    author: requarks.io
    logo: https://www.6hu.cc/files/2022/12/1670065817-a2ceef1e80fc38b.svg
    website: https://www.requarks.io/
    isAvailable: true
    props:
      dictLanguage:
        type: String
        title: Dictionary Language
        hint: Language to use when creating and querying text search vectors.
        default: english
        enum:
          - simple
          - danish
          - dutch
          - english
          - finnish
          - french
          - german
          - hungarian
          - italian
          - norwegian
          - portuguese
          - romanian
          - russian
          - spanish
          - swedish
          - turkish
          - chinese_zh
        order: 1
  engine.js: |-
    const tsquery = require('pg-tsquery')()
    const stream = require('stream')
    const Promise = require('bluebird')
    const pipeline = Promise.promisify(stream.pipeline)

    /* global WIKI */
    module.exports = {
      async activate() {
        if (WIKI.config.db.type !== 'postgres') {
          throw new WIKI.Error.SearchActivationFailed('Must use PostgreSQL database to activate this engine!')
        }
      },
      async deactivate() {
        WIKI.logger.info(`(SEARCH/POSTGRES) Dropping index tables...`)
        await WIKI.models.knex.schema.dropTable('pagesWords')
        await WIKI.models.knex.schema.dropTable('pagesVector')
        WIKI.logger.info(`(SEARCH/POSTGRES) Index tables have been dropped.`)
      },
      /**
       * INIT
       */
      async init() {
        WIKI.logger.info(`(SEARCH/POSTGRES) Initializing...`)
        // -> Create Search Index
        const indexExists = await WIKI.models.knex.schema.hasTable('pagesVector')
        if (!indexExists) {
          WIKI.logger.info(`(SEARCH/POSTGRES) Creating Pages Vector table...`)
          await WIKI.models.knex.schema.createTable('pagesVector', table => {
            table.increments()
            table.string('path')
            table.string('locale')
            table.string('title')
            table.string('description')
            table.specificType('tokens', 'TSVECTOR')
            table.text('content')
          })
        }
        // -> Create Words Index
        const wordsExists = await WIKI.models.knex.schema.hasTable('pagesWords')
        if (!wordsExists) {
          WIKI.logger.info(`(SEARCH/POSTGRES) Creating Words Suggestion Index...`)
          await WIKI.models.knex.raw(`
            CREATE TABLE "pagesWords" AS SELECT word FROM ts_stat(
              'SELECT to_tsvector(''simple'', "title") || to_tsvector(''simple'', "description") || to_tsvector(''simple'', "content") FROM "pagesVector"'
            )`)
          await WIKI.models.knex.raw('CREATE EXTENSION IF NOT EXISTS pg_trgm')
          await WIKI.models.knex.raw(`CREATE INDEX "pageWords_idx" ON "pagesWords" USING GIN (word gin_trgm_ops)`)
        }
        WIKI.logger.info(`(SEARCH/POSTGRES) Initialization completed.`)
      },
      /**
       * QUERY
       *
       * @param {String} q Query
       * @param {Object} opts Additional options
       */
      async query(q, opts) {
        try {
          let suggestions = []
          let qry = `
            SELECT id, path, locale, title, description
            FROM "pagesVector", to_tsquery(?,?) query
            WHERE (query @@ "tokens" OR path ILIKE ?)
          `
          let qryEnd = `ORDER BY ts_rank(tokens, query) DESC`
          let qryParams = [this.config.dictLanguage, tsquery(q), `%${q.toLowerCase()}%`]
          if (opts.locale) {
            qry = `${qry} AND locale = ?`
            qryParams.push(opts.locale)
          }
          if (opts.path) {
            qry = `${qry} AND path ILIKE ?`
            qryParams.push(`%${opts.path}`)
          }
          const results = await WIKI.models.knex.raw(`
            ${qry}
            ${qryEnd}
          `, qryParams)
          if (results.rows.length < 5) {
            const suggestResults = await WIKI.models.knex.raw(`SELECT word, word <-> ? AS rank FROM "pagesWords" WHERE similarity(word, ?) > 0.2 ORDER BY rank LIMIT 5;`, [q, q])
            suggestions = suggestResults.rows.map(r => r.word)
          }
          return {
            results: results.rows,
            suggestions,
            totalHits: results.rows.length
          }
        } catch (err) {
          WIKI.logger.warn('Search Engine Error:')
          WIKI.logger.warn(err)
        }
      },
      /**
       * CREATE
       *
       * @param {Object} page Page to create
       */
      async created(page) {
        await WIKI.models.knex.raw(`
          INSERT INTO "pagesVector" (path, locale, title, description, "tokens") VALUES (
            ?, ?, ?, ?, (setweight(to_tsvector('${this.config.dictLanguage}', ?), 'A') || setweight(to_tsvector('${this.config.dictLanguage}', ?), 'B') || setweight(to_tsvector('${this.config.dictLanguage}', ?), 'C'))
          )
        `, [page.path, page.localeCode, page.title, page.description, page.title, page.description, page.safeContent])
      },
      /**
       * UPDATE
       *
       * @param {Object} page Page to update
       */
      async updated(page) {
        await WIKI.models.knex.raw(`
          UPDATE "pagesVector" SET
            title = ?,
            description = ?,
            tokens = (setweight(to_tsvector('${this.config.dictLanguage}', ?), 'A') ||
            setweight(to_tsvector('${this.config.dictLanguage}', ?), 'B') ||
            setweight(to_tsvector('${this.config.dictLanguage}', ?), 'C'))
          WHERE path = ? AND locale = ?
        `, [page.title, page.description, page.title, page.description, page.safeContent, page.path, page.localeCode])
      },
      /**
       * DELETE
       *
       * @param {Object} page Page to delete
       */
      async deleted(page) {
        await WIKI.models.knex('pagesVector').where({
          locale: page.localeCode,
          path: page.path
        }).del().limit(1)
      },
      /**
       * RENAME
       *
       * @param {Object} page Page to rename
       */
      async renamed(page) {
        await WIKI.models.knex('pagesVector').where({
          locale: page.localeCode,
          path: page.path
        }).update({
          locale: page.destinationLocaleCode,
          path: page.destinationPath
        })
      },
      /**
       * REBUILD INDEX
       */
      async rebuild() {
        WIKI.logger.info(`(SEARCH/POSTGRES) Rebuilding Index...`)
        await WIKI.models.knex('pagesVector').truncate()
        await WIKI.models.knex('pagesWords').truncate()
        await pipeline(
          WIKI.models.knex.column('path', 'localeCode', 'title', 'description', 'render').select().from('pages').where({
            isPublished: true,
            isPrivate: false
          }).stream(),
          new stream.Transform({
            objectMode: true,
            transform: async (page, enc, cb) => {
              const content = WIKI.models.pages.cleanHTML(page.render)
              await WIKI.models.knex.raw(`
                INSERT INTO "pagesVector" (path, locale, title, description, "tokens", content) VALUES (
                  ?, ?, ?, ?, (setweight(to_tsvector('${this.config.dictLanguage}', ?), 'A') || setweight(to_tsvector('${this.config.dictLanguage}', ?), 'B') || setweight(to_tsvector('${this.config.dictLanguage}', ?), 'C')), ?
                )
              `, [page.path, page.localeCode, page.title, page.description, page.title, page.description, content,content])
              cb()
            }
          })
        )
        await WIKI.models.knex.raw(`
          INSERT INTO "pagesWords" (word)
            SELECT word FROM ts_stat(
              'SELECT to_tsvector(''simple'', "title") || to_tsvector(''simple'', "description") || to_tsvector(''simple'', "content") FROM "pagesVector"'
            )
          `)
        WIKI.logger.info(`(SEARCH/POSTGRES) Index rebuilt successfully.`)
      }
    }

更新 wikijs 的 Deployment

wiki.js 的根据 PostgreSQL 的全文检索引擎装备坐落 /wiki/server/modules/search/postgres ，咱们将前面装备的 ConfigMap 加载到这个目录。

# wikijs-zh.yaml
kind: Deployment
apiVersion: apps/v1
metadata:
  name: wikijs
  labels:
    app: wikijs
spec:
  replicas: 1
  selector:
    matchLabels:
      app: wikijs
  template:
    metadata:
      labels:
        app: wikijs
    spec:
      volumes:
        - name: volume-dysh4f
          configMap:
            name: wikijs-zhparser
            defaultMode: 420
      containers:
        - name: wikijs
          image: 'requarks/wiki:2'
          ports:
            - name: http-3000
              containerPort: 3000
              protocol: TCP
          envFrom:
            - secretRef:
                name: wikijs
            - configMapRef:
                name: wikijs
          volumeMounts:
            - name: volume-dysh4f
              readOnly: true
              mountPath: /wiki/server/modules/search/postgres

装备 wiki.js ，启用根据 PostgreSQL 的全文检索

从头 apply 新的 Delployment 文件后

$ kubectl apply -f zh-parse.yaml
$ kubectl apply -f wikijs-zh.yaml

翻开 wiki.js 办理
点击搜索引擎
挑选 Database – PostgreSQL
在 Dictionary Language 的下拉菜单里挑选 chinese_zh。
点击应用，并重建索引。
完结装备。

总结

本文介绍的 wiki.js 布置方法支撑中文全文检索的支撑，集成了 PostgreSQL 和 zhparser 中文分词插件。

相对于规范的 wiki.js 装置布置过程，主要做了以下装备：

PostgreSQL 镜像采用了 abcfy2/zhparser:12-alpine ，这个镜像自带 zhparser 中文分词插件。
wiki.js 镜像外挂了 ConfigMap ，用于修正原 Docker 镜像里关于 PostgreSQL 搜索引擎装备的信息，以支撑 chinese_zh 选项。

本文由博客一文多发平台 OpenWrite 发布！

在 KubeSphere 部署 Wiki 系统 wiki.js 并启用中文全文检索

背景

预备 storageclass

布置 PostgreSQL 数据库

预备用户名暗码装备

预备数据库初始化脚本

预备存储

布置 PostgreSQL 数据库

创立供其他 Pod 拜访的 Service

完结 PostgreSQL 布置

布置 wiki.js

预备用户名暗码装备

预备数据库衔接装备

创立数据库用户和数据库

预备 wiki.js 的 yaml 布置文件

创立集群内拜访 wiki.js 的 Service

创立集群外拜访的 Ingress

履行布置

装备 wiki.js 支撑中文全文检索

颁发 wikijs 用户暂时超管权限

启用数据库的中文分词才能

撤销 wikijs 用户的暂时超管权限

创立支撑中文分词的装备 ConfigMap

更新 wikijs 的 Deployment

装备 wiki.js ，启用根据 PostgreSQL 的全文检索

总结

作者信息

推广

在 KubeSphere 部署 Wiki 系统 wiki.js 并启用中文全文检索

背景

预备 storageclass

布置 PostgreSQL 数据库

预备用户名暗码装备

预备数据库初始化脚本

预备存储

布置 PostgreSQL 数据库

创立供其他 Pod 拜访的 Service

完结 PostgreSQL 布置

布置 wiki.js

预备用户名暗码装备

预备数据库衔接装备

创立数据库用户和数据库

预备 wiki.js 的 yaml 布置文件

创立集群内拜访 wiki.js 的 Service

创立集群外拜访的 Ingress

履行布置

装备 wiki.js 支撑中文全文检索

颁发 wikijs 用户暂时超管权限

启用数据库的中文分词才能

撤销 wikijs 用户的暂时超管权限

创立支撑中文分词的装备 ConfigMap

更新 wikijs 的 Deployment

装备 wiki.js ，启用根据 PostgreSQL 的全文检索

总结

相关文章

那些年我在大厂学到的工程思维（八）：系统思维

Hybrid-SORT起飞 | 超过DeepSORT将近10个点的多目标跟踪香不香？

软考高项 – 案例分析

Docgeni 2.1 正式发布

作者信息

推广