您的位置:首页 > 改革之路 > 政治法律 > 法制建设 法制建设
ULAS-EasyLod统计分析系统技术应用要则
作者:张岩、王林 来源:“图书馆之城”标准规范与技术应用要则 责任编辑:xiangwang 2024-10-25 人已围观
1.概述
ULAS-EasyLod(以下简称“EasyLod”)是新一代深圳“图书馆之城”中心管理系统(ULAS)的数据统计分析子系统,“Lod”可理解为“Library Open Data——图书馆开放数据”,也可理解为“Levels of Detail——数据细节的模型或层级”。
EasyLod聚焦深圳“图书馆之城”的资源、读者、服务等方面,精心设计数据挖掘模型和数据展现模型,提升了ULAS数据开放性和数据服务能力。
EasyLod致力于解决深圳“图书馆之城”数据挖掘与统计分析共性需求,解决读者画像需求,解决各成员馆文献服务排行榜需求,解决各成员馆其他个性化需求,规范全市统计分析业务,构建全市数据服务机制。
2.术语和定义
本文件涉及的术语和定义包括:统一服务、成员馆、分馆、自助图书馆、服务点、文献所属馆、馆藏地点,详见本书附录一。
3.缩略语
下列缩略语适用于本文件。
LAS——图书馆自动化系统(Library Automation System)
ULAS——深圳“图书馆之城”中心管理系统(United Library Automation System)
API——应用程序接口(Application Programming Interface)
4.系统架构
4.1架构设计
EasyLod是基于数据挖掘的统计分析平台,主要分三层架构:数据后台、数据中台和数据前台。
▲图1 EasyLod架构设计
4.2数据后台:数据采集与挖掘
数据后台主要负责数据采集与数据挖掘,即数据的归集和整理。
采集和挖掘的数据对象包括ULAS核心数据库的现状数据、历史数据和系统日志数据等。
4.3数据中台:数据治理与规范
数据中台完成数据标准化处理和质量控制。
通过数据治理体系对收集到的数据进行清洗,包括纠正错误、删除重复项、统一规格、修正逻辑、转换构造、数据压缩、补足残缺/空值、丢弃数据、数据脱敏等。将数据处理成可进一步加工、使用的数据,再通过数据标准体系对清洗后的数据进行数据集成和标准化处理。
治理后的数据,可通过数据前台或API方式提供服务。
4.4数据前台:数据呈现与应用
数据前台通过开源的模板化系统实现数据呈现,并通过API提供数据服务或专项数据应用。
提供一整套模板让各馆直接使用是数据前台的主要服务方式,模板分为基本模板和扩展模板。其中,基本模板主要从某个维度展示统计分析数据,可统计的数据项比较多,单条数据时间跨度小(日);扩展模板主要是从两个或两个以上维度进行数据分析展示,可统计的数据项相对较少,单条数据时间跨度较大(月或年)。
5.技术特点
5.1数据持久化
数据挖掘全面采用预挖掘技术,以天为单位,每天凌晨自动完成前一天挖掘对象的数据采集,以最快速度完成对采集数据的池化,保证采集数据的原貌特征。数据挖掘基于池化数据。只要在挖掘模板和挖掘规则不改变的情况下,无论何时重新挖掘,均可以保证数据挖掘的准确性、一致性。
5.2治理规范化
EasyLod数据采集依据《中华人民共和国网络安全法》,采用“最小够用”原则。数据治理严格执行《信息技术服务 治理 第5部分:数据治理规范》(GB/T 34960.5—2018)、《中华人民共和国数据安全法》和《中华人民共和国个人信息保护法》。模板配置时严格执行深圳市地方标准《公共图书馆统一服务业务统计数据规范》(DB4403/T 78—2020)。
ULAS-EasyLod(以下简称“EasyLod”)是新一代深圳“图书馆之城”中心管理系统(ULAS)的数据统计分析子系统,“Lod”可理解为“Library Open Data——图书馆开放数据”,也可理解为“Levels of Detail——数据细节的模型或层级”。
EasyLod聚焦深圳“图书馆之城”的资源、读者、服务等方面,精心设计数据挖掘模型和数据展现模型,提升了ULAS数据开放性和数据服务能力。
EasyLod致力于解决深圳“图书馆之城”数据挖掘与统计分析共性需求,解决读者画像需求,解决各成员馆文献服务排行榜需求,解决各成员馆其他个性化需求,规范全市统计分析业务,构建全市数据服务机制。
2.术语和定义
本文件涉及的术语和定义包括:统一服务、成员馆、分馆、自助图书馆、服务点、文献所属馆、馆藏地点,详见本书附录一。
3.缩略语
下列缩略语适用于本文件。
LAS——图书馆自动化系统(Library Automation System)
ULAS——深圳“图书馆之城”中心管理系统(United Library Automation System)
API——应用程序接口(Application Programming Interface)
4.系统架构
4.1架构设计
EasyLod是基于数据挖掘的统计分析平台,主要分三层架构:数据后台、数据中台和数据前台。
▲图1 EasyLod架构设计
4.2数据后台:数据采集与挖掘
数据后台主要负责数据采集与数据挖掘,即数据的归集和整理。
采集和挖掘的数据对象包括ULAS核心数据库的现状数据、历史数据和系统日志数据等。
4.3数据中台:数据治理与规范
数据中台完成数据标准化处理和质量控制。
通过数据治理体系对收集到的数据进行清洗,包括纠正错误、删除重复项、统一规格、修正逻辑、转换构造、数据压缩、补足残缺/空值、丢弃数据、数据脱敏等。将数据处理成可进一步加工、使用的数据,再通过数据标准体系对清洗后的数据进行数据集成和标准化处理。
治理后的数据,可通过数据前台或API方式提供服务。
4.4数据前台:数据呈现与应用
数据前台通过开源的模板化系统实现数据呈现,并通过API提供数据服务或专项数据应用。
提供一整套模板让各馆直接使用是数据前台的主要服务方式,模板分为基本模板和扩展模板。其中,基本模板主要从某个维度展示统计分析数据,可统计的数据项比较多,单条数据时间跨度小(日);扩展模板主要是从两个或两个以上维度进行数据分析展示,可统计的数据项相对较少,单条数据时间跨度较大(月或年)。
5.技术特点
5.1数据持久化
数据挖掘全面采用预挖掘技术,以天为单位,每天凌晨自动完成前一天挖掘对象的数据采集,以最快速度完成对采集数据的池化,保证采集数据的原貌特征。数据挖掘基于池化数据。只要在挖掘模板和挖掘规则不改变的情况下,无论何时重新挖掘,均可以保证数据挖掘的准确性、一致性。
5.2治理规范化
EasyLod数据采集依据《中华人民共和国网络安全法》,采用“最小够用”原则。数据治理严格执行《信息技术服务 治理 第5部分:数据治理规范》(GB/T 34960.5—2018)、《中华人民共和国数据安全法》和《中华人民共和国个人信息保护法》。模板配置时严格执行深圳市地方标准《公共图书馆统一服务业务统计数据规范》(DB4403/T 78—2020)。
很赞哦! ( )
评论
0