一种新的基于Bloom filter数据结构的数据消冗算法

doi:10.13764/j.cnki.ncdl.2017.05.010

	一种新的基于Bloom filter数据结构的数据消冗算法
其他题名	A new data redundancy algorithm based on Bloom filter data structure
	邓剑勋1,2 ; 熊忠阳 1; 邓欣 3
	2017-10-25
发表期刊	南昌大学学报.理科版
ISSN	1006-0464
卷号	41 期号:05 页码:455-459+463
摘要	针对以往数据消冗算法存储消耗高,时间消耗久以及重复率检测效果不是十分理想,引入Bloom filter数据结构将大数据进行降维处理,提出了一种新的数据消冗算法,该算法首先利用完全文件检测算法对数据进行检验匹配,通过的数据块再利用CDC分块检测算法进行进一步检测匹配,依据余弦相似度公式以及Hamming距离值计算数据相似度,最终完成数据消冗。仿真实验结果表明本文提出的数据消冗算法综合性能良好,既确保了检测数据重复率的准确性又提高了数据检测速度,同时降低了存储开销。
其他摘要	In view of the high storage consumption,the long running time and the unsatisfactory detection effect of repetition rate in existing data redundancy elimination algorithms,this paper proposed a new data redundancy elimination algorithm,wherethe complete file detection algorithmwas usedto test data matching,theCDC block detection algorithm was applied to further detect the data block,and the cosine similarity formula was utilized tocalculate the data similarity of the Hamming distance,achieving the goal of data redundancy.Simulation results showed that the proposed data redundancy algorithm has good comprehensive performance,with the advantages of ensuring the accuracy of the detection data repetition rate,improving the speed of data detection and reducingthe storage overhead.
关键词	数据降维数据消冗数据缩减率相似度
DOI	10.13764/j.cnki.ncdl.2017.05.010
URL	查看原文
收录类别	北大核心 ; PKU ; ISTIC
语种	中文
原始文献类型	学术期刊
文献类型	期刊论文
条目标识符	https://ir.cqcet.edu.cn/handle/39TD4454/5263
专题	人工智能与大数据学院
作者单位	1.重庆大学计算机学院; 2.重庆电子工程职业学院软件学院; 3.重庆邮电大学计算机学院
第一作者单位	重庆电子科技职业大学
推荐引用方式 GB/T 7714	邓剑勋,熊忠阳,邓欣. 一种新的基于Bloom filter数据结构的数据消冗算法[J]. 南昌大学学报.理科版,2017,41(05):455-459+463.
APA	邓剑勋,熊忠阳,&邓欣.(2017).一种新的基于Bloom filter数据结构的数据消冗算法.南昌大学学报.理科版,41(05),455-459+463.
MLA	邓剑勋,et al."一种新的基于Bloom filter数据结构的数据消冗算法".南昌大学学报.理科版 41.05(2017):455-459+463.

条目包含的文件		下载所有文件
文件名称/大小	文献类型	版本类型	开放类型	使用许可
一种新的基于Bloom filter数据（676KB）	期刊论文	出版稿	开放获取	CC BY-NC-SA	浏览下载