专利名称 ---【 一种基于Memcached的大数据缓存交互式查询方法 】

基本信息
申请号
CN201710160266.6
申请日
20170317
公开(公告)号
CN107145500A
公开(公告)日
20170908
申请(专利权)人
中国科学院计算机网络信息中心
申请人地址
100190 北京市海淀区中关村南四街4号
发明人
沈志宏;周园春;吴章生;黎建辉;朱小杰;杜园园;徐晓伟; 专利类型 发明专利
摘要
本发明提供一种基于Memcached的大数据缓存交互式查询方法,该方法基于Spark SQL提供的构建外部数据源的方式,结合Memcached缓存的内存读写特点,对特定应用场景下的大数据存储介质作了重新的定义。同时实现了大数据处理过程中中间计算结果在Memcached服务器中的缓存,通过Memcached良好的读写性能,结合Spark SQL强大的交互式查询分析能力,有效的提高了大数据缓存进行交互式查询的能力。
主权项
一种基于Memcached的大数据缓存交互式查询方法,其步骤包括:1)将Memcached驱动程序放入Spark SQL的类路径中,并引入到Spark SQL的SQLContext中;所述Memcached驱动程序包括DefaultSource、MemcachedRelation和MemcachedRDD,其中所述DefaultSource实现了Spark中的RelationProvider,用于创建Spark SQL数据源中的MemcachedRelation;所述MemcachedRelation继承并实现了Spark中的BaseRelation和TableScan,用于根据用户需求实现Spark SQL与Memcached服务器之间的交互;所述MemcachedRDD为Spark处理Memcached服务器中的数据提供接口;2)根据Memcached服务器中缓存数据的结构指定表的数据模式,调用SQLContext的sql()方法,提交CREATE TABLE语句创建Spark SQL数据源中的表;3)调用SQLContext的sql()方法,提交SQL INSERT语句,在Spark SQL中根据上述创建的表并调用Memcached API将数据写入Memcached服务器中;4)调用SQLContext的sql()方法,提交SQL SELECT语句,在Spark SQL中根据上述创建的表并调用Memcached API查询Memcached服务器中的缓存数据。

 

IPC信息
IPC主分类号
G06F17/30

 

法律状态信息
法律状态公告日
20171010
法律状态
著录事项变更 法律状态信息
CN201710160266 20171010 实质审查的生效 实质审查的生效IPC(主分类):G06F 17/30申请日:20170317
法律状态公告日
20170908
法律状态
专利申请权、专利权的转移 法律状态信息
CN201710160266 20180928 专利申请权、专利权的转移 专利申请权的转移IPC(主分类):G06F 17/30登记生效日:20180910变更前 申请人:中国科学院计算机网络信息中心 地址:100190 北京市海淀区中关村南四街4号变更后 申请人:中科智慧水运科技创新(广州)有限公司 地址:510000 广东省广州市黄埔区揽月路105号901房自编903-907房
法律状态公告日
20200508
法律状态
公开 法律状态信息
CN201710160266 20170908 公开 公开
法律状态公告日
20180928
法律状态
实质审查的生效 法律状态信息
CN201710160266 20200508 著录事项变更 著录事项变更 IPC(主分类):G06F17/30 变更前申请人:中科智慧水运科技创新(广州)有限公司 变更前地址:510000 广东省广州市黄埔区揽月路105号901房自编903-907房 变更后申请人:中科智慧交通技术(广州)有限公司 变更后地址:510000 广东省广州市黄埔区揽月路105号901房自编903-907房

 

代理信息
代理机构名称
北京君尚知识产权代理事务所(普通合伙) 11200
代理人姓名
余长江

 

被引专利信息
引用阶段 被引时间 专利号 申请人 公开时间

 

被引非专利信息
引用阶段 被引时间 被引文档类型 被引文档信息


| 联系我们 | 网站地图 | 版权声明 |

版权:中国科学院 主办:中国科学院科技促进发展局 承办:中国科学院成都文献情报中心 蜀ICP备05003827号-12

建议使用1024×768 分辨率 IE6.0以上版本浏览器