欢迎来到 常识词典网 ， 一个专业的常识知识学习网站！

[ Ctrl + D 键 ]收藏本站

您所在的位置：首页 > 教育学习 > 百科

百科

适合爬虫下来的网页储存的分布式文件系统有哪些？

分类: 百科 常识词典 编辑 : 常识 发布 : 11-21

阅读 :334

适合爬虫下来的网页储存的分布式文件系统有哪些？１）主要是想搞个分布式的爬虫，这块没有经验，想问一下，是不是要找一个合适的分布式储存的系统？ -adoop说好像是为大块文件设计的 ２）另外对行下载下来的网页进行提取这块，是使用什么，-p/reduce吗，怎么把结果再收集回来呢？ 求教1 个答案

答案 1：

mongodb应该是个不错的选择！
标签 : 百科 11-21

下一篇:如果跑的速度超越光速，那就会穿越，你是否愿意试一下？ 下一篇 【方向键 ( → )下一篇】

上一篇:《步步惊心》火？ 上一篇 【方向键 ( ← )上一篇】