Web 爬虫 Apache Nutch 1.16

 

Apache Nutch 1.16 发布了。Nutch是一个成熟的、可用于生产的 Web 爬虫。 Nutch 1.x 可以依靠 Apache Hadoop™ 数据结构进行细粒度配置,这对于批处理非常有用。

此版本包含 100 多个错误修复和改进,主要更新内容如下:

新特性

  • [NUTCH-2676] – 更新至最新的 selenium,并添加代码以通过远程 Web 驱动程序使用 chrome 和 firefox 无头模式

Bug 修复

  • [NUTCH-1063] – OutlinkExtractor 测试会生成异常,但不会失败
  • [NUTCH-1842] – crawl.gen.delay 在 nutch-default.xml 中具有错误的默认值,或者被错误地解析
  • [NUTCH-2279] – 使用 Hadoop MR 输出压缩时 LinkRank 失败
  • [NUTCH-2381] – 在某些情况下,类 TextProfileSignature 为同一文本“配置文件”页面提供不同的签名
  • [NUTCH-2387] – Nutch 不应使用 “noindex” 元索引文件
  • [NUTCH-2457] – Tika 可能无法正确解析嵌入的文档
  • [NUTCH-2475] – If 和 else-if 分支的条件相同
  • [NUTCH-2482] – index-geoip 不向文档字段添加空值
  • [NUTCH-2585] – TrieStringMatcher 中的 NPE
  • [NUTCH-2598] – URLNormalizerChecker 在输入中的无效 URL 上失败
  • ……

详情见更新说明

下载地址:

Web 爬虫 Apache Nutch 1.16

提取码:无
解压码:无

给TA打赏
共{{data.count}}人
人已打赏
博客

主要修复 bug 禅道 11.6.4 版本发布

2019-10-18 11:25:07

博客

MySQL 8.0.18 稳定版,Hash Join 如期而至

2019-10-18 11:30:27

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索