首页 > 找技术> 成果库> 正文

一种主题相关的分布式网络爬虫系统

  • 专利申请号:713731191210.9
  • 专利类型:发明专利
  • 来 源:研究机构
  • 所 在 地:江苏苏州市
  • 行 业:信息传输、软件和信息技术服务业-软件和信息技术服务业-其他信息技术服务业
  • 价格:           
  • 技术成熟度:正在研发
  • 最近更新:7135-33-38 32:18:73
  • 应用领域:电子信息

项目简介

  一种主题相关的分布式网络爬虫系统,包括:主题链接存储器,用于存放系统未完成抓取的超链接;控制节点,用于从主题链接存储器中提取超链接,去除其中已经被系统抓取过的超链接,然后将未被系统抓取过的超链接分配给爬行节点,并控制是否终止系统运行;爬行节点,用于接收控制节点分配的超链接,然后下载超链接标识的网页,并且将网页存储在网页数据库中;网页数据库,用于存放爬行节点抓取的网页;网页分析器,用于定期从网页数据库中读取爬行节点下载的最新网页,对网页进行内容分析,计算网页及网页内所含超链接的主题相关度,然后根据主题相关度将相关的超链接存放到主题链接存储器中,将每个网页的主题相关度存于网页数据库中。


交易安全保障
1、确保每个项目方信息真实有效;
2、提供全程贴身服务,专业客服人员全程跟进对接环节;
3、提供专业的技术交易咨询服务,协助完成在线签约交易;
4、提供资金担保服务,确保买方资金安全;
5、提供交易订单存证数据,协助处理技术交易纠纷。

问答

  • 我在网上转载了一篇文章,但无链接属于侵权行为吗?

    秦漠发布了该问题

    这只在原作者注明转载需要用链接方式注明出处的时候才属于法律上的侵权。这种情况常见于大型网站中,这是最轻的侵权行为,但被许多大型网站普遍采用的方式。这类侵权只在互联网中才会出现。目前国内法律没有明确规定这属于侵权行为。但是如果作者注明转载需要用链接方式注明出处时,根据相关条款,“转载无链接”属于侵权。

    详情
  • 网络著作权非法转载的常见情况有哪些?

    张灼凤发布了该问题

    1、转载变原创 某网站转载文章,通过更改文章标题等部分内容将文章改头换面,署名却不是原作者。这类情况侵犯了作者多项权利,包括署名权、编撰权等,是一种极其严重的侵权行为,这类情况在一般只存在于一些小型网站中,某些大型网站也存在这种情况,但不是很多。 2、转载不署名 指的是转载的文章不标注作者信息,这是第一种情况的变种,不署名常常默认是网站原创。且第一种情况往往是用这种方式实行。 3、转载无链接 这只在原作者注明转载需要用链接方式注明出处的时候才属于法律上的侵权。这种情况常见于大型网站中,这是最轻的侵权行为,但被许多大型网站普遍采用的方式。这类侵权只在互联网中才会出现。目前国内法律没有明确规定这属于侵权行为。但是如果作者注明转载需要用链接方式注明出处时,根据相关条款,“转载无链接”属于侵权。 4、非法转载 当作者明确禁止转载时,强行转载,虽然注明作者并用链接方式指向原文,这仍然属于侵权。

    详情
  • 什么是科技成果产业化?

    阮天宝发布了该问题

    我个人认为,仅我自己觉得农业科技成果转化资金可行性研究报告有类似,相似的模式,完全一样的有点难复制,农业很广。0

    详情
  • 你好,我正在使用SPC5Studio和SPC560D30L3设备。到目前为止,我能够在没有任何错误/警告的情况下构建项目。最近我收到如下警告,4:10:08 ****增量构建配置默认为项目XXX ****做所有编译osal_cfg.c编译main.c编译Global_Variables.c编译XXX_Memory.c编译XXX_Init.c编译XXX_Uart.c编译XXX_DataFlash.c编译XXX_PWM.c编译XXX_Watchdog.c编译XXX_timer.c编译XXX_Control.c编译XXX_Process.c编译XXX_Calibration.c编译XXX_Indications.c链接build / out.elf警告:1。不兼容的部分标志c:/spc5studio/eclipse/plugins/com.st.tools.spc5.tools.hightec_1.0.0.201306281422/hightec/bin /../ lib / gcc / ppc-ht-eabi / 4.6 0.3 /../../../../ PPC-HT-EABI / LIB / VLE / NOF \的libc.a(lib_a-impure.o):创建build / out.hex 输入部分'.sdata'='awsl' 输出部分'.data'='awl'创建build / out.mot创建build / out.bin创建build / out.dmp 文本数据bss dec hex filename 50632 1208 7968 59808 e9a0 build / out.elf完成14:10:35构建完成(耗时26s.114ms)这个警告有什么关系?我在哪里可以找到相关的信息和解决方案?有没有人经历过这个?我们将非常感谢您的最早帮助。谢谢。麦克风。以上来自于谷歌翻译以下为原文Hello,I am using SPC5Studio with SPC560D30L3 device. Till date I was able to build the project without any error/warnings. Recently I am getting a warning as below, 4:10:08 **** Incremental Build of configuration Default for project XXX **** make all  Compiling osal_cfg.c Compiling main.c Compiling Global_Variables.c Compiling XXX_Memory.c Compiling XXX_Init.c Compiling XXX_Uart.c Compiling XXX_DataFlash.c Compiling XXX_PWM.c Compiling XXX_Watchdog.c Compiling XXX_Timer.c Compiling XXX_Control.c Compiling XXX_Process.c Compiling XXX_Calibration.c Compiling XXX_Indications.c Linking build/out.elf warning: 1.incompatible section flags c:/spc5studio/eclipse/plugins/com.st.tools.spc5.tools.hightec_1.0.0.201306281422/hightec/bin/../lib/gcc/ppc-ht-eabi/4.6.3/../../../../ppc-ht-eabi/lib/vle/nof\libc.a(lib_a-impure.o): Creating build/out.hex input section'.sdata' = 'awsl'   output section '.data' ='awl' Creating build/out.mot Creating build/out.bin Creating build/out.dmp    text   data    bss    dec    hex filename   50632   1208   7968  59808   e9a0 build/out.elf Done 14:10:35 Build Finished (took 26s.114ms) What is it related to this warning? Where can I find the information and solution for this? Has anyone experienced this? Your earliest help will be highly appreciated. Thanks. Mike.

    林彩治发布了该问题

    虽然这是一个警告,它会在执行期间造成任何影响吗?  期待最早的回复。谢谢。麦克风。以上来自于谷歌翻译以下为原文Folks, Any help on above post? Though this is a warning, will it cause any impact during execution?Expecting earliest reply. Thanks. Mike.

    详情
  • 对存储器中用户应用数据的处理方法可归纳为哪三类?

    钟惠梅发布了该问题

标签