/中文/
/中文/
/中文/
/中文/
/中文/
/中文/
/中文/
/中文/
/中文/
/中文/
软件Tags: 网络爬虫
LoalaSam网络爬虫是由vc6.0开发推出的一款网络爬虫软件。通过LoalaSam,用户可以搜索到网上的各种资源,如:音视频、图片等,还可以下载搜索到资源。赶快下载体验吧!
LoalaSam是一个由c/c++开发,运行在Windows平台上的网络爬虫(蜘蛛)程序,它可以高效地从互联网上获取海量资源,这些资源包括网页文本信息,图片,音频,视频以及其他类型的二进制文件资源。
LoalaSam采用了较为先进的技术来提高下载速度,它采用了异步DNS解析,异步TCP/IP通信传输和多线程并发下载机制。这样使LoalaSam达到了很高的下载速度,它通常接近您的网络环境提供的极限速度。
作者希望今后LoalaSam能够作为一个完整的搜索引擎系统的一个功能模块。目前LoalaSam的兄弟程序MarioSam正在开发的过程中并且接近完成。MarioSam将包含一个高效的索引建立引擎,和一个检索服务器,并且保存可扩展的接口。这样,通过LoalaSam和MarioSam, 用户可以找到一种搭建属于自己的搜索引擎的最简单方式,非常适合初学者使用。
LoalaSam可以根据您电脑的物理内存量和您网络的极限速度调整性能参数,您可以使用这个功能自动配置启动线程数量、连接池大小和网页下载时限这些参数。
LoalaSam是一个多线程的下载程序,每一个工作线程负责遍历一个域名。这意味这如果有N个线程工作,那么就有N个域名正在被遍历。用户可以指定启动的最多线程个数,最大值是10。
LoalaSam使用异步TCP/IP通信机制下载网络资源,所以可以同时下载多个网页链接。这个选项定义了单个线程可以最多同时下载的链接个数,最大值是40个。
从LoalaSam V0.3开始,您可以通过代理服务器来下载网络资源。通常使用代理服务器可以更稳定地下载资源,但也可能比直接下载慢许多,这很大程度上依赖您使用的代理服务器性能。
v0.3.1更新内容:
- Fixed one memory leak.
- Implemented import/export sites feature.
- Implemented url retry times feature.
- Implemented save file extension feature.
- Show detailed saving path in the main panel.
v0.3.0更新内容:
- Fixed url extension issue.
- Changed configuration panel to use tabs.
- Implemented using proxy feature.
- Implemented auto cofigure feature.
- Implemented rules for extend to Internet.
- Fixed auto save on exit issue.