最近评论

Soukey采摘网站数据采集软件 一款采集类的开源软件

Soukey采摘网站数据采集软件是一款基于.Net平台的开源软件,也是网站数据采集软件类型中唯一一款开源软件。尽管Soukey采摘开源,但并不会影响软件功能的提供,甚至要比一些商用软件的功能还要丰富。Soukey采摘当前提供的主要功能如下:
<!–[if !supportLists]–>1.    <!–[endif]–>多任务多线程数据采集,支持POST方式;
<!–[if !supportLists]–>2.    <!–[endif]–>可采集Ajax页面;
<!–[if !supportLists]–>3.    <!–[endif]–>支持Cookie,支持手工登录采集数据;
<!–[if !supportLists]–>4.    <!–[endif]–>支持采集事务;
<!–[if !supportLists]–>5.    <!–[endif]–>支持数据自动及手工导出,导出格式为:文本、Excel、Access、MSSql、Mysql等;
<!–[if !supportLists]–>6.    <!–[endif]–>支持在线发布数据;
<!–[if !supportLists]–>7.    <!–[endif]–>支持导航网址的采集,导航深度不限;
<!–[if !supportLists]–>8.    <!–[endif]–>支持自动翻页;
<!–[if !supportLists]–>9.    <!–[endif]–>支持文件下载,可以采集图片、Flash及其他文件;
<!–[if !supportLists]–>10. <!–[endif]–>支持采集结果数据的加工,包括替换、附前缀后缀、截取等操作,支持正则;
<!–[if !supportLists]–>11. <!–[endif]–>采集网址定义不仅支持基本参数定义,也可外接字典数据作为网址参数,进行数据采集;
<!–[if !supportLists]–>12. <!–[endif]–>支持一个任务多实例运行;
<!–[if !supportLists]–>13. <!–[endif]–>提供计划任务,计划任务支持Soukey采集任务、外部可执行文件任务、数据库存储过程任务;
<!–[if !supportLists]–>14. <!–[endif]–>计划任务执行周期支持每天、每周及自定义运行间隔;最小单位为:半小时;
<!–[if !supportLists]–>15. <!–[endif]–>支持任务触发器,即可在采集任务完成后,自动触发执行其他任务(包括可执行文件或存储过程)。
<!–[if !supportLists]–>16. <!–[endif]–>完善的日志功能:系统日志、任务执行日志、出错日志等等;
<!–[if !supportLists]–>17. <!–[endif]–>系统提供MINI浏览器可用于捕获Cookie或POST数据;
Soukey采摘并不限制您是否商用此软件,源码完全开放,许可协议可参见:http://www.yijie.net/themes/StableStart-Black/page/soukey-licence.aspx

技术强人

Ajax Performance
Andy’s Blog
BT斥候
Chifeng’s Blog
CoolCode.cn
csask站长日志
DBA notes
FleaPHP开发者的BLOG
High Performance Web Sites
High Scalability
http://www.2tutu.com/
koyoz’s blog
leftleg BLOG
LibFetion
longrujun
megaburst
PHP Performance Series: Caching Techniques
PHP5研究室
PHP开发
QuanPC
SEM工作室
WebOptimization
WordPress主题站
互联网,请记住我
体验设计
俊麟 BLOG
冰的河
回忆未来-张宴BLOG
太阳里的雪
小路的奇异世界
应公子的专栏
开源中国社区
异次元の世界
扶凯
服务器系统架构分析日志
某人的栖息地
沧海一粟
淘宝DBA团队
淘宝UED团队
百里挑一
神仙的仙居
臭鱼的交互设计
艾网部落
西林@生存
黑夜路人

cp -r -f 强制覆盖拷贝时仍需一一确认解决方法

问题现象:
使用cp -r -f 强制覆盖拷贝命令时,每一个文件都需要认为的键入“Y”进行确认,甚是烦扰,难道要我点击一万下不成?
问题原因:
不知道哪位可爱的同事为了防止“特别”选手不正当的使用cp命令,设置了cp的同名
alias cp=’cp -i’
所以在每次执行cp命令是都会按照这个设置进行一一人为的确认(-i参数的含义)。
问题处理:
1.临时处理方法:取消同名cp的定义,命令如下
unalias cp
2.永久处理方法:
找到设置该同名的的地方,去掉相应的设置。如果您说找不到那位可爱同事设置的地方,也不要紧,可以在 ~/.bash_profile文件的最后一行添加如下内容
unalias cp
然后使用下面的命令使其生效
$ . ~/.bash_profile
OK,搞定了,如果您有幸也遇到了这个小问题,记得把这个原因考虑进入哦~~
好运everybody

APMServ 支持asp+access的虚拟主机配置

假如你的域名是www.hebaodans.com
打开Apache\conf\httpd.conf,
在#APMServ默认虚拟主机
NameVirtualHost *:80
后添加以下内容:
<VirtualHost *:80>
ServerName www.hebaodans.com
ProxyPass   /   http://127.0.0.1:10322/
ProxyPassReverse   /   http://127.0.0.1:10322/
</VirtualHost>
 
 
如原配置
#APMServ默认虚拟主机
NameVirtualHost *:80
<VirtualHost *:80>
 ServerName *
 DocumentRoot “E:/APMServ5.2.6/www/htdocs”
<Directory “E:/APMServ5.2.6/www/htdocs”>
 Options FollowSymLinks IncludesNOEXEC Indexes
 DirectoryIndex index.html index.htm default.htm index.php default.php index.cgi default.cgi index.pl default.pl index.shtml
 AllowOverride None
 Order Deny,Allow
 Allow from all
</Directory>
</VirtualHost>
#phpMyAdmin配置信息
 
改后配置如下,其中红色为新增部分
#APMServ默认虚拟主机
NameVirtualHost *:80
<VirtualHost *:80>
ServerName www.hebaodans.com
ProxyPass   / http://127.0.0.1:10322/
ProxyPassReverse   /   http://127.0.0.1:10322/
</VirtualHost>
<VirtualHost *:80>
 ServerName *
 DocumentRoot “E:/APMServ5.2.6/www/htdocs”
<Directory “E:/APMServ5.2.6/www/htdocs”>
 Options FollowSymLinks IncludesNOEXEC Indexes
 DirectoryIndex index.html index.htm default.htm index.php default.php index.cgi default.cgi index.pl default.pl index.shtml
 AllowOverride None
 Order [...]

Infoworld发布2009年度开源软件大奖

Infoworld发布了2009年度开源软件大奖,分别评选出:最佳开源开发者工具 | 最佳开源企业软件 | 最佳开源网络…

从遨游到firefox(弥补firefox功能的几个简单的插件

现在浏览器多种多样,选择真是件很头痛的事情。IE就不用说了,有点搓,本来用ie6还可以忍耐忍耐,升到IE7之后就实在忍受不了其界面和反应速 度了。caoq最常用的浏览器是遨游,经常的假死确实让人很崩溃,很频繁。后来升级到新版本,据说各个页面都是独立的,一个出问题不会影响到其他页面。可 是用起来并不像说的那么好,某个页面被锁定的概率也太大了。很多时候哪怕是只打开两个页面,有一个甚至两个都被锁定。于是卸了。
caoq也试过搜狗的浏览器,界面很好看,操作也很人性化。问题是升级版本少,经常出错。虽然搜狗官方大力宣传防假死功能,结果也有个跟遨游一样的病,经常锁定页面。
继 续换。这次换了firefox。之前曾经三换三卸。主要问题是用惯了遨游,不太习惯firefox的功能。这次下了决心告别遨游,才耐下心来好好扩展一下 功能。很简单,选择了几个插件,在操作习惯上终于符合了遨游。并且在扩展的过程中caoq发现firefox原来真是相当的强大,看来以前错怪它了。
caoq装了下列的一些插件,可以弥补的firefox的一些不足。这是只是常用的功能,如果想要扩展更多,可以访问这里查找
1.第一要解决的就是拖拽打开问题了。可以安装这个扩展。Easy DragToGo 1.1.2.3。功能很多,可以自定义设置。
2.双击打开和关闭标签功能。(没这个感觉真的很不爽) Tab Clicking Options 0.6.9 同上面的插件一样,可以设置定义多种方式。
3.适应IE核心,因为有些网站的功能不支持firefox,幸好有这个插件。Coral IE Tab 0.9.20090228 可以随时切换任意标签页用IE核心浏览器打开。解决了这个问题
4.外部下载工具。firefox默认是不能用外部工具下载。装了这个之后flashgot,快车,迅雷都可以用。其实这个问题也可以用3中扩展解决。只要把要下载的网页转换用ie核心打开就可以正常下载了。
caoq装上面的四个插件之后功能基本满足我的需求了。当然还有很多有用的插件可以选择安装。比如searchstatus,查看打开网站的PR和排名。这个确实比遨游的好用多了。比如gladder,可以用来爬GFW等等

Web设计与开发者必须知道的15个站点

COMSHARP CMS 写道 “公司博客整整一个月没有更新了,最近一段时间,全公司都忙于两件事,为海尔集团做定制,为一个合作伙伴做 OEM,终于有了眉目。工作期间,常用到一些工具与帮助站点,今天读到一篇文章,介绍了15个对 Web 设计与开发师极端有用的站点,里面有不少也是我们一直在使用的,也许对很多人都有用,翻译出来以饷同仁。(完整图文版)
ColorCombos
配色是 Web 设计的首要大事,Color Combos 帮你预备了数千种配色方案,可以根据色调浏览选取。
LIpsum
Lorem Ipsum Text 是一中自造的,字典中不存在的单词,是在演示页面结构的时候,需要加文字的地方使用 Lorem Ipsum Text 填充可以避免用户因关注文字的意思而分神。Lipsum.com 可以帮你生成制定数目的 Lorem Ipsum 单词。
What the font?
有时候你对某个 Logo 感兴趣,想知道是拿什么字体做的,可以将 Logo 图片上传到这个网站,结果之准确会让你难以置信。
ConvertIcon
Favicon 越来越受欢迎,尤其随着 Firefox 的流行,Firefox 会将你站点的 Favicon 标志显示在标签上,也会显示于书签,Favicon 支持多种图形格式,比如 png,但 IE 并不支持 png,该站点可以帮助你将 png 等图片格式的 Favicon 转换成 IE 支持的 ico 格式。
BgPatterns
现代 Web 设计的趋势之一包括使用背景图案,BgPatterns.com 可以帮你设计背景图案,他们有大量可选的图案,可以按不同方式接合,还可以设置透明度。
HTML Encoder
如果你要在网站中显示 Web 代码,那将是非常烦人的事,你必须将诸如 HTML Decoder [...]

如何写出更好的部落格(博客)blog

最近又有一波部落格潮流, 跟随着PC Mag, Time, 和 The Morning News上的机篇文章而来. 在我写下一列出在部落格上应该禁止的事情的列表之后, 我才发现一个列出应该做的事情的列表会更有用. 一些人对部落格很陌生. 其他人希望抬高地位. 最终, 每个人都希望拥有更好的站点, 那么这些建议的其中一些可能会有帮助.
这些建议多着重于写作, 亦即是部落格的中心. 它们都非常浅显明了, 但又时常被忽略, 这对读者和作家都不利. 它们的目的在于提高部落格的整体观感, 不过私人性的只是写给朋友家人的那些人也可能会从中受益. 我们从下面的例子开始.
专业 vs. 业余
专业作家这样写
春天的纽约令人赞叹.
业余作家这样写:
我知道这些直到最近开始已经完全是陈词滥调, 特别是在9/11之后, 但是我住在纽约, 因为Giuliani的关系, 现在城市变得更干净和安全了, 在他漂亮的收拾了这么多麻烦之后, 真的应该让他去当总统, 而且我不太喜欢以前的市长在处理纽约警局关于非裔美国人的手法, 还有他对融合总价象征和艺术的反对(喂!?言论自由在哪!?), 不过当这些都说到做到后, 纽约, 也许是”大熔炉,” 等等, 的最佳典范, 仍是个美好的城市, 特别是大约在三月或者四月, 天气暖和起来, 人们更长到户外之后.
业余写手读了专业作品后, 感到无法接受这不充分的说明. 专业人士读了业余作品, 在读到”陈词滥调”几个字的时候就放弃了, 然后想说这家伙一定是游戏玩呆了; 这家伙简直毫无希望; 这个新潮流也会是最后一个.
并不是这样. 业余写手只是按他们一向的方法去写. 自我意识, 自我怀疑, 粗略, 多话, 是新手作家不灭特征. 今日的新手们, 之所以看起来如此深刻的没深度, [...]

PCI、PCI-X、PCI-E区别

一、PCI总线
PCI总线标准是由PCISIG于1992年开发的,已经有超过8年的历史。 PCI的总带宽=33MHz×32BIT/8=133MB/S。
二、PCI-X总线
PCI-X是在增加了电源管理功能和热插拔技术的PCI V2.2版本的基础上,将PCI的总带宽由133MB/S增至1.066GB/s。同时它还采用了分离实务即多任务的设计,允许一个正在向某个目标设备请 求数据的设备,在目标设备未准备好之前处理其他任何事情;而在目前的PCI体系中,设备在完成一次请求之前不能理会任何事情,此时的总线时钟周期都被白白 浪费掉了。同时PCI-X还允许把没有准备好发送数据的设备从总线上移走,这样总线带宽可以被其他事务使用,使总线的利用率大幅上升。所以,在相同的频率 下,PCI-X将能提供比PCI高14%~35%的性能。 PCI-X还采用了与IA-64相同的128Bit标准尺寸数据块设计,使通过总线的数据块大小相同,这样就提供了更多的流水线机制,改善了处理器的管 理。
PCI-X目前分为66MHz、100MHz和133MHz三个版本。工作于66MHz的PCI-X控制器将能访问最多4个PCI-X设备,当然, 如果增加PCI-X至PCI-X的桥接芯片,那么可以支持更多的设备。66MHz PCI-X拥有533MB/s的带宽。 PCI-X总线是共用的,有66,100和133三种.
100MHz PCI-X的设备均工作于100MHz下,此时PCI-X总线只能管理最多两个PCI-X设备,在64bit总线和100MHz频率下,拥有800MB/s的带宽。
最豪华的133MHz PCI-X 工作于133MHz,将能提供惊人的1066MB/s带宽。
三、PCI-E总线
PCI Express是新一代能够提供大量带宽和丰富功能的新式图形架构。PCI Express可以大幅提高中央处理器(CPU)和图形处理器(GPU)之间的带宽。对最终用户而言,他们可以感受影院级图象效果,并获得无缝多媒体体验。
pci-x不是独立的,按照PCI总线的发展是:pci-pcix-pcie,他们都是为了提高PCI的传输速度的。pci是32位33mhz, pcix是64位提供最高133mhz的频率,pcie是可以在现有频率上通过串行模式多通道合用提供更高的速度,以后的所有的接口都将是PCIE的方 式,不光是显卡。
PCI –E总线是一种完全不同于过去PCI总线的一种全新总线规范,与PCI总线共享并行架构相比,PCI Express总线是一种点对点串行连接的设备连接方式,点对点意味着每一个PCI Express设备都拥有自己独立的数据连接,各个设备之间并发的数据传输互不影响,而对于过去PCI那种共享总线方式,PCI总线上只能有一个设备进行 通信,一旦PCI总线上挂接的设备增多,每个设备的实际传输速率就会下降,性能得不到保证。现在,PCI Express以点对点的方式处理通信,每个设备在要求传输数据的时候各自建立自己的传输通道,对于其他设备这个通道是封闭的,这样的操作保证了通道的专 有性,避免其他设备的干扰。
PCI-X是PCI总线的扩展架构,PCI-X频率不像PCI那样固定,而是可以随着设备的变化而变化的。PCI-X采用64位PCI总线,可以支 66,100,133MHz这些频率。而在未来,可能将提供更多的频率支持。PCI-X标准的提出主要面向服务器I/O结构。PCI-X的设计目标在于提 高CPU与外设之间的传输速度,能使服务器的I/O速度提高两倍。与原来的PCI标准开发商不同的是,PCI的续集是由IBM等整机电脑厂商联合开发的。
PCI-X这样的口在一般的PC主板上看不到,多数都在服务器主板上.这种槽好像是PCI的加强型,槽口很长.它同时支持PCI-X和PCI两种插卡.
PCI-Express(简称PCI-E)是最新的总线和接口标准,它原来的名称“3GIO”,是由英特尔提出的。英特尔的意思是它代表着下一代 I/O 接口标准。交由PCI-SIG(PCI特殊兴趣组织)认证发布后才改名为“PCI-Express”。这个新标准将全面取代现行的PCI和AGP,最终实 现总线标准的统一。它的主要优势就是数据传输速率高,目前最高可达到10GB/s以上。
PCI Express 带宽 (双向传输模式):
1 lane – x1:500MB/s
4 lane – x4:2GB/s (2000MB/s)
8 lane – x8:4GB/s (4000MB/s)
16 lane – x16:8GB/s (8000MB/s)
其中,X16最常见到,它目前基本上取代了AGP槽成为了显卡的接口标准.能够提供5GB/s的带宽,而AGE 8X带宽为2.1GB/s.
X2模式将用于内部接口而非插槽模式。PCI-E规格从1条通道连接到32条通道连接,有非常强的伸缩性,以满足不同系统设备对数据传输带宽不同的需求。此外,较短的PCI-E卡可以插入较长的PCI-E插槽中使用,PCI-E接口还能够支持热拔插.
PCI-X是由IBM,HP,Compaq提出来的,它是并行接口,是PCI的修正,也就是兼容PCI。
PCI-E也叫PCI-Express、PCIe,是由Intel提出来的,它是串行接口,不兼容PCI。
现在的趋势是PCI-E将替代PCI和PCI-X以及AGP,就像当年PCI替代ISA一样。
对于和存储器带宽关系很大的总线带宽也同样可以利用这个方法来计算,例如PCI和AGP等总线。比如,PCI带宽=33MHz×32BIT/8= 133MB/S,AGP 1X总线的带宽为66MHz×64BIT/8=528MB/S,AGP 4X带宽=528MHz×4=2.1GB/秒。

windows ftp 脚本 批处理

1. 新建一个文本文件ftp.txt,内容如下:
open ftp服务器域名或ip地址
用户名
密码
cd /upload
lcd d:/test
bin
hash
mget/put/get filename.cab
bye
2. 新建一个ftp.bat,内容如下
c:\windows\system32\ftp.exe [...]