`
hupy
  • 浏览: 186538 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论
文章列表
  在大型的应用中,我们经常碰到MySQL的表数据需要无限扩充的情形。我们通常有以下一些解决方案,但是现成的方案都不是完美的。 比如,MySQL master/slave: 只适合大量读的情形,未必适合海量数据。MySQL cluster: 提供的可能不 ...
 终于看了一直景仰的High Performance MySQL Second Edition一书,看了一些章节并把其中一些观点记录了下来,本文是整理 chapter 5. Advance MySQL features 部分观点所得。1. 何时cachea) mysql query cache内容为 select 的结果集, cache 使用完整的 sql 字 ...
搜索引擎老是搜到javaeye上的页面,搜索关键字高亮显示觉得特别有帮助。用google analytics后发现大概80%的流量都是来自搜索引擎。所以觉得也有这个必要实现这个功能。 google到一篇代码,试了试发觉没有作用,可能是浏览器也可以是copy代码没有完整,反正到最后没有成功。不过我看了下代码觉得也挺容易的。关键是document.referrer这个属性。它会记录redirect过来的地址信息。比如搜索引擎就是把搜索的关键字等信息都带过来。 得到搜索关键字只要parse那个连接地址就行了,比较简单。得到关键字后高亮这些内容就行了。也看了之前那本代码,大致看懂了原理,由于这里 ...
本结果是基于20000次以上的搜索分析百度而的来的,如有不当请指正,希望我们能够一起来揭开百度分词的面纱。在大家的心目中可能百度的分词是极其复杂的,他代表了中国分词领域的最高水平,其实不然,简单最好,裸体最 ...
安装环境操作系统: CentOS release 5.2 (Final)Kernel: 2.6.18-92.el5PAE软件列表fam-latest.tar.gzgamin-0.1.10.tar.gzpcre-7.9.tar.gzlighttpd-1.4.23.modcache.v.1.8.0.tar.gz软件存放位置/data/software安装过程#cd /data/software/pkg安装依赖插件pcre, fam, gamin关于FAM http://oss.sgi.com/projects/fam/faq.html关于gamin http://www.gnome.org/~vei ...
centos5.0读写ntfs分区 a.安装fuse开发包,从http://fuse.sourceforge.net下载最新的,然后安装。 到其文件目录运行./configure ,然后make,再make install,完成安装。 这个包如果不安装,那么mount windows分区时会报错。b.安装ntfs-3g驱动 从http://www.ntfs-3g.org下载相应的包,我的是centos5.0,所以下载的是redhat的,安装的时候会报错,但是强制安装完成。 c.挂载ntfs分区 用fdisk -l查看分区情况,到/mnt下面建一个叫music的目录,在命令行中打mount -t ...
配置文件如下 http_port 59.175.238.60:80 defaultsite=219.140.171.194 vhost vport=80 cache_mem 2048 MBcache_swap_low 90cache_swap_high 95 maximum_object_size 20 MBmaximum_object_size_in_memory 8 MB cache_dir ufs /squid_cache 100000 128 512 cache_peer 219.140.171.194 parent 80 0 no-query originservercache_ ...
本文主要是以安装和使用hadoop-0.12.0为例,指出在部署Hadoop的时候容易遇到的问题以及如何解决。 硬件环境共有3台机器,均使用的FC5系统,Java使用的是jdk1.6.0。IP配置如下:dbrg-1:202.197.18.72dbrg-2:202.197.18.73dbrg-3:202.197.18.74 这 ...
很高兴得看到Yahoo捐献的Zookeeper已经从sourceforge迁移到Apache,并成为Hadoop的子项目.那么ZooKeeper是什么呢?Zookeeper是Google的Chubby一个开源的实现.是高有效和可靠的协同工作系统.Zookeeper能够用来leader选举,配置信息维护等.在一个分布式 ...
HDFS的设计思想: 构建一个非常庞大的分布式文件系统。在集群中节点失效是正常的,节点的数量在Hadoop中不是固定的.单一的文件命名空间,保证数据的一致性,写入一次多次读取.典型的64MB的数据块大小,每一个数据块在多个D ...
在上一篇里,演示了使用xtrabackup对InnoDB进行在线物理热备,使用innobackupex脚本,可以很简单的一条命令行搞定InnoDB和MyISAM的物理备份。 本文则演示如何从xtrabackup的备份中进行恢复。本次恢复的是一个600GB大小的InnoDB数据库,备份的时候没有使用gzip压缩。 首先将备份好的tar文件解开到目标数据库的数据路径下,这一步类似oracle的restore database: tar xvf mysqlbak.tar /opt/mysqldata 注意解出来的文件和目录的属主以及权限是否正确。如果是将备份恢复到一台全新的环境,则需要 ...
MySQL数据库的备份,一直是个比较头痛的问题。各种工具虽然不少,但一个真正好用易用的,却又非常难找。Mysqldump做为数据的逻辑备份工具还行,但是无法进行在线热备,而没有物理备份工具,在数据量比较大的时候,恢复的时间也会长得无法接受。InnoDB倒是有个商业的InnoDB Hotbackup,可以对InnoDB引擎的表实现在线热备。最近发现了一个工具,percona出品的Xtrabackup,是InnoDB Hotbackup的一个开源替代品,可以在线对InnoDB/XtraDB引擎的表进行物理备份,试用了一下,非常的不错,值得向MySQL DBA们推荐。 下面是一个实际备份的例子, ...
MySQL cluster是share nothing的集群,采用ndb存储引擎,和Oracle的RAC采用集中存储不同,是一种分布式的架构,所以可以很轻松的实现在同一台主机上配置MySQL Cluster,相对RAC来说要简单得多。 在MySQL Cluster中,有三种不同的节点: 管理节点:守护进程为ndb_mgmd,用于管理cluster。 数据节点: 守护进程为ndbd,用于存放数据 SQL节点:守护进程为mysqld,就是一个MySQL实例,对外供客户端连接访问数据。 本文将在一台64位linux主机上同时配置上述三种节点。在实际生产环境中,根据需要,可以在相同或者 ...
作者:马士华 发表于:2008-03-06 20:11 最后更新于:2008-03-07 12:44版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息。http://www.hadoop.org.cn/mapreduce/nutch-mapreduce/   Nutch是最早用MapReduce的项目(Hadoop其实原来是Nutch的一部分),Nutch的plugin机制吸取了eclipse的plugin设计思路。在Nutch中 MapReduce编程方式占据了其核心的结构大部分。从插入url列表(Inject),生成抓取列表(Generate),抓取内容(Fe ...
       对于前面的sql语句已经写好,看看里面有几个?,就表示有几个数据集参数了,这个一般都是调用报表参数,而不是直接使用数据集参数向报表中传递参数。         这个地方对于新手不容易理解的就是报表参数和数据集参数这两个概念,传递给报表的参数就是报表参数,比如对于web调用中,从客户端传过来的url参数中就包含报表参数;而数据集参数是指传递给sql语句的查询,这个一般不直接从客户端传递过来,当然也可以,一般是从客户端向报表中传递报表参数,然后通过转换后成为数据集参数传递到sql语句中。        一般这个都是有默认参数的,把默认参数设置好,这时候从“编辑数据集”对话框中, ...
Global site tag (gtag.js) - Google Analytics