Archive

Posts Tagged ‘mysql’

MySQL vs NoSQL 效率与成本之争

July 17th, 2010 admin No comments

最近Twitter、DIGG等计划换用基于key-value的NoSQL数据库(e.g:Cassandra),之所以有如此动向是因为基于 MySQL + sharding + cache的构架随着数据量爆炸式增长,重构的人力成本太高,换用扩展性更好的NoSQL数据库,以达到控制人力成本的目的,从而减少总体成本。

  随着数据量和访问量的增长,网站构架大致有这么几个发展阶段(以PHP+MySQL+Memcached为例):

1: PHP + MySQL
2: PHP + MySQL (Master + Slaves)
3: PHP + MySQL (Master + Slaves) + Memcached (Middleware)
4: PHP + MySQL (Sharding + Master + Slaves) + Memcached (Middleware)
5: PHP + MySQL (Sharding + Master + Slaves) + Memcached (Middleware) + NoSQL

  从上面的发展历程可以看出,随着复杂度的增加,开发难度和复杂性也随之提升,数据量增加之后每次重构需要的人力成本急剧增加,因此为了控制成 本,增长重构的周期,将一些数据量庞大,增长快速的业务迁移至NoSQL上存储。
因此大家不必要言必NoSQL,NoSQL也不会取代MySQL,不同的业务有它最适合的低成本存储方式,最终选择什么数据库是由系统成本决定的。

  • Share/Bookmark

Amoeba 跟 mysql proxy的区别

December 28th, 2009 No comments

Amoeba 跟 mysql proxy有区别。
主要是针对数据切分方面。
mysql proxy 上面如果想要读写分离并且 读集群、写集群 机器比较多情况下,用mysql proxy 需要相当大的工作量,目前mysql proxy没有现成的 lua脚本。mysql proxy根本没有配置文件,lua脚本就是它的全部,当然可以是相当方便的。那么同样这种东西需要编写大量的lua脚本才能完成一个复杂的配置。amoeba目标是走产品化这条路。只需要进行相关的配置就可以满足需求。

一、Mysql Master/Slave 结构之下的读写分离
Master: server1 (可读写)
slaves:server2、server3、server4(3个平等的数据库。只读/负载均衡)

amoeba提供读写分离pool相关配置。并且提供负载均衡配置。
可配置server2、server3、server4形成一个虚拟的 virtualSlave,该配置提供负载均衡、failOver、故障恢复功能

Xml代码 复制代码
  1.   
  2. <dbServer name=“virtualSlave” virtual=“true”>  
  3.     <poolConfig>  
  4.         <className>com.meidusa.amoeba.server.MultipleServerPool</className>  
  5.         <!– 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED –>  
  6.         <property name=“loadbalance”>1</property>  
  7.                    
  8.         <!– 参与该pool负载均衡的poolName列表以逗号分割 –>  
  9.         <property name=“poolNames”>server2,server3,server4</property>  
  10.     </poolConfig>  
  11. </dbServer>  

如果不启用数据切分,那么只需要配置QueryRouter属性
wirtePool=server1
readPool=virtualSlave

Xml代码 复制代码
  1. <queryRouter>  
  2.     <className>com.meidusa.amoeba.mysql.parser.MysqlQueryRouter</className>  
  3.     <property name=“LRUMapSize”>1500</property>  
  4.     <property name=“defaultPool”>server1</property>  
  5.   
  6.     <property name=“writePool”>server1</property>  
  7.     <property name=“readPool”>virtualSlave</property>  
  8.   
  9.     <property name=“needParse”>true</property>  
  10. </queryRouter>  

那么遇到update/insert/delete将 query语句发送到 wirtePool,将 select发送到 readPool机器中执行。

二、数据切分
这方面amoeba显然更加容易了。

举个数据切分例子:

select * from user_event where user_id=’test’ and  gmt_create between Sysdate() -1 and Sysdate()

如果根据gmt_create 时间进行数据切分,比如 6个月进行切分一次

amoeba提供利用类似sql表达式进行数据切分:

规则1:GMT_CREATE > to_date(’2008-01-01′,’yyyy-mm-dd’) and GMT_CREATE < to_date(’2008-05-31′,’yyyy-mm-dd’)

规则1对应服务器1

规则2:GMT_CREATE > to_date(’2008-06-01′,’yyyy-mm-dd’) and GMT_CREATE < to_date(’2008-12-31′,’yyyy-mm-dd’)

规则2对应服务器2

上面的sql的条件 gmt_create 与规则里面的的gmt_create 进行 交集判断,如果存在交集则表示符合规则。

则会将sql转移到 规则1 的相应的服务器上面执行。

利用amoeba写出这种类似规则很容易,但是要想做到数据切分以后可线性扩容,那么这样的规则需要自己根据业务实际情况进行设置。

amoeba可同时将sql 并发分发到多台服务器、然后将结果合并再反馈给客户端,而且amoeba内部现成采用无阻塞模式,工作线程是不会等待的,并发请求多台 database server情况下,客户端等待的时间基本上面是性能最差的那台 database server+amoeba内部解析协议的时间

  • Share/Bookmark
Categories: 未分类 Tags: , ,

php连接mysql查询

September 4th, 2008 No comments

<?php
$con = mysql_connect(“localhost”,”peter”,”abc123″);
if (!$con)
  {
  die(‘Could not connect: ‘ . mysql_error());
  }

mysql_select_db(“my_db”, $con);

$result = mysql_query(“SELECT * FROM person”);

while($row = mysql_fetch_array($result))
  {
  echo $row['FirstName'] . ” ” . $row['LastName'];
  echo “<br />”;
  }

或者

 

<?php
mysql_connect
($host,$user,$password);
$result mysql_db_query(“database”,“select * from table”);
while(
$row mysql_fetch_array($result)) {
  echo 
$row["user_id"];
  echo 
$row["fullname"];
}
mysql_free_result($result);
?>

  • Share/Bookmark

mysql查询数据库中所有表名

September 1st, 2008 No comments

查询数据库中所有表名

select * from information_schema.tables 

查询指定数据库中指定表的所有字段名

select column_name from information_schema.columns  where table_schema=’YOURDATABASENAME’ and table_name=’YOURTABLENAME’

  • Share/Bookmark
Categories: mysql Tags: , , ,

MySQL 当记录不存在时插入(insert if not exists)

August 28th, 2008 No comments

 

示例一:插入多条记录

假设有一个主键为 client_id 的 clients 表,可以使用下面的语句:

INSERT INTO clients
(client_id, client_name, client_type)
SELECT supplier_id, supplier_name, advertising
FROM suppliers
WHERE not exists (select * from clients
where clients.client_id = suppliers.supplier_id);

示例一:插入单条记录

INSERT INTO clients
(client_id, client_name, client_type)
SELECT 10345, IBM, advertising
FROM dual
WHERE not exists (select * from clients
where clients.client_id = 10345);
来源: techonthenet.com
  • Share/Bookmark
Categories: mysql Tags: , ,

关于 mysql error number 1051和 1418 错误的处理

August 22nd, 2008 No comments

mysql error number 1051 在网上(包括外国网) 说了一大堆,但就是没有人知道其中的缘由,这是store engine 不同造成的
例如,最开始的engine=myisam,在此基础上建了A表,那么你现在要转成innodb的方式(开启了my.cnf下的innodb的参数)现在如果再来 select A 表那么是会报不存在的,如果drop 的话会报 mysql error number 1051.这个问题该怎么处理呢? 哈哈,先关掉my.cnf的innodb参数,然后重启mysql,这样A就可以select 了,把A表的backup 下来,drop 掉A表,然后再开启innodb参数,重起mysql,restore 刚才备份的脚本,
这样就可以搞定了.

如果在create function的时候有 1418的错语的时候:那么
set global log_bin_trust_routine_creators=1;
然后怎么create function 都不会有问题(当然,你的function必段正确哦),妈的,这是mysql的一个bug,搞不懂为什么,反正这样做就OK了.

在oracle中根本就没有这种错语,如果出现了这种错语,是由于用户权限不够,OpenSource的东西就是这样的.还是oracle的好.

2006-04-26于北京朝阳 18:15

转载来源:http://blog.chinaunix.net/u/15117/showart_104301.html

  • Share/Bookmark
Categories: mysql Tags: , , , ,