2018年04月6日网站服务器迁移完成……

php之任务队列 并发

php 苏 demo 1651℃ 0评论

1

例如:邮件队列、任务队列、消息队列、Feed队列 ,手机短信,纪录日志,转换视频格式,数据挖掘采集 ,为了增强用户体验可以用队列或异步处理

 

PHP异步执行的常用方式常见的有以下几种,可以根据各自优缺点进行选择:

Java代码  收藏代码
  1. 日志写完 -> 点提交按钮 -> 日志插入到数据库 -> 发送邮件通知 ->告知撰写者发布成功

那么作者在点提交按钮到看到成功提示之间可能会等待很常时间,基本是在等邮件发送的过程,比如连接邮件服务异常、或器缓慢或是订阅者太多。而实际上是不管邮件发送成功与否,保证日志保存成功基本可接受的,所以等待邮件发送的过程是很不经济的,这个过程可异步来执行,并且邮件发送的结果不太关心或以日志形式记录备查。
改进后的流程就是:

Java代码  收藏代码
  1. 日志写完 -> 点提交按钮 -> 日志插入到数据库 —>
  2.     告知撰写者发布成功
  3.     └ 发送邮件通知 -> [记下日志]

1.客户端页面采用AJAX技术请求服务器

优点 :最简单,也最快,就是在返回给客户端的HTML代码中,嵌入AJAX调用,或者,嵌入一个img标签,src指向要执行的耗时脚本。
缺点 :一般来说Ajax都应该在onLoad以后触发,也就是说,用户点开页面后,就关闭,那就不会触发我们的后台脚本了。
而使用img标签的话,这种方式不能称为严格意义上的异步执行。用户浏览器会长时间等待php脚本的执行完成,也就是用户浏览器的状态栏一直显示还在load。
当然,还可以使用其他的类似原理的方法,比如script标签等等。

2.popen()函数
该函数打开一个指向进程的管道,该进程由派生给定的 command 命令执行而产生。打开一个指向进程的管道,该进程由派生给定的 command 命令执行而产生。
所以可以通过调用它,但忽略它的输出。使用代码如下:

Java代码  收藏代码
  1. pclose(popen(“/home/xinchen/backend.php &”‘r’));

优点 :避免了第一个方法的缺点,并且也很快。
缺点: 这种方法不能通过HTTP协议请求另外的一个WebService,只能执行本地的脚本文件。并且只能单向打开,无法穿大量参数给被调用脚本。并且如果,访问量很高的时候,会产生大量的进程。如果使用到了外部资源,还要自己考虑竞争。

3.CURL扩展
CURL是一个强大的HTTP命令行工具,可以模拟POST/GET等HTTP请求,然后得到和提取数据,显示在”标准输出”(stdout)上面

缺点如你问题中描述的一样 ,由于使用CURL需要设置CUROPT_TIMEOUT为1(最小为1,郁闷)。也就是说,客户端至少必须等待1秒钟。

4.fscokopen()函数
fsockopen支持socket编程,可以使用fsockopen实现邮件发送等socket程序等等,使用fcockopen需要自己手动拼接出header部分

所以总结来说,fscokopen()函数应该可以满足您的要求。可以尝试一下。
用户注册成功,而不是直接给用户发送email,而是把新注册的用户的email插入到邮件任务队列中。由服务器给用户发送邮件。发送成功或发送N次失败的将从队列中清除。

——————————-

如果是普通的网站,如平均每秒产生的队列消息不超过上百,则用低成本数据库+轮询程序,完全可行.
具体思路如下:
1. 当产生消息时,使用MySQL的表保存产生的新队列消息,并记录一些运行参数
2. 服务器上开启cron(Linux),或开启自动刷新的浏览器窗口(Windows),比如按半分钟运行一次轮询程序
3. 这些轮询程序每次取出一些队列消息,进行处理,处理成功或是处理失败N次后,删除MySQL队列表中的相关记录

如此反复,即可实现.我觉得这个方式的优点是:
1. 实现最为容易,可行性最好
2. 低成本的开发或是平台部署成本
在我们的生产环境中,这种方式得到了大量实践,表现良好.
当然,如果确实是"高性能",那么这个问题更不问题,既然需要高性能,说明网站的规模不一般,既然规模不一般,还会缺钱吗? 不缺钱,就可以找这方面的专家去解决.

Java代码  收藏代码
  1. <?php
  2. /**  
  3. * 使用共享内存的PHP循环内存队列实现  
  4. * 支持多进程, 支持各种数据类型的存储  
  5. * 注: 完成入队或出队操作,尽快使用unset(), 以释放临界区  
  6. *  
  7. * @author wangbinandi@gmail.com  
  8. * @created 2009-12-23  
  9. */
  10. class SHMQueue
  11. {
  12.     private $maxQSize = 0// 队列最大长度  
  13.     private $front = 0// 队头指针  
  14.     private $rear = 0;  // 队尾指针  
  15.     private $blockSize = 256;  // 块的大小(byte)  
  16.     private $memSize = 25600;  // 最大共享内存(byte)  
  17.     private $shmId = 0;
  18.     private $filePtr = ‘./shmq.ptr’;
  19.     private $semId = 0;
  20.     public function __construct()
  21.     {
  22.         $shmkey = ftok(__FILE__, ‘t’);
  23.         $this->shmId = shmop_open($shmkey, “c”0644, $this->memSize );
  24.         $this->maxQSize = $this->memSize / $this->blockSize;
  25.          // 申請一个信号量  
  26.         $this->semId = sem_get($shmkey, 1);
  27.         sem_acquire($this->semId); // 申请进入临界区          
  28.         $this->init();
  29.     }
  30.     private function init()
  31.     {
  32.         if ( file_exists($this->filePtr) ){
  33.             $contents = file_get_contents($this->filePtr);
  34.             $data = explode( ‘|’, $contents );
  35.             if ( isset($data[0]) && isset($data[1])){
  36.                 $this->front = (int)$data[0];
  37.                 $this->rear  = (int)$data[1];
  38.             }
  39.         }
  40.     }
  41.     public function getLength()
  42.     {
  43.         return (($this->rear – $this->front + $this->memSize) % ($this->memSize) )/$this->blockSize;
  44.     }
  45.     public function enQueue( $value )
  46.     {
  47.         if ( $this->ptrInc($this->rear) == $this->front ){ // 队满  
  48.             return false;
  49.         }
  50.         $data = $this->encode($value);
  51.         shmop_write($this->shmId, $data, $this->rear );
  52.         $this->rear = $this->ptrInc($this->rear);
  53.         return true;
  54.     }
  55.     public function deQueue()
  56.     {
  57.         if ( $this->front == $this->rear ){ // 队空  
  58.             return false;
  59.         }
  60.         $value = shmop_read($this->shmId, $this->front, $this->blockSize-1);
  61.         $this->front = $this->ptrInc($this->front);
  62.         return $this->decode($value);
  63.     }
  64.     private function ptrInc( $ptr )
  65.     {
  66.         return ($ptr + $this->blockSize) % ($this->memSize);
  67.     }
  68.     private function encode( $value )
  69.     {
  70.         $data = serialize($value) . “__eof”;
  71.         if ( strlen($data) > $this->blockSize –1 ){
  72.             throw new Exception(strlen($data).” is overload block size!”);
  73.         }
  74.         return $data;
  75.     }
  76.     private function decode( $value )
  77.     {
  78.         $data = explode(“__eof”, $value);
  79.         return unserialize($data[0]);
  80.     }
  81.     public function __destruct()
  82.     {
  83.         $data = $this->front . ‘|’ . $this->rear;
  84.         file_put_contents($this->filePtr, $data);
  85.         sem_release($this->semId); // 出临界区, 释放信号量  
  86.     }
  87. }
  88. //使用的样例代码如下:
  89. // 进队操作
  90. $shmq = new SHMQueue();
  91. $data = ‘test data’;
  92. $shmq->enQueue($data);
  93. unset($shmq);
  94. // 出队操作  
  95. $shmq = new SHMQueue();
  96. $data = $shmq->deQueue();
  97. unset($shmq);
打赏

转载请注明:苏demo的别样人生 » php之任务队列 并发

   如果本篇文章对您有帮助,欢迎向博主进行赞助,赞助时请写上您的用户名。
支付宝直接捐助帐号oracle_lee@qq.com 感谢支持!
喜欢 (0)or分享 (0)
发表我的评论
取消评论
表情