2023.6.7 SDGun社区后台卡顿情况说明

搞事呢是吧？ · 发表于 2023-6-8 15:01:00

充值通道打不开了啊！！！

来自安卓APP客户端

tragedy · 发表于 2023-6-8 15:12:51

建议高峰期直接禁止搜索功能

来自安卓APP客户端

强尼布雷泽 · 发表于 2023-6-8 15:14:47

优化一下sql哇

来自苹果APP客户端

太灰狼 · 发表于 2023-6-8 15:37:44

2019号人造人发表于 2023-06-08 12:09
然而论坛每天晚上10点左右必卡，这和sd助手怕是关系不大吧，人家一直都在获取数据。。。

没说这和助手有关，我本人也在用助手

，用爬虫爬数据很正常，只是探讨这是否属于爬虫

来自安卓APP客户端

Ward · 发表于 2023-6-8 15:44:40

太灰狼发表于 2023-06-08 15:37
没说这和助手有关，我本人也在用助手，用爬虫爬数据很正常，只是探讨这是否属于爬虫

就是小程序爬虫导致，现在被发现之后，他调低了爬取频率。现在明显能感觉到访问快了点，也不会出现网络有问题打不开崩溃什么的糟心事。

来自苹果APP客户端

太灰狼 · 发表于 2023-6-8 15:47:52

Ward 发表于 2023-06-08 15:44
就是小程序爬虫导致，现在被发现之后，他调低了爬取频率。现在明显能感觉到访问快了点，也不会出现网络有问题打不开崩溃什么的糟心事。

不会吧，现在用爬虫爬数据，挺多的，省事省力

，正常爬取不会造成这种情况啊

来自安卓APP客户端

太灰狼 · 发表于 2023-6-8 15:48:32

Ward 发表于 2023-06-08 15:44
就是小程序爬虫导致，现在被发现之后，他调低了爬取频率。现在明显能感觉到访问快了点，也不会出现网络有问题打不开崩溃什么的糟心事。

崩溃倒是没遇到过，他倒是会时不时的提示我，说我网络有问题，但一般过会儿它自动就恢复了，或者关掉重进就好了。

来自安卓APP客户端

Ward · 发表于 2023-6-8 15:50:21

太灰狼发表于 2023-06-08 15:47
不会吧，现在用爬虫爬数据，挺多的，省事省力，正常爬取不会造成这种情况啊

你去看那个老哥的分析，我也是学计算机的，他说的很有道理，因为爬虫请求一次，服务器响应一次，何况频繁访问，服务器每次响应都会造成大量的io计算磁盘运算。才导致我们访问卡顿，管理员公告也说了，出现了磁盘加载慢响应中断，并且也相当于点名了有人在开发第三方应用，投放爬虫导致。那么是谁就不言而喻了

来自苹果APP客户端

Ward · 发表于 2023-6-8 15:51:06

太灰狼发表于 2023-06-08 15:48
崩溃倒是没遇到过，他倒是会时不时的提示我，说我网络有问题，但一般过会儿它自动就恢复了，或者关掉重进就好了。

网络有问题就是崩溃、服务器崩溃了。

来自苹果APP客户端

magicmark · 发表于 2023-6-8 15:59:36

Ward 发表于 2023-06-08 15:50
你去看那个老哥的分析，我也是学计算机的，他说的很有道理，因为爬虫请求一次，服务器响应一次，何况频繁访问，服务器每次响应都会造成大量的io计算磁盘运算。才导致我们访问卡顿，管理员公告也说了，出现了磁盘加载慢响应中断，并且也相当于点名了有人在开发第三方应用，投放爬虫导致。那么是谁就不言而喻了

确实

来自苹果APP客户端

太灰狼 · 发表于 2023-6-8 16:05:20

Ward 发表于 2023-06-08 15:50
你去看那个老哥的分析，我也是学计算机的，他说的很有道理，因为爬虫请求一次，服务器响应一次，何况频繁访问，服务器每次响应都会造成大量的io计算磁盘运算。才导致我们访问卡顿，管理员公告也说了，出现了磁盘加载慢响应中断，并且也相当于点名了有人在开发第三方应用，投放爬虫导致。那么是谁就不言而喻了

这也是要看访问请求频率的吧，除非异常大量访问请求，一般能扛住，爬虫本身不是问题，那得看设置

来自安卓APP客户端

magicmark · 发表于 2023-6-8 16:08:29

太灰狼发表于 2023-06-08 16:05
这也是要看访问请求频率的吧，除非异常大量访问请求，一般能扛住，爬虫本身不是问题，那得看设置

官方不给爬，还要爬，只能说一意孤行。请求频率还大，现在被说了调整小了，下午都没有网络异常，网络崩溃，网络访问不了。

来自苹果APP客户端

秃头蓝胖子 · 发表于 2023-6-8 16:16:16

土豆

来自安卓APP客户端

太灰狼 · 发表于 2023-6-8 16:29:56

magicmark 发表于 2023-06-08 16:08
官方不给爬，还要爬，只能说一意孤行。请求频率还大，现在被说了调整小了，下午都没有网络异常，网络崩溃，网络访问不了。

还是频率问题呗，我工作要写报表，每天早上爬一次前一天系统平台的数据，偷懒好用啊

来自安卓APP客户端

magicmark · 发表于 2023-6-8 16:31:20

太灰狼发表于 2023-06-08 16:29
还是频率问题呗，我工作要写报表，每天早上爬一次前一天系统平台的数据，偷懒好用啊

对啊，他现在爬虫频率调小了，大家现在访问也不卡了

，希望他早点获取官方的爬虫许可

来自苹果APP客户端

太灰狼 · 发表于 2023-6-8 16:32:27

magicmark 发表于 2023-06-08 16:31
对啊，他现在爬虫频率调小了，大家现在访问也不卡了，希望他早点获取官方的爬虫许可

合作吧，他这个小程序挺好用，我也在用

来自安卓APP客户端

magicmark · 发表于 2023-6-8 16:36:32

太灰狼发表于 2023-06-08 16:32
合作吧，他这个小程序挺好用，我也在用

只要官方授权他，他就可以随便弄哈哈

来自苹果APP客户端

凸比南波万 · 发表于 2023-6-8 16:40:37

希望论坛越办越好吧

来自安卓APP客户端

Maymono · 发表于 2023-6-8 16:54:31

来自苹果APP客户端

hid_ogu9sc · 发表于 2023-6-8 17:37:18

来自安卓APP客户端

HYC_II · 发表于 2023-6-8 17:42:17

BVVD直呼内行

来自安卓APP客户端

Remuian · 发表于 2023-6-8 23:34:42

已阅

来自苹果APP客户端

太灰狼 · 发表于 2023-6-8 23:52:05

magicmark 发表于 2023-06-08 16:36
只要官方授权他，他就可以随便弄哈哈

是的啊，这个想要万无一失，肯定得和论坛方联系，做一下压力测试。

来自安卓APP客户端

萌萌男 · 发表于 2023-6-9 08:01:45

magicmark 发表于 2023-06-08 16:08
官方不给爬，还要爬，只能说一意孤行。请求频率还大，现在被说了调整小了，下午都没有网络异常，网络崩溃，网络访问不了。

哈哈哈哈哈哈啥叫mobile =1 ？贴个这个参数的技术定义来看看？
disallow mobile =1 是不是就是禁止手机端访问呢？

有没有可能性
1. 论坛不想别人第三方查询于是想着弄点规则，
2. 没太注意，一整套防爬虫规则直接用了，其中某些没有移动端需求的网站才用的规则如disallow mobile=1 也上了

导致访问禁止， “你的网络有问题”

来自苹果APP客户端

magicmark · 发表于 2023-6-9 08:38:01

萌萌男发表于 2023-06-09 08:01
哈哈哈哈哈哈啥叫mobile =1 ？贴个这个参数的技术定义来看看？
disallow mobile =1 是不是就是禁止手机端访问呢？

有没有可能性
1. 论坛不想别人第三方查询于是想着弄点规则，
2. 没太注意，一整套防爬虫规则直接用了，其中某些没有移动端需求的网站才用的规则如disallow mobile=1 也上了

导致访问禁止， “你的网络有问题”

手机app客户端访问用的可不是这个接口，这个robots.txt是防止爬虫爬手机网页端的

来自苹果APP客户端

magicmark · 发表于 2023-6-9 08:45:27

挺笑话的，也挺嘴硬的

来自苹果APP客户端

老阿发 · 发表于 2023-6-9 08:59:20

萌萌男发表于 2023-06-09 08:01
哈哈哈哈哈哈啥叫mobile =1 ？贴个这个参数的技术定义来看看？
disallow mobile =1 是不是就是禁止手机端访问呢？

有没有可能性
1. 论坛不想别人第三方查询于是想着弄点规则，
2. 没太注意，一整套防爬虫规则直接用了，其中某些没有移动端需求的网站才用的规则如disallow mobile=1 也上了

导致访问禁止， “你的网络有问题”

终于有人提这个问题了
mobile=1和mobile=yes是完全不同的逻辑，这个老哥一直在混淆并拿这个说事，可能是百度来的新鲜知识。

Discuz这个论坛架构本身带有一套移动版本，即mobile=yes时自动启用的，对应访问电脑版的mobile=no（默认）。

然而SDG论坛在基于Discuz基础上做了二次开发，mobile=1代表简单版论坛页面，mobile=2代表手机版论坛页面。与mobile=yes和no的逻辑已经完全不同了，如果按照那位老哥理解的1=yes，0=no，请问2代表啥？

况且我未必非要从mobile=1去实现我的程序运行，从archive界面能达成一样的效果，只是懒得和他一个外行装内行的人再解释。

来自苹果APP客户端

老阿发 · 发表于 2023-6-9 09:01:31

magicmark 发表于 2023-06-09 08:45
挺笑话的，也挺嘴硬的

来自苹果APP客户端

老阿发 · 发表于 2023-6-9 09:04:17

magicmark 发表于 2023-06-09 08:45
挺笑话的，也挺嘴硬的

而且你怎么还在用我的程序啊后台显示你又登陆了又在接收推送

来自苹果APP客户端

magicmark · 发表于 2023-6-9 09:14:31

小阿发发表于 2023-06-09 09:04
而且你怎么还在用我的程序啊后台显示你又登陆了又在接收推送

拿出证据，我不屑用你的程序，你也不用在这自欺欺人

来自苹果APP客户端

magicmark · 发表于 2023-6-9 09:17:41

小阿发发表于 2023-06-09 09:04
而且你怎么还在用我的程序啊后台显示你又登陆了又在接收推送

还绑架我用你程序，你现在只需要等官方处理你的爬虫行为，别做无知的辩解了

来自苹果APP客户端

magicmark · 发表于 2023-6-9 09:22:17

小阿发发表于 2023-06-09 09:04
而且你怎么还在用我的程序啊后台显示你又登陆了又在接收推送

你觉得我用你程序了，你去封掉我账户，然后拿出我今天还在用你爬虫程序的证据。你说你不是爬虫，拿出你不是爬虫的证据。啥都拿不出来在这自欺欺人

来自苹果APP客户端

老阿发 · 发表于 2023-6-9 09:23:19

magicmark 发表于 2023-06-09 09:14
拿出证据，我不屑用你的程序，你也不用在这自欺欺人

你和大家说说为什么就不敢提供你的账号Id呢我帮你禁用掉就好了啊

来自苹果APP客户端

老阿发 · 发表于 2023-6-9 09:28:38

magicmark 发表于 2023-06-09 09:22
你觉得我用你程序了，你去封掉我账户，然后拿出我今天还在用你爬虫程序的证据。你说你不是爬虫，拿出你不是爬虫的证据。啥都拿不出来在这自欺欺人

这不就是你吗哥们最后一次登陆时间9:25 你可笑不可笑

来自苹果APP客户端

magicmark · 发表于 2023-6-9 09:30:19

小阿发发表于 2023-06-09 09:23
你和大家说说为什么就不敢提供你的账号Id呢我帮你禁用掉就好了啊

我没有理由用你的程序，你昨天不都是知道我openid了吗，还造谣我攻击你服务器（你现在问我id，不就是证明你昨天在抹黑吗），那你现在问我id干什么？打自己脸吗。你现在要做的就是承认你的爬虫行为，你主动去赔偿你对论坛造成的经济损失。并且等待官方处理。

来自苹果APP客户端

老阿发 · 发表于 2023-6-9 09:32:42

magicmark 发表于 2023-06-09 09:30
我没有理由用你的程序，你昨天不都是知道我openid了吗，还造谣我攻击你服务器（你现在问我id，不就是证明你昨天在抹黑吗），那你现在问我id干什么？打自己脸吗。你现在要做的就是承认你的爬虫行为，你主动去赔偿你对论坛造成的经济损失。并且等待官方处理。

我找到了呀我也没封你就是看你什么时候自己敢说呀我下面也放出来了那不就是你吗你不会又说那个不是你然后让我证明了吧？哈哈哈哈哈哈

来自苹果APP客户端