设为首页收藏本站
切换到宽版

SDGun

 找回密码
 立即注册
搜索
SDGun»论坛 › 站务公告 › 站务公告 › 2023.6.7 SDGun社区后台卡顿情况说明
1234下一页
返回列表 发新帖
楼主: 管理员

2023.6.7 SDGun社区后台卡顿情况说明

    [复制链接]
magicmark

7

主题

88

回帖

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-7 21:04:27 来自手机 | 显示全部楼层
小阿发 发表于 2023-06-07 19:43
另外：
本程序未使用任何“网络爬虫”技术；
论坛卡顿对本程序也有直接影响；
因为本程序的用户无需频繁使用论坛搜索功能，由于论坛数据量庞大，每次搜索极其占用服务器资源，反而一定程度上较好的降低和转移了论坛的负载。

以程序员的角度咨询你这个问题，如果不对app进行抓包、你如何获取的帖子数据？这种完整的数据更新不可能是ocr识别完成的。你这个归根到底还是爬虫行为。说和sdgun没有关系，但是获得了sdgun的网络爬虫授权吗。产品是有创意的，也是实用的，但是合不合法需要进一步完善啊
来自苹果APP客户端
自由之翼 开始探索
回复 支持 5 反对 0

举报

magicmark

7

主题

88

回帖

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-7 21:10:57 来自手机 | 显示全部楼层
该小程序已经进行流量主广告的运营推广，产生盈利，让用户必须点广告才能继续使用 小程序地址： #小程序://SDG助手/vfLpNsLbRt8XIMF
来自苹果APP客户端
自由之翼 开始探索
回复 支持 1 反对 0

举报

老阿发

27

主题

432

回帖

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
13529
发表于 2023-6-7 21:13:36 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-07 21:04
以程序员的角度咨询你这个问题，如果不对app进行抓包、你如何获取的帖子数据？这种完整的数据更新不可能是ocr识别完成的。你这个归根到底还是爬虫行为。说和sdgun没有关系，但是获得了sdgun的网络爬虫授权吗。产品是有创意的，也是实用的，但是合不合法需要进一步完善啊

未对app进行抓包 没有爬虫行为 感谢关注 谢谢
来自苹果APP客户端
自由之翼 开始探索
回复 支持 反对

举报

magicmark

7

主题

88

回帖

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-7 21:21:28 来自手机 | 显示全部楼层
小阿发 发表于 2023-06-07 21:13
未对app进行抓包 没有爬虫行为 感谢关注 谢谢

您只需要回答：您是如何通过第三方应用程序，获得SDGun论坛的帖子数据的？采用了什么技术手段？这样论坛的卡顿就不用您来背锅啦
来自苹果APP客户端
自由之翼 开始探索
回复 支持 反对

举报

老阿发

27

主题

432

回帖

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
13529
发表于 2023-6-7 21:27:02 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-07 21:21
您只需要回答：您是如何通过第三方应用程序，获得SDGun论坛的帖子数据的？采用了什么技术手段？这样论坛的卡顿就不用您来背锅啦

GET Http://bbs.sdgun.com.cn/forum.php?mod=forumdisplay&fid=176&mobile=1
来自苹果APP客户端
自由之翼 开始探索
回复 支持 反对

举报

magicmark

7

主题

88

回帖

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-7 21:31:17 来自手机 | 显示全部楼层
小阿发 发表于 2023-06-07 21:27
GET Http://bbs.sdgun.com.cn/forum.php?mod=forumdisplay&fid=176&mobile=1

那既然你贴出地址了，也就是代表你承认使用技术手段获取论坛地址，并且进行爬虫行为了呀哥们儿
来自苹果APP客户端
自由之翼 开始探索
回复 支持 反对

举报

二环打桩机

0

主题

1263

回帖

2万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
21572
发表于 2023-6-7 21:34:39 来自手机 | 显示全部楼层
被友商攻击也好，doss攻击也好，做好防护，加大防火墙等级(代价很高)也不便宜，还是请我们一起保护，数据库加密让爬虫难度提高试试看，现在很多网站都是js写的，爬虫确实很烦人
来自安卓APP客户端
自由之翼 开始探索
回复 支持 1 反对 0

举报

老阿发

27

主题

432

回帖

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
13529
发表于 2023-6-7 21:35:12 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-07 21:31
那既然你贴出地址了，也就是代表你承认使用技术手段获取论坛地址，并且进行爬虫行为了呀哥们儿

哦哦哦 好的您说的对
来自苹果APP客户端
自由之翼 开始探索
回复 支持 反对

举报

magicmark

7

主题

88

回帖

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-7 21:36:53 来自手机 | 显示全部楼层
小阿发 发表于 2023-06-07 21:35
哦哦哦 好的您说的对

你的产品确实也是实用
来自苹果APP客户端
自由之翼 开始探索
回复 支持 反对

举报

老阿发

27

主题

432

回帖

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
13529
发表于 2023-6-7 21:40:13 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-07 21:36
你的产品确实也是实用

好的 感谢支持 那再重申一遍 没有使用爬虫技术 访问频次低于每次10秒 所有数据均在公开渠道获得
来自苹果APP客户端
自由之翼 开始探索
回复 支持 反对

举报

奥克Aouk

371

主题

3353

回帖

4万

积分

金属狂潮

Rank: 8Rank: 8

积分
41472
发表于 2023-6-7 22:06:07 来自手机 | 显示全部楼层
REC_Lemon 发表于 2023-06-07 17:57

这是谁呀，真好看
来自安卓APP客户端
自由之翼 开始探索
回复 支持 反对

举报

天龙人

1

主题

2414

回帖

2万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
24637
发表于 2023-6-7 22:09:51 来自手机 | 显示全部楼层
网安爬虫收集信息？？？
来自安卓APP客户端
自由之翼 开始探索
回复 支持 反对

举报

思念0818

1

主题

12

回帖

734

积分

突击队员

Rank: 3Rank: 3

积分
734
发表于 2023-6-7 22:23:36 来自手机 | 显示全部楼层
每天晚上10点左右突然就会变卡加载帖子加载不出来一直刷新也没有用
来自安卓APP客户端
自由之翼 开始探索
回复 支持 反对

举报

你没马是不是

16

主题

481

回帖

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12755
发表于 2023-6-7 22:53:03 来自手机 | 显示全部楼层
一天到晚网络有问题网络有问题烦死了
来自安卓APP客户端
自由之翼 开始探索
回复 支持 反对

举报

神盾局纪委书记

9

主题

473

回帖

2万

积分

金属狂潮

Rank: 8Rank: 8

积分
25750
发表于 2023-6-7 23:36:49 来自手机 | 显示全部楼层
不知晚上卡顿，白天也是。
来自安卓APP客户端
自由之翼 开始探索
回复 支持 反对

举报

国王与乞丐

7

主题

450

回帖

2万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
21695
发表于 2023-6-7 23:39:51 来自手机 | 显示全部楼层
还有友商存在？我还以为SD是这个圈的唯一呢
来自安卓APP客户端
自由之翼 开始探索
回复 支持 反对

举报

Blage6

32

主题

657

回帖

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
16421
发表于 2023-6-7 23:48:46 来自手机 | 显示全部楼层
REC_Lemon 发表于 2023-06-07 17:57

冲了！
来自安卓APP客户端
自由之翼 开始探索
回复 支持 反对

举报

阿德洛凡

137

主题

3993

回帖

5万

积分

地狱烈火

Rank: 9Rank: 9Rank: 9

积分
51332
QQ
发表于 2023-6-8 00:25:09 来自手机 | 显示全部楼层
翻译一下：他们击穿了我们的装甲
来自安卓APP客户端
不想说什么，只想好好休息
回复 支持 反对

举报

晓月悠风

229

主题

7030

回帖

3万

积分

金属狂潮

Rank: 8Rank: 8

积分
38921
发表于 2023-6-8 00:25:18 来自手机 | 显示全部楼层
我说怎么回事
来自安卓APP客户端
自由之翼 开始探索
回复 支持 反对

举报

太灰狼

26

主题

794

回帖

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
13417
发表于 2023-6-8 00:29:12 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-07 21:31
那既然你贴出地址了，也就是代表你承认使用技术手段获取论坛地址，并且进行爬虫行为了呀哥们儿

确实啊，这还是爬虫啊，怕是这位他自己都不知道这就是网络爬虫？
来自安卓APP客户端
自由之翼 开始探索
回复 支持 1 反对 0

举报

太灰狼

26

主题

794

回帖

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
13417
发表于 2023-6-8 00:32:40 来自手机 | 显示全部楼层
第一点是最有可能的，投放爬虫的确是高效获取信息的有效手段，就看这么干的人多不多了
来自安卓APP客户端
自由之翼 开始探索
回复 支持 1 反对 0

举报

墨中白

29

主题

759

回帖

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
18098
发表于 2023-6-8 00:38:09 来自手机 | 显示全部楼层
严查
来自安卓APP客户端
自由之翼 开始探索
回复 支持 反对

举报

阿肉包

36

主题

3543

回帖

4万

积分

金属狂潮

Rank: 8Rank: 8

积分
44590
发表于 2023-6-8 00:52:58 来自手机 | 显示全部楼层
REC_Lemon 发表于 2023-06-07 17:57

七彩邮箱！
来自安卓APP客户端
黑暗将至？不，我的朋友。我们早已身陷黑暗，否则为何要盗火种呢？可这火再怎样也只是火，是不会变成太阳的。
回复 支持 反对

举报

zhang94007

7

主题

2466

回帖

3万

积分

金属狂潮

Rank: 8Rank: 8

积分
35344
发表于 2023-6-8 01:02:51 来自手机 | 显示全部楼层
不好
来自安卓APP客户端
自由之翼 开始探索
回复 支持 反对

举报

P酱粉丝

23

主题

2574

回帖

5万

积分

地狱烈火

Rank: 9Rank: 9Rank: 9

积分
59145
发表于 2023-6-8 01:05:36 来自手机 | 显示全部楼层
1、友商估计也没这么闲吧，话说哪来的友商？这破论坛也没啥竞争对手。(总不能说贴吧和隔壁快挂了的gel某吧)
2、爬虫不奇怪，但那个小程序也不会造成这么大的访问量。
3、说到爬虫。。。反而是某些带着腰牌的爬虫不得不防。
来自安卓APP客户端
准备解体p酱！
回复 支持 反对

举报

天戈

672

主题

2341

回帖

5万

积分

地狱烈火

Rank: 9Rank: 9Rank: 9

积分
52359
发表于 2023-6-8 01:06:03 来自手机 | 显示全部楼层
来自安卓APP客户端
自由之翼 开始探索
回复 支持 反对

举报

发表于 2023-6-8 01:12:26 来自手机 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
自由之翼 开始探索
回复 支持 1 反对 0

举报

发表于 2023-6-8 01:14:05 来自手机 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
自由之翼 开始探索
回复 支持 反对

举报

太灰狼

26

主题

794

回帖

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
13417
发表于 2023-6-8 01:23:20 来自手机 | 显示全部楼层
马格靶子效应器 发表于 2023-06-08 01:12
笑死了 他这要是爬虫 你每天打开APP就能爬好几个来回

你以为爬虫是什么神秘玄乎的玩意儿？
来自安卓APP客户端
自由之翼 开始探索
回复 支持 1 反对 0

举报

发表于 2023-6-8 01:26:15 来自手机 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
自由之翼 开始探索
回复 支持 反对

举报

忧郁的上旋

10

主题

75

回帖

2984

积分

重炮手

Rank: 4

积分
2984
发表于 2023-6-8 06:34:56 来自手机 | 显示全部楼层
有狗
来自安卓APP客户端
自由之翼 开始探索
回复 支持 反对

举报

magicmark

7

主题

88

回帖

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-8 07:25:57 来自手机 | 显示全部楼层
马格靶子效应器 发表于 2023-06-08 01:12
笑死了 他这要是爬虫 你每天打开APP就能爬好几个来回

请你不要不懂装懂
来自苹果APP客户端
自由之翼 开始探索
回复 支持 反对

举报

magicmark

7

主题

88

回帖

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-8 07:31:52 来自手机 | 显示全部楼层
马格靶子效应器 发表于 2023-06-08 01:14
你连http的GET请求都不知道是啥 就开始指点江山了？还使用技术获取……这链接用眼就能获取了

非要说大白话，有些啥都不懂技术的人才能听明白，如果不使用爬虫是无法完成第三方采集数据的，每秒10次的采集频率更是离谱
来自苹果APP客户端
自由之翼 开始探索
回复 支持 1 反对 0

举报

破法

475

主题

3699

回帖

3万

积分

金属狂潮

Rank: 8Rank: 8

积分
38718
发表于 2023-6-8 07:58:10 来自手机 | 显示全部楼层
论坛里没有黑客大佬吗？我们论坛被攻击了，打回去啊，每晚睡前不逛逛论坛都睡不着，睡不好白天怎么在论坛里和大家吹牛逼啊
来自苹果APP客户端
自由之翼 开始探索
回复 支持 反对

举报

r6dlunar

3

主题

15

回帖

1506

积分

重炮手

Rank: 4

积分
1506
发表于 2023-6-8 08:04:58 来自手机 | 显示全部楼层
总是您的网络出问题
来自苹果APP客户端
自由之翼 开始探索
回复 支持 反对

举报

小李蜀黍

407

主题

6957

回帖

10万

积分

地狱烈火

Rank: 9Rank: 9Rank: 9

积分
106188
发表于 2023-6-8 09:07:11 来自手机 | 显示全部楼层
加油
来自安卓APP客户端
初来乍到，请多关照
回复 支持 反对

举报

DEVGRU_豆腐

511

主题

2503

回帖

4万

积分

金属狂潮

Rank: 8Rank: 8

积分
45545
发表于 2023-6-8 09:41:16 来自手机 | 显示全部楼层
可以
来自苹果APP客户端
自由之翼 开始探索
回复 支持 反对

举报

重装漫游者

40

主题

2665

回帖

2万

积分

金属狂潮

Rank: 8Rank: 8

积分
25787
发表于 2023-6-8 09:48:54 来自手机 | 显示全部楼层
了解了
来自安卓APP客户端
自由之翼 开始探索
回复 支持 反对

举报

苍山有井独自空

86

主题

1083

回帖

3万

积分

金属狂潮

Rank: 8Rank: 8

积分
31683
发表于 2023-6-8 10:04:51 来自手机 | 显示全部楼层
一般都是晚上11点以后卡
来自安卓APP客户端
苍山有井独自空
回复 支持 反对

举报

西北偏北89

53

主题

182

回帖

4150

积分

收割者

Rank: 5Rank: 5

积分
4150
发表于 2023-6-8 10:08:30 来自手机 | 显示全部楼层
理解理解
来自安卓APP客户端
自由之翼 开始探索
回复 支持 反对

举报

TK712

1329

主题

4333

回帖

5万

积分

地狱烈火

Rank: 9Rank: 9Rank: 9

积分
54972
发表于 2023-6-8 10:14:12 来自手机 | 显示全部楼层
说实话，整体部署就有问题，换个技术吧。看看我发的帖子。
来自苹果APP客户端
自由之翼 开始探索
回复 支持 反对

举报

TK712

1329

主题

4333

回帖

5万

积分

地狱烈火

Rank: 9Rank: 9Rank: 9

积分
54972
发表于 2023-6-8 10:17:55 来自手机 | 显示全部楼层
这个和什么sd助手毛关系没有，网站或者论坛不会因为爬虫，爬夸的。应用和数据库做好高并发，做好压力测试，你怎么爬也没事，一秒爬一次都没事。做专业的事，找专业的人。
来自苹果APP客户端
自由之翼 开始探索
回复 支持 1 反对 0

举报

TK712

1329

主题

4333

回帖

5万

积分

地狱烈火

Rank: 9Rank: 9Rank: 9

积分
54972
发表于 2023-6-8 10:31:57 来自手机 | 显示全部楼层
给管理员个建议，要正视出现的问题，别往攻击，或者其他方面引。论坛用户都应该有所体会，高峰期间卡，过了11点左右，就很正常，天天如此，这个肯定不是攻击或者爬虫引起的。你要找做系统运维的给你部署整套应用和数据库，不要找做开发的，完全两个概念。还有，阿里云的ECS服务器种类很多，找高并发，多线程的，8个c，64G内存，200M带宽的。能卡才怪，别说3000用户，30万都卡不了
来自苹果APP客户端
自由之翼 开始探索
回复 支持 1 反对 0

举报

太灰狼

26

主题

794

回帖

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
13417
发表于 2023-6-8 10:36:23 来自手机 | 显示全部楼层
TK712 发表于 2023-06-08 10:31
给管理员个建议，要正视出现的问题，别往攻击，或者其他方面引。论坛用户都应该有所体会，高峰期间卡，过了11点左右，就很正常，天天如此，这个肯定不是攻击或者爬虫引起的。你要找做系统运维的给你部署整套应用和数据库，不要找做开发的，完全两个概念。还有，阿里云的ECS服务器种类很多，找高并发，多线程的，8个c，64G内存，200M带宽的。能卡才怪，别说3000用户，30万都卡不了

是的，运维和开发是两回事
来自安卓APP客户端
自由之翼 开始探索
回复 支持 反对

举报

太灰狼

26

主题

794

回帖

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
13417
发表于 2023-6-8 10:37:36 来自手机 | 显示全部楼层
TK712 发表于 2023-06-08 10:17
这个和什么sd助手毛关系没有，网站或者论坛不会因为爬虫，爬夸的。应用和数据库做好高并发，做好压力测试，你怎么爬也没事，一秒爬一次都没事。做专业的事，找专业的人。

我也觉得关系不大，用爬虫爬数据太正常了，不至于
来自安卓APP客户端
自由之翼 开始探索
回复 支持 1 反对 0

举报

瓜强

94

主题

384

回帖

1万

积分

弑神者

Rank: 6Rank: 6

积分
10213
发表于 2023-6-8 11:12:12 来自手机 | 显示全部楼层
氵
来自苹果APP客户端
自由之翼 开始探索
回复 支持 反对

举报

2019号人造人

19

主题

179

回帖

3761

积分

禁止发言

积分
3761
发表于 2023-6-8 12:09:45 来自手机 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
自由之翼 开始探索
回复 支持 1 反对 0

举报

神女应无恙

135

主题

3984

回帖

2万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
20517
发表于 2023-6-8 13:37:06 来自手机 | 显示全部楼层
P酱粉丝 发表于 2023-06-08 01:05
1、友商估计也没这么闲吧，话说哪来的友商？这破论坛也没啥竞争对手。(总不能说贴吧和隔壁快挂了的gel某吧)
2、爬虫不奇怪，但那个小程序也不会造成这么大的访问量。
3、说到爬虫。。。反而是某些带着腰牌的爬虫不得不防。

总结来说还是大洋对岸的美帝嫉妒我们核心技术水弹卡他们脖子了
来自苹果APP客户端
自由之翼 开始探索
回复 支持 2 反对 0

举报

Ward

0

主题

7

回帖

39

积分

初入沙场

Rank: 1

积分
39
发表于 2023-6-8 14:42:09 来自手机 | 显示全部楼层
老哥已经分析的很到位了，哪个人做的第三方应用，投放爬虫。他自己还跳出来。
来自苹果APP客户端
自由之翼 开始探索
回复 支持 反对

举报

老阿发

27

主题

432

回帖

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
13529
发表于 2023-6-8 14:43:45 来自手机 | 显示全部楼层
TK712 发表于 2023-06-08 10:17
这个和什么sd助手毛关系没有，网站或者论坛不会因为爬虫，爬夸的。应用和数据库做好高并发，做好压力测试，你怎么爬也没事，一秒爬一次都没事。做专业的事，找专业的人。

还是有懂的人
来自苹果APP客户端
自由之翼 开始探索
回复 支持 反对

举报

下一页 »
1234下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|SDgun ( 沪ICP备18021677号-1 沪B2-20201358号 )

< img src="" style="float:left;"/>

沪公网安备 31011202014568号

GMT+8, 2025-3-1 04:56 , Processed in 0.064712 second(s), 11 queries , Redis On.

Powered by Discuz! X3.4 Licensed

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表