论坛 › 站务公告 › 2023.6.7 SDGun社区后台卡顿情况说明

magicmark 发表于 2023-6-7 21:04:27

小阿发 发表于 2023-06-07 19:43
另外：
本程序未使用任何“网络爬虫”技术；
论坛卡顿对本程序也有直接影响；
因为本程序的用户无需频繁使用论坛搜索功能，由于论坛数据量庞大，每次搜索极其占用服务器资源，反而一定程度上较好的降低和转移了论坛的负载。

以程序员的角度咨询你这个问题，如果不对app进行抓包、你如何获取的帖子数据？这种完整的数据更新不可能是ocr识别完成的。你这个归根到底还是爬虫行为。说和sdgun没有关系，但是获得了sdgun的网络爬虫授权吗。产品是有创意的，也是实用的，但是合不合法需要进一步完善啊

magicmark 发表于 2023-6-7 21:10:57

该小程序已经进行流量主广告的运营推广，产生盈利，让用户必须点广告才能继续使用 小程序地址： #小程序://SDG助手/vfLpNsLbRt8XIMF
http://picapp.sdgun.net/pic/20230607/1686143378380604162.jpg

老阿发 发表于 2023-6-7 21:13:36

magicmark 发表于 2023-06-07 21:04
以程序员的角度咨询你这个问题，如果不对app进行抓包、你如何获取的帖子数据？这种完整的数据更新不可能是ocr识别完成的。你这个归根到底还是爬虫行为。说和sdgun没有关系，但是获得了sdgun的网络爬虫授权吗。产品是有创意的，也是实用的，但是合不合法需要进一步完善啊

未对app进行抓包 没有爬虫行为 感谢关注 谢谢

magicmark 发表于 2023-6-7 21:21:28

小阿发 发表于 2023-06-07 21:13
未对app进行抓包 没有爬虫行为 感谢关注 谢谢

您只需要回答：您是如何通过第三方应用程序，获得SDGun论坛的帖子数据的？采用了什么技术手段？这样论坛的卡顿就不用您来背锅啦

老阿发 发表于 2023-6-7 21:27:02

magicmark 发表于 2023-06-07 21:21
您只需要回答：您是如何通过第三方应用程序，获得SDGun论坛的帖子数据的？采用了什么技术手段？这样论坛的卡顿就不用您来背锅啦

GET Http://bbs.sdgun.com.cn/forum.php?mod=forumdisplay&fid=176&mobile=1

magicmark 发表于 2023-6-7 21:31:17

小阿发 发表于 2023-06-07 21:27
GET Http://bbs.sdgun.com.cn/forum.php?mod=forumdisplay&fid=176&mobile=1

那既然你贴出地址了，也就是代表你承认使用技术手段获取论坛地址，并且进行爬虫行为了呀哥们儿https://mag1.sdgun.net/public/emotion/face_wulian.png

二环打桩机 发表于 2023-6-7 21:34:39

被友商攻击也好，doss攻击也好，做好防护，加大防火墙等级(代价很高)也不便宜，还是请我们一起保护，数据库加密让爬虫难度提高试试看，现在很多网站都是js写的，爬虫确实很烦人

老阿发 发表于 2023-6-7 21:35:12

magicmark 发表于 2023-06-07 21:31
那既然你贴出地址了，也就是代表你承认使用技术手段获取论坛地址，并且进行爬虫行为了呀哥们儿

哦哦哦 好的https://mag1.sdgun.net/public/emotion/face_068.pnghttps://mag1.sdgun.net/public/emotion/face_068.pnghttps://mag1.sdgun.net/public/emotion/face_068.png您说的对https://mag1.sdgun.net/public/emotion/face_wangchai.pnghttps://mag1.sdgun.net/public/emotion/face_wangchai.pnghttps://mag1.sdgun.net/public/emotion/face_wangchai.png

magicmark 发表于 2023-6-7 21:36:53

小阿发 发表于 2023-06-07 21:35
哦哦哦 好的您说的对

https://mag1.sdgun.net/public/emotion/face_001.png你的产品确实也是实用

老阿发 发表于 2023-6-7 21:40:13

magicmark 发表于 2023-06-07 21:36
你的产品确实也是实用

好的 感谢支持 那再重申一遍 没有使用爬虫技术 访问频次低于每次10秒 所有数据均在公开渠道获得

奥克Aouk 发表于 2023-6-7 22:06:07

REC_Lemon 发表于 2023-06-07 17:57


这是谁呀，真好看

天龙人 发表于 2023-6-7 22:09:51

网安爬虫收集信息？？？

思念0818 发表于 2023-6-7 22:23:36

每天晚上10点左右突然就会变卡加载帖子加载不出来一直刷新也没有用

你没马是不是 发表于 2023-6-7 22:53:03

一天到晚网络有问题网络有问题烦死了https://mag1.sdgun.net/public/emotion/face_umm.png

神盾局纪委书记 发表于 2023-6-7 23:36:49

不知晚上卡顿，白天也是。

国王与乞丐 发表于 2023-6-7 23:39:51

还有友商存在？我还以为SD是这个圈的唯一呢

Blage6 发表于 2023-6-7 23:48:46

REC_Lemon 发表于 2023-06-07 17:57


冲了！

阿德洛凡 发表于 2023-6-8 00:25:09

翻译一下：他们击穿了我们的装甲

晓月悠风 发表于 2023-6-8 00:25:18

我说怎么回事

太灰狼 发表于 2023-6-8 00:29:12

magicmark 发表于 2023-06-07 21:31
那既然你贴出地址了，也就是代表你承认使用技术手段获取论坛地址，并且进行爬虫行为了呀哥们儿

确实啊，这还是爬虫啊https://mag1.sdgun.net/public/emotion/face_wulian.png，怕是这位他自己都不知道这就是网络爬虫？

太灰狼 发表于 2023-6-8 00:32:40

第一点是最有可能的，投放爬虫的确是高效获取信息的有效手段，就看这么干的人多不多了https://mag1.sdgun.net/public/emotion/face_wulian.png

墨中白 发表于 2023-6-8 00:38:09

严查

阿肉包 发表于 2023-6-8 00:52:58

REC_Lemon 发表于 2023-06-07 17:57


七彩邮箱！

zhang94007 发表于 2023-6-8 01:02:51

不好

P酱粉丝 发表于 2023-6-8 01:05:36

1、友商估计也没这么闲吧，话说哪来的友商？这破论坛也没啥竞争对手。(总不能说贴吧和隔壁快挂了的gel某吧)
2、爬虫不奇怪，但那个小程序也不会造成这么大的访问量。
3、说到爬虫。。。反而是某些带着腰牌的爬虫不得不防。

天戈 发表于 2023-6-8 01:06:03

https://mag1.sdgun.net/public/emotion/face_wulian.pnghttps://mag1.sdgun.net/public/emotion/face_wulian.pnghttps://mag1.sdgun.net/public/emotion/face_wulian.png

马格靶子效应器 发表于 2023-6-8 01:12:26

马格靶子效应器 发表于 2023-6-8 01:14:05

太灰狼 发表于 2023-6-8 01:23:20

马格靶子效应器 发表于 2023-06-08 01:12
笑死了 他这要是爬虫 你每天打开APP就能爬好几个来回

你以为爬虫是什么神秘玄乎的玩意儿？

马格靶子效应器 发表于 2023-6-8 01:26:15

忧郁的上旋 发表于 2023-6-8 06:34:56

有狗

magicmark 发表于 2023-6-8 07:25:57

马格靶子效应器 发表于 2023-06-08 01:12
笑死了 他这要是爬虫 你每天打开APP就能爬好几个来回

请你不要不懂装懂

magicmark 发表于 2023-6-8 07:31:52

马格靶子效应器 发表于 2023-06-08 01:14
你连http的GET请求都不知道是啥 就开始指点江山了？还使用技术获取……这链接用眼就能获取了

非要说大白话，有些啥都不懂技术的人才能听明白，如果不使用爬虫是无法完成第三方采集数据的，每秒10次的采集频率更是离谱https://mag1.sdgun.net/public/emotion/face_001.png

破法 发表于 2023-6-8 07:58:10

论坛里没有黑客大佬吗？我们论坛被攻击了，打回去啊，每晚睡前不逛逛论坛都睡不着，睡不好白天怎么在论坛里和大家吹牛逼啊https://mag1.sdgun.net/public/emotion/face_013.png

r6dlunar 发表于 2023-6-8 08:04:58

总是您的网络出问题

小李蜀黍 发表于 2023-6-8 09:07:11

加油

DEVGRU_豆腐 发表于 2023-6-8 09:41:16

可以

重装漫游者 发表于 2023-6-8 09:48:54

了解了

苍山有井独自空 发表于 2023-6-8 10:04:51

https://mag1.sdgun.net/public/emotion/face_umm.png一般都是晚上11点以后卡

西北偏北89 发表于 2023-6-8 10:08:30

理解理解

TK712 发表于 2023-6-8 10:14:12

说实话，整体部署就有问题，换个技术吧。看看我发的帖子。

TK712 发表于 2023-6-8 10:17:55

这个和什么sd助手毛关系没有，网站或者论坛不会因为爬虫，爬夸的。应用和数据库做好高并发，做好压力测试，你怎么爬也没事，一秒爬一次都没事。做专业的事，找专业的人。

TK712 发表于 2023-6-8 10:31:57

给管理员个建议，要正视出现的问题，别往攻击，或者其他方面引。论坛用户都应该有所体会，高峰期间卡，过了11点左右，就很正常，天天如此，这个肯定不是攻击或者爬虫引起的。你要找做系统运维的给你部署整套应用和数据库，不要找做开发的，完全两个概念。还有，阿里云的ECS服务器种类很多，找高并发，多线程的，8个c，64G内存，200M带宽的。能卡才怪，别说3000用户，30万都卡不了

太灰狼 发表于 2023-6-8 10:36:23

TK712 发表于 2023-06-08 10:31
给管理员个建议，要正视出现的问题，别往攻击，或者其他方面引。论坛用户都应该有所体会，高峰期间卡，过了11点左右，就很正常，天天如此，这个肯定不是攻击或者爬虫引起的。你要找做系统运维的给你部署整套应用和数据库，不要找做开发的，完全两个概念。还有，阿里云的ECS服务器种类很多，找高并发，多线程的，8个c，64G内存，200M带宽的。能卡才怪，别说3000用户，30万都卡不了

是的，运维和开发是两回事

太灰狼 发表于 2023-6-8 10:37:36

TK712 发表于 2023-06-08 10:17
这个和什么sd助手毛关系没有，网站或者论坛不会因为爬虫，爬夸的。应用和数据库做好高并发，做好压力测试，你怎么爬也没事，一秒爬一次都没事。做专业的事，找专业的人。

我也觉得关系不大，用爬虫爬数据太正常了，不至于

瓜强 发表于 2023-6-8 11:12:12

氵

2019号人造人 发表于 2023-6-8 12:09:45

神女应无恙 发表于 2023-6-8 13:37:06

P酱粉丝 发表于 2023-06-08 01:05
1、友商估计也没这么闲吧，话说哪来的友商？这破论坛也没啥竞争对手。(总不能说贴吧和隔壁快挂了的gel某吧)
2、爬虫不奇怪，但那个小程序也不会造成这么大的访问量。
3、说到爬虫。。。反而是某些带着腰牌的爬虫不得不防。

总结来说还是大洋对岸的美帝嫉妒我们核心技术水弹卡他们脖子了https://mag1.sdgun.net/public/emotion/face_jizhi.png

Ward 发表于 2023-6-8 14:42:09

老哥已经分析的很到位了，哪个人做的第三方应用，投放爬虫。他自己还跳出来https://mag1.sdgun.net/public/emotion/face_wangchai.pnghttps://mag1.sdgun.net/public/emotion/face_wangchai.png。

老阿发 发表于 2023-6-8 14:43:45

TK712 发表于 2023-06-08 10:17
这个和什么sd助手毛关系没有，网站或者论坛不会因为爬虫，爬夸的。应用和数据库做好高并发，做好压力测试，你怎么爬也没事，一秒爬一次都没事。做专业的事，找专业的人。

还是有懂的人

查看完整版本: 2023.6.7 SDGun社区后台卡顿情况说明