后端 / Agent
开发工程师

Video 回查系统

个人负责该系统架构设计和实现，使用 Go 语言和内部 RPC 框架提供核心接口，采用 Gin 提供 HTTP 接口，支持多国家业务发展需求。

系统主要供运营人员快速查询 Video 从用户发布到搜索推荐经过的完整审核链路，包括不同机审模型结果、人审队列结果、打标、免审等事件，便于回溯审核历史和排查 Case。

• 拆分为 RPC 和 Portal 两个服务：RPC 负责事件接入、数据存储和检索等核心功能，Portal 负责提供 HTTP 接口和权限控制。
• 使用 Elasticsearch 存储 Video 和 User 核心检索数据，提供多维度检索。
• 接入 Binlog 同步内容变更并发送对应事件，后端获取完整信息后存储到 Elasticsearch。
• 使用 MySQL 分表存储 Video Trace 记录，以 videoID 为分片键。
• 使用 Kafka 作为消息队列，实现服务解耦和突发流量控制。
• 改造服务支持多国家业务，通过在 ALB 中设置 cid 并透传到下游服务，读取不同国家的配置信息。

人审系统重构

• 负责 Gateway 服务和 Portal 服务的设计与实现。
• 支持消息队列和 RPC 两种进审方式。
• 对业务接入方进行权限校验和流量控制，防止大促等突发流量影响下游系统。
• 通过配置化方式支持 Video、Account、Hashtag、Music 等多种物料。
• 提供多维度统计 Dashboard，提升人审效率。

服务端 API

个人负责业务技术栈，主要使用内部 PHP 框架，部分服务采用 Go。

• 推进完成内容表的分库分表，根据检索条件进行多维度分库分表。
• 主导对接阿里云 OpenSearch，提供搜索、排序、打散和置顶相关能力。
• 完成对话素材去重，评估内存占用后使用 Redis Bitmap 实现。
• 完成频道订阅和不感兴趣标签功能。
• 完成用户金币账户体系，支持抽奖、兑换奖品等功能。
• 优化 AI 变脸和语音合成等功能的性能，主要采用缓存和版本号方案。
• 建设关注 Feed 服务，使关注列表实时展示关注用户、话题和收藏夹下更新的内容。
• 借助 Elasticsearch 提供初期的多轮对话能力。
• 支持站内活动、打卡、签到和抽奖等业务。

运营后台

使用 Golang 开发，Web 框架使用 Gin。

• 通过 JWT 进行接口认证。
• 使用 Wire 解决依赖注入问题。
• 底层存储涉及 MySQL 和 MongoDB。
• 后期将检索能力优化为 Elasticsearch。
• 数据变更同步采用消息队列方式。
• 支持统计报表数据需求。

内容数据引入

成果：引入视频和图片等资源 500 万+，同步部分 Instagram 账号内容。

• 通过 Python Web 框架提供 API，供后台配置数据引入规则。
• 爬虫作为 Consumer 获取任务并消费数据，完成下载、上传和转码等后续处理。
• 格式化最终结果并发送到消息队列，进入后续去重和打标流程。

分布式爬虫任务调度系统

成果：负责 80+ 爬虫、200+ 队列的任务调度，日调度任务超过 5 亿次。

• 通过 HTTP 接口进行爬虫和任务队列注册，支持设置最大队列大小、单个任务队列抓取速度和监控报警阈值。
• 支持多节点部署，自动检测节点添加和异常退出，提高调度能力和可用性。
• 动态调节不同队列的抓取速度，提高代理利用率。
• 支持优先级任务组，自动控制待调度队列的整体大小。

Cookie 池服务和通用模拟登录平台

成果：管理淘宝爬虫使用的 Cookie，支持淘宝等网站的模拟登录，降低环境搭建成本，并向实时优惠引擎和招商计划等业务提供 Cookie。

• 通用 Cookie 使用 Redis 构建环形队列，特殊账号使用 Hash 结构存储。
• 使用 Puppeteer 和 Express 搭建常见网站的登录服务平台。
• 移除浏览器特征，并支持模拟移动端。
• 支持执行 JavaScript 脚本，通过脚本模拟点击和滑动验证码等交互。

淘宝优惠信息实时引擎

成果：提供 15+ 种优惠信息，包括店铺券、满减满折和红包等，覆盖商品 400 万+。

• 研究淘宝反爬虫策略，开发通用淘宝 Sign 解密和 Cookie 使用中间件等进行规避。
• 持续优化数据链路，挖掘不同接口关系，通过历史数据分析字段含义，降低代理使用成本并防止任务积压。
• 对接 Feed、商品点击、搜索等不同数据源，及时发现商品的新优惠类型。
• 建设 Scrapy 分布式抓取集群，并使用 ScrapydWeb 管理平台。

商品库建设

成果：每日对 7000 万+ 商品完成多次更新。

• 重构商品库系统，将爬虫脚本迁移到 Scrapy，使用 Kafka 解耦，并将数据发送到 Kafka 供中台和搜索等业务消费。
• 对商品库进行分层，包括秒杀、曝光商品和商品打分机制等，针对不同层级采用不同更新频率，降低信息延迟。
• 二次开发 scrapy-redis，使用 Pipeline 支持批量获取任务，爬虫整体性能提升约 30%。
• 利用不同接口对商品价格进行验证，提升价格准确性。
• 优化数据链路，使用 Redis Hash 对商品不同维度的 Kafka 消息去重，日去重超过 1.5 亿。
• 建设新任务过滤器模块，以配置化规则过滤敏感词、类目黑名单和发货时间过长的商品，提升灵活性。

爬虫监控 / 数据持久化

成果：使用 InfluxDB、Grafana、Fluentd 等工具构建监控数据平台。

• 构建 Scrapy 扩展，统一收集爬虫指标。
• 使用 Fluentd 收集爬虫核心业务数据并写入 MongoDB 集群。
• 优化 MongoDB 集群性能，不使用 TTL 特性，改为按天分割数据。

全国企业工商数据抓取

成果：完成风控系统对企业评分所需的数据需求。

• 结合待采集网站特性进行技术选型，使用 pyspider 作为抓取框架、Redis 作为消息队列、MySQL 作为数据存储。
• 完成 100+ 数据源采集，包括 58 同城、1688、信用中国和水滴信用等，覆盖招聘、信用黑名单、企业信息等网站，完成 5000 万企业基础信息采集。
• 使用 Scrapy 和 scrapy-redis 动态补充企业信息，并完成相关接口解密。
• 完成数据报表相关模块开发。

个人征信数据抓取

• 完成学信网、电信运营商、北京社保、脉脉等数据源的采集任务。
• 使用 Django 搭建爬虫端查询后台，并开发添加爬虫任务的相关 API。
• 使用 Selenium 抓取复杂的动态渲染页面，降低逆向 JavaScript 的成本。
• 采用 OpenCV 进行学信网图片识别。