今年四月份面试,五月初去了公司的湖仓团队实习。上周五离职,一共干了半年多。
1. 实习之前的想法
- 获得一段相关的实习经历
- 看一下现在Data Infra业界的问题
- 提升技能
(抗压能力)?
2. 实习生活
每天骑自行车到地铁站,然后坐二三十分钟地铁到马连洼,再等公司的班车去公司。在十点之前有早饭,但是我一般都赶不上。晚上下班也是相同的流程。大概要五十分钟时间吧,主要是我等的那个地铁8分钟一趟,错过一辆就要等很久。
公司的食堂整体感觉还行,可能就是有一点高油高盐吧。
3. 关于技术和工程
一开始进去干的活是做高吞吐的流式湖仓,一开始看了一些系统测试相关的理论知识,帮忙做了一些长稳测试。后面熟悉整体架构之后实现了一些客户需求的feature。
后面去做多模态相关的活,主要是从项目立项开始进行设计、原型实现,到后面开始做产品的代码。主要是基于Lance去做向量检索,加上类似LanceDB企业版的分布式能力,以及完整的SQL支持之类的。最后产品的性能(延迟、QPS、成本等)算是达到了业界T1的水平
在平时工作的时候,基本上没有自己写过代码了。全是agent在干活。在提升效率的同时带来几个问题,首先是出代码太快,自己验证起来非常痛苦,因为人的阅读和理解速度是完全跟不上AI的。如果是TDD,也会出产一大堆看似正确严密的测试,这些测试可能看起来覆盖率很高甚至100%行覆盖率,但是实际上线之后,没有从系统整体的角度来防护住问题,也就是局部测试通过不代表整体行为正确。
实际出了问题有两种选择:1. 让AI去改。2. 自己去改,但是需要对细节有一定的掌控,当需求实现的很快还要对实现有掌控,是一件很困难的事,因为很难去阅读并理解每天都要增加上千行的项目代码。
特别是大家常态都是手上有几个比较独立的事情在同时推进,要对每一件事情进行理解的心智负担相当大。比如在最忙的一段时间,要同时进行产品代码的开发,在半正式上线的环境进行性能诊断和调优,项目文档的撰写,看别人的Agent完全不通顺的文档并进行Review。上下文切换让人感觉非常劳累。
以前一个功能,可能提交一个PR不到一千行,现在提交随便干到几千上万行,Review也是一个吃力不讨好的活,因为没有什么人会把Review算成一个很重要的工作量,但是Code Review本身要求你自己去理解别人的Agent生产出来的一大坨东西,要自己去看真是要把脑子看疼。如果把CR全都交给AI去看,那么对于整个团队,这个代码可以说是没有人看过了,出了问题只有先让Code Agent去分析,整个就是一个混沌系统。
4. 对Data Infra的认知
最近看招聘信息,感觉很多岗位都和AI相关,Data Infra也在往这个方向走,比如为检索和训练提供数据管线、多模态数据管理等能力。我自己这半年从流式湖仓做到多模态,也算是接触到了这个变化。
这里一个很实际的需求,是用统一的系统来管理和使用越来越多样的数据。在元数据这一层,比如通过Gravitino来管理不同的catalog,为上层提供统一的元数据抽象,减少分别对接不同系统的负担。在查询这一层,则希望通过多模态湖仓来提供融合检索能力,把结构化数据的过滤、全文检索、向量检索等需求结合起来。
否则,客户可能需要自己维护ES、Milvus以及存放结构化数据的系统,在几套系统之间同步数据,再自己写融合检索的逻辑。每套系统单独看都能解决一部分问题,但是长期维护多套系统本身就是成本。对用户来说,统一系统的价值就在于能少操心这些事情,把精力放在自己的业务上。
但统一的同时,也需要保留足够的开放度。主要是基于open file format和open table format,让数据能适配不同的计算和检索引擎。不同场景可能需要不同的引擎,系统应该给用户留下选择和替换的空间。上层看起来尽量统一,底层又能保留组合不同工具的自由。
在实现这些系统的时候,仍然绕不开性能、成本、一致性这些系统问题。把握系统应该做到什么程度、哪些能力分别交给哪些不同的引擎,本身也是trade-off。所以我觉得,过去的分布式系统知识和工程经验仍然有用,只是现在要面对新的数据和使用场景。
5. 之后的想法
可能明年还要再实习一段时间,还要再经历一次面试准备,感觉好焦虑。。。
最近回实验室在做视频湖仓相关的工作,但是一直没找到能够有突破的地方,希望我运气能好一点吧。
没想明白自己能够去做什么,以及这个行业明年又会变成什么样子,说不定全都死掉了呢^ ^