目录一、Spark1.spark主要用来计算什么 随便说段代码2.spark 运行命令说一个平常用哪些参数怎么考虑的3.spark shuffle的代码有哪些平日哪些操作涉及到shuffle了4.计算中遇到最难解决的是什么5.Spark 调过哪些参数二、Hive1.压缩格式比较2.动态分区和指定分区的对比3.计算最复杂的业务逻辑是什么4.小文件治理怎么搞5.再平衡怎么搞6.开窗函数有哪些用于哪里7.关于数组的函数8.hdfs block块大小默认是多少调过吗什么情况下调整三、数据仓库1.有多少表表的数据量是多少2.模型设计怎么做的(数据分层怎么做的)3.高频数据怎么做的4.有哪些主题域 有哪些实体 有哪些维度5.每日增量数据有多少6.缓慢变化维的应用7.拉链表的应用拉链表的增量/全量统计8.sqoop的同步效率9.sqoop的数据倾斜四、Python1.pandas如何处理大规模数据2.如何提高高并发3.协程 进程 线程4.Fast Api 和 Flask5.增量同步怎么做 全量同步怎么做6.Python 深拷贝 浅拷贝的使用场景一、Spark1.spark主要用来计算什么 随便说段代码2.spark 运行命令说一个平常用哪些参数怎么考虑的3.spark shuffle的代码有哪些平日哪些操作涉及到shuffle了4.计算中遇到最难解决的是什么Impala连接打满5.Spark 调过哪些参数二、Hive1.压缩格式比较2.动态分区和指定分区的对比3.计算最复杂的业务逻辑是什么4.小文件治理怎么搞5.再平衡怎么搞6.开窗函数有哪些用于哪里7.关于数组的函数8.hdfs block块大小默认是多少调过吗什么情况下调整默认128M 可调小文件处理若存储大量小文件如日志调小块大小如64MB可减少存储浪费但会增加NameNode元数据压力。大文件处理对TB/PB级文件调大块如256MB或512MB可减少分块数量降低元数据开销三、数据仓库1.有多少表表的数据量是多少每日 zm_fund.fundperformance 135W条数据假设7年 ZM_DW_ES.FUNDROLLSTATIS_JIXIAO 18亿数据基金数量统计 正常 公募私募尽调 331 7W 投后1W 模拟10W 总共18W实际 18W模拟无效34W 52W fundid层100W投后一万只基金朝阳43 W -- 朝阳库有误现在只有两三万聚源3W(2.9W)尽调1W脱敏模拟44W有效10W-----------------------------------------------fundid层共100W原始净值数据 2.5亿插补净值日频 4亿插补净值周频 1亿----------------------------------------------股:债:CTA:市场中性 12:4:2:12.模型设计怎么做的(数据分层怎么做的)基于对外输出标尺库的数据每类的评分数据 400w需要 有池子分类数据基金净值数据实体主要就是基金维度有策略分类和赛道分类初始ODS层进行数据同步fundinitcode然后 dwd层进行 基金每日绩效统计 和 基金时序的绩效统计然后DWS 基金在股票型池子的时序绩效评分然后 ADS 基金在股票型池子的时序的近系列的绩效评分(多行) 到 最终的大宽表(多列)ADS:股票多头总分评分表绩效质量评分表资产配置能力评分表场景应对能力评分表 alpha获取能力评分表TiDB 查询对外api服务sqoop 增量同步。ZM_DW_RANK.DW_FUND_SCORE_DAY_NORM_LONG 基金在股票型池子的时序的绩效评分 ZM_DW_RANK.DW_FUND_SCORE_DAY_NORM_STATISPERIOD_LONG 基金在股票型池子的时序的近系列绩效评分 hera985 a.statistic_date,a.statistic_period,a.rankconfigid,a.frequency,a.fund_id,a.zm_fund_id zm_dw_rank.t_fund_stock_performance hera1015 近系列绩效多行转多列 max(case a.statistic_date when 1 then a,daywinrate else NULL END) AS total_daywinrate ,--成立以来_对比基准胜率 zm_dw_rank.t_fund_stock_performance tidb 分区同步 set hive.exec.dynamic.partitiontrue; set hive.exec.dynamic.partition.modenonstrict; set hive.exec.max.dynamic.partitions2000; set hive.exec.max.dynamic.partitions.pernode400; set hive.optimize.sort.dynamic.partitiontrue; --SET hive.map.memory.mb10240; -- 设置Map任务的内存为2GB --SET hive.reduce.memory.mb20480; -- 设置Reduce任务的内存为2GB --SET hive.exec.reducers.bytes.per.reducer314572800 ;-- 300M 设置每个Reducer处理的数据量。虽然这是控制Reducer数量的参数 --但是通过调整它可以间接影响Map任务的数量因为Map和Reduce任务的数量通常是成比例的。 INSERT OVERWRITE TABLE zm_dw_rank.t_fund_stock_performance PARTITION(statistic_date) select fund_id, zm_fund_id, a.rankconfigid AS category_id, b.rankconfigname AS category_name, max(case a.statistic_period when 74 then a.daywinrate else NULL END) AS y5_daywinrate ,--近5年_对比基准胜率 max(case a.statistic_period when 2 then a.daywinrate else NULL END) AS year_daywinrate ,--今年以来_对比基准胜率 max(case a.statistic_period when 1 then a.daywinrate else NULL END) AS total_daywinrate ,--成立以来_对比基准胜率 1 is_valid ,--是否有效 current_date() create_time, --创建时间 a.statistic_date FROM zm_dw_rank.dw_fund_score_day_norm_statisperiod_long a LEFT JOIN zm_ods_flare_fund.ods_FundRankConfig b on a.rankconfigid b.rankconfigid WHERE statistic_period IN (1, 2, 3, 5, 6, 7, 8, 9, 74) and a.rankconfigid in (1660,1661,1662,1663,1664,1673) -- and a.zm_fund_id 1322647 -- and a.statistic_date 2024-12-22 GROUP BY A.fund_id,A.zm_fund_id,A.rankconfigid,b.rankconfigname,a.statistic_date ,1,current_date();基于什么需求做了什么业务有哪些表/字段ODS层数据从哪儿来DWD层数据怎么处理ADS层什么数据支撑哪些查询 (建模方法论)3.高频数据怎么做的4.有哪些主题域 有哪些实体 有哪些维度5.每日增量数据有多少6.缓慢变化维的应用7.拉链表的应用拉链表的增量/全量统计8.sqoop的同步效率9.sqoop的数据倾斜四、Python1.pandas如何处理大规模数据2.如何提高高并发3.协程 进程 线程4.Fast Api 和 Flask每日并发量40005.增量同步怎么做 全量同步怎么做6.Python 深拷贝 浅拷贝的使用场景7.Python瓶颈如何定位--------------------------------------------------------------pyinstrumentfrom pyinstrument import Profilerprofiler Profiler()profiler.start()ErrorCode,message service.get_updated_calculation(oldfundsyscode121739,fundsyscode10000063521,fundid10000072227,familytype2)profiler.stop()print(profiler.output_text(unicodeTrue, colorTrue))