如何使用机器学习算法识别URL中的新模式（文本挖掘）

1 回答

• 0

  我会采取以下方式 . 您可以创建下表：

  URL
  time
  time_month -- time rounded to month, for demonstration purpose
  q_bol   -- boolean flag whether question parameter was used
  q       -- question parameter value
  lan     -- language parameter value
  lan_bol -- boolean flag whether language parameter was used
  pr      -- partner parameter value
  pr_bol  -- boolean flag whether partner parameter was used
  br      -- browser parameter value
  br_bol  -- boolean flag whether browse parameter was used
  

  现在，您可以编写一些查询 .

  with t as (
  select 
    time_month,
    q_bol, lan_bol, pr_bol, br_bol, count(*)
  from
    urldata
  where
    time_month > '2013-02-01'::date and time_month < '2013-04-01'::date -- last two months data
  group by 
    time_month
  )
  
  , u as (
  select
  *,
  t2-coalesce(t1,0) as abs_change, -- change in pattern MoM,
  case when t1 is null then 0 else t2/t1 end as relchange  -- relative change
  from
  t t1 full outer join t t2 using (q_bol, lan_bol, pr_bol, br_bol)
  ) 
  
  select * from u where abs_change > 5000 or relchange > 3
  

  上面的查询为您提供了参数模式，其中月份变化超过5000个月或月度变化超过300％ . 如果你可以在你的sql系统中使用 group by rollup 它也会提供更高级别的聚合（三个参数的组合，两个参数，一个参数） .

  您可以使用参数值执行相同的操作 . 因为您不知道值将包含哪些令牌，您可以在以下表结构中解析URL：

  -- urls
  id_url
  url
  time
  
  -- parameters
  id_url
  token
  value
  

  然后，您需要以某种方式重写上面的查询，例如你可以在PostgreSQL array_agg() 中使用数组聚合函数 .

  回复于 2024-04-29T13:08:05+08:00