.Net轻松处理亿级数据--ClickHouse数据操作

分类 : .NET技术

我不喜欢拿一堆数据的运行耗时来对比各个解决方案的性能等,有时候看一些测评长篇大论写耗时的一些对比,有时就差个 几百毫秒 我觉得也没啥必要,关键是好用就行,一切从简,我写博客也喜欢一切从简。
.Net操作Clickhouse的库比较少,大多数都是基于ClickHouse.ADO的一个封装,下面也主要介绍一下ClickHouse.ADO的使用,以及自己封装的一个库的使用。

前言

Clickhouse适用于大数据量分析,我的应用场景是每十秒从公交轨迹中取固定时间段数据分析一些情况,电脑配置就是普通的开发配置,总体数据轨迹量在3亿左右,处理的数据时间段在一天以内,取出的数据量在2.3万条左右。大家可以当个借鉴!
耗时

具体操作

一、简单的查询和新增以及批量新增(Clickhouse不推荐数据的编辑和删除此处就不再举例)

public class Demo
{
        private ClickHouseConnection GetConnection(string cstr= "Compress=True;CheckCompressedHash=False;Compressor=lz4;Host=ch-test.flippingbook.com;Port=9000;Database=default;User=andreya;Password=123")
        {
            var settings = new ClickHouseConnectionSettings(cstr);
            var cnn = new ClickHouseConnection(settings);
            cnn.Open();
            return cnn;
        }
        /*查询*/
        public void Select()
        {
            using (var cnn = GetConnection())
            {
                var reader = cnn.CreateCommand("SELECT * FROM test").ExecuteReader()
                ......省略
            }
        }
        /*增加*/
        public void Insert()
        {
            using (var cnn = GetConnection())
            {
                var cmd = cnn.CreateCommand("INSERT INTO test (date,x, arr)values ('2017-01-01',1,['a','b','c'])");
                cmd.ExecuteNonQuery();
            }
        }
        /*批量新增*/
        public void InsertBulk()
        {
            using (var cnn = GetConnection())
            {
                var cmd = cnn.CreateCommand("INSERT INTO test (date,x, values.name,values.value)values @bulk;");
                cmd.Parameters.Add(new ClickHouseParameter
                {
                    DbType = DbType.Object,
                    ParameterName = "bulk",
                    Value = new[]
                    {
                        new object[] {DateTime.Now, 1, new[] {"aaaa@bbb.com", "awdasdas"}, new[] {"dsdsds", "dsfdsds"}},
                        new object[] {DateTime.Now.AddHours(-1), 2, new string[0], new string[0]},
                    }
                });
                cmd.ExecuteNonQuery();
            }
        }
}


二、鉴于使用原始方法读取数据后转换的方式太麻烦,分页等也需要自己实现,所以写了一个帮助类,方便操作Clickhouse,点击跳转

帮助类
使用方式也很简单,如下:

public HistoryModel GetHistories(string busid, string begindt, string enddt)
        {
            using (var helper = new ClickHouseHelper())
            {
                try
                {
                    HistoryModel historyModel = new HistoryModel();
                    historyModel.Histories = helper .ExecuteList<HistoriesModel>($"select mile,speed,lon,lat,direct,termtime from its.gps_MergeTree where termtime >='{begindt}' and termtime<='{enddt}' and busid={busid} order by termtime");
                    historyModel.Inouts = helper .ExecuteList<InoutModel>($"SELECT * FROM its.inout_t WHERE Adtime>='{begindt}' and Adtime<='{enddt}' and Busid={busid} order by Recvtime");
                    //clickhouse中取出来的时间默认会有时区的问题,这里需要手动转下本地的时区
                    historyModel.Histories.ForEach(u => u.termtime = DateTime.Parse(u.termtime).ToLocalTime().ToString("yyyy-MM-dd HH:mm:ss"));
                    historyModel.Inouts.ForEach(u => u.Recvtime = u.Recvtime.ToLocalTime());
                    return historyModel;
                }
                catch (Exception e)
                {
                    ckhelper.Dispose();
                    Console.WriteLine(e);
                    throw;
                }
            }
        }

三、一些小问题记录

  1. 时区问题
    Clickhosue中取出来的时候会多8个小时,之前一度怀疑安装时服务器时区不对,但实际上都是正确的,只能手动将时间通过ToLocalTime转成本地时区

  2. 批量插数据
    批量插数据的时候如果传入一个List的话,对应的类需要增加GetEnumerator方法,就像这样

public class Demo
{
     public string obu { get; set; }
     public int busid { get; set; }
     public string buscode { get; set; }
     public IEnumerator GetEnumerator()
        {
            yield return obu;
            yield return busid;
            yield return buscode;
            .....
        }
}
分类: .NET技术  发布: 2019-07-10-星期三   访问() .NET技术    Web前端    JAVA开发    HTML基础    数据库    CSS基础    电脑知识   
CSS教程-web前端教程-免费教程
HTML教程-web前端教程-免费教程

分类

.NET技术 Web前端 JAVA开发 HTML基础 数据库 CSS基础 电脑知识

随机阅读

HTML如何引入CSS文件
怎么在html中调用css文件?
Windows 如何在cmd命令行中查看、修改、删除与添加环境变量
修改系统启动项 grub2配置的方法
【MySQL】漫谈MySQL体系结构
02-标识符,关键字和保留字
JavaScript中this指向问题
MYSQL性能优化之Mysql体系结构,存储引擎
《MySQL 性能优化》之理解 MySQL 体系结构
Python语法的使用和简介

最新

div css隐藏内容样式方法
OPPO Reno3 Pro远程守护怎么使用?
XP系统里让IE支持多线程下载怎么设置
qq电脑管家温度检测在哪设置的? QQ电脑管家怎么测电脑的温度
win7禁用ie浏览器方法 win7怎么把桌面的ie隐藏
WinXP笔记本声卡驱动无法成功安装的解决方法
XP⁄Win7共享⁄连接打印机设置详细 xp怎
华为笔记本蓝屏错误0xcoooo428怎么解决
企业如何部署微软Windows 8? Windows 8的开发历史
华为mate9怎样解指纹密码?

推荐阅读

c语言中break语句的作用
undefined是什么意思啊
vscode----vue中HTML代码tab键自动补全
前端该怎么学?推荐一个学习路线!
js 中日期 转换成时间戳 例如2013-08-30 转换为时间戳
.Net轻松处理亿级数据--ClickHouse数据操作
DIV CSS字体(font-family)实现字体样式设置
html5中datalist标签怎么用
Mysql里表示布尔型的类型是什么
Datalist options 集合,options语法,optio

Copyright © 2017 CSS5.NET教程.CSS5 内容仅用于学习和测试参考。 css5.net All Rights Reserved 蜀ICP备15003849号-16