首页 › 分类存档 › sqlite

提升SQLite数据插入效率低、速度慢的方法

前言

SQLite数据库由于其简单、灵活、轻量、开源,已经被越来越多的被应用到中小型应用中。甚至有人说,SQLite完全可以用来取代c语言中的文件读写操作。因此我最近编写有关遥感数据处理的程序的时候,也将SQLite引入进来,以提高数据的结构化程度,并且提高大数据的处理能力(SQLite最高支持2PB大小的数据)。但是最开始,我发现,直接使用SQL语句的插入效率简直低的令人发指的。后来不断查文档、查资料,才发现了一条快速的“数据插入”之路。本文就以插入数据为例,整合网上和资料书中的各种提高SQLite效率的方法,给出提高SQLite数据插入效率的完整方法。(大神们勿喷)

1 数据

我使用的电脑是Win7 64位系统,使用VC2010编译,SQLIte版本为3.7.15.2 ,电脑CPU为二代i3处理器,内存6G。
实验之前,先建立要插入数据的表:

2 慢速——最粗暴的方法

SQLite的API中直接执行SQL的函数是:

直接使用INSERT语句的字符串进行插入,程序部分代码(完整代码见后文),如下:
继续阅读 »

sqlite之我见–C/C++ API接口示例

在之前的两篇博文中,分别介绍了SQLITE的基础知识和操作,C/C++ 的一些常用API
sqlite之我见–简单介绍与基本操作
sqlite之我见–C/C++ API接口介绍 
本文中,我会给大家用几个小程序示例SQLITE C/C++ API的使用。
1.我们看下最简单的sqlite程序,通过sqlite3_open, sqlite3_exec, sqlite3_close来实现一个简单的数据库操作。

继续阅读 »

sqlite之我见–C/C++ API接口介绍

上一篇文章sqlite之我见–简单介绍与基本操作已经初步介绍了sqlite一些基本的知识与简单的操作,这里我们接着介绍最重要的部分,如何将sqlite用到我们的程序中。
1. 概论
sqlite3是为了满足以下需求而开发的
1)支持UTF-16编码
2)用户自定义的文本排序方法
3)可以对BLOBs字段建立索引

NOTE:sqlite3跟之前的版本数据库格式是不兼容的

最简单的程序可以用sqlite3_open(), sqlite3_exec(), sqlite3_close()3个接口来完成。
如果想更好地控制数据库引擎,可以用sqlite3_prepare()来把SQL语句编译成字节码,然后使用sqlite3_step()来执行编译后的字节码。以sqlite3_column_开头的一组API来获取查询结果集中的信息。

接下来我们先介绍一下SQLITE的一些常用API函数:

typedef struct sqlite3 sqlite3; //数据库连接对象
typedef struct sqlite3_stmt sqlite3_stmt; //预处理语句对象

继续阅读 »

sqlite之我见–简单介绍与基本操作

首先,看到此篇文章的人,肯定都对sqlite有所了解了,那些开场白之类的废话就不多写了,下面就简单的介绍sqlite的一些基本知识及简单操作,可能会有错漏的地方,欢迎批评指正,我也会不断学习并完善这篇文章

1.特性
1)ACID事物
2)零配置–无需安装与管理配置
3)储存在单一磁盘文件中的完整的数据库
4)数据库文件可以在不同字节顺序的机器间自由的共享
5)支持数据库文件大小至2TB
6)足够小,大致3w行C代码,250k
7)比一些流行的数据库在大部分普通数据库操作要快
8)简单,轻松的API
9)良好注释的源代码,并且有着90%以上的测试覆盖率
10)包含TCL绑定,可以通过wrapper支持其他语言的绑定
11)独立:没有额外依赖
12)Source完全的open,你可以用于任何用途,甚至出售
13)支持多种开发语言,C,PHP,Perl,JAVA,ASP.NET,Python

继续阅读 »

C++下使用加密版本SQLITE

SQLITE支持跨平台、跨语言,是做桌面产品比较合适的轻量级开源文件数据库,最新版本是3.7.15,下载位置:http://www.sqlite.org/sqlite-amalgamation-3071500.zip,非商业版本不提供加密功能,但有相应的第三方开源类库已经实现了加密功能。通常的方案是在C++下使用加密SQLITE库,.NET语言使用时进行封装,.NET下的SQLITE加密方式是不兼容的。
wxSQLite3除了封装SQLITE以外,还实现了一个SQLITE加密版本,wxSQLite3的最新版本是3.0.1,支持SQLITE 3.7.14.1。

首先下载wxSQLite3:http://sourceforge.net/projects/wxcode/files/Components/wxSQLite3/wxsqlite3-3.0.1.zip/download

解压后获取wxsqlite3-3.0.1\sqlite3\secure\src下所有文件。

新建C++ SDK DLL工程SQLITE3,加入预处理:
SQLITE_HAS_CODEC=1
CODEC_TYPE=CODEC_TYPE_AES128
SQLITE_CORE
THREADSAFE
SQLITE_SECURE_DELETE
SQLITE_SOUNDEX
SQLITE_ENABLE_COLUMN_METADATA

只把sqlite3secure.c包含在工程中,不使用预编译头。

在sqlite3.c及sqlite3secure.c文件头部加入:

#ifndef SQLITE_API
#define SQLITE_API __declspec(dllexport)
#endif

#ifndef SQLITE_HAS_CODEC
#define SQLITE_HAS_CODEC
#endif

在sqlite3.h头部加入(根据使用方法不同,此步骤并非必要):
#ifndef SQLITE_API
#define SQLITE_API __declspec(dllimport)
#endif

#ifndef SQLITE_HAS_CODEC
#define SQLITE_HAS_CODEC
#endif

使用方引用sqlite3.h及sqlite3.lib

VC2010中编译Sqlite3为静态库并带加密功能的方法.

废话不多说,直接贴出方法,目的在于请路过老鸟帮助测试一下功能是否全面,是否真正实现了加密(反正我用记事本打开生成的DB文件看不到写入记录的明文了)。

一、用开源的wxsqlite3(我用的版本是3.2.1.3)
1、到SQLite官网http://www.sqlite.org/下载sqlite-amalgamation-XXXXXX.zip(我下的版本是3.78)

,它已经包含了所有的源文件,也不需要另外的辅助工具了,解压到某一目录,如Sqlite3。
2、在VS2010里新建一个空工程,把所有文件放入工程内;
3、到http://wxcode.sourceforge.net/components/wxsqlite3下载wxsqlite3,然后把sqlite3secure.c

文件加入到工程即可;
4、在配置属性中设置配置类型为静态库(.Lib),添加预处理:
SQLITE_HAS_CODEC=1
CODEC_TYPE=CODEC_TYPE_AES128
SQLITE_CORE
THREADSAFE
SQLITE_SECURE_DELETE
SQLITE_SOUNDEX
SQLITE_ENABLE_COLUMN_METADATA
5、编译生成Lib文件。编译时如提示未找到某某文件,则从wxsqlite3的sqlite3\secure\src\codec-c目

录内拷贝相关文件至你的工程目录下再编译即可,具体要拷贝的文件有:
codec.c;codec.h;rijndael.c;rijndael.h;codecext.c

二、SQLite3的加密函数说明
sqlite3_key是输入密钥,如果数据库已加密必须先执行此函数并输入正确密钥才能进行操作,如果数据

库没有加密,执行此函数后进行数据库操作反而会出现“此数据库已加密或不是一个数据库文件”的错

误。
int sqlite3_key( sqlite3 *db, const void *pKey, int nKey),db 是指定数据库,pKey 是密钥,

nKey 是密钥长度。例:sqlite3_key( db, “abc”, 3);
sqlite3_rekey是变更密钥或给没有加密的数据库添加密钥或清空密钥,变更密钥或清空密钥前必须先正

确执行 sqlite3_key。在正确执行 sqlite3_rekey 之后在 sqlite3_close 关闭数据库之前可以正常操

作数据库,不需要再执行 sqlite3_key。
int sqlite3_rekey( sqlite3 *db, const void *pKey, int nKey),参数同上。
清空密钥为 sqlite3_rekey( db, NULL, 0)。
其实SQLite的两个加密函数使用起来非常的简单,下面分情况说明:
1、 给一个未加密的数据库添加密码:如果想要添加密码,则可以在打开数据库文件之后,关闭数据库

文件之前的任何时刻调用sqlite3_key函数即可,该函数有三个参数,其中第一个参数为数据库对象,第

二个参数是要设定的密码,第三个是密码的长度。例如:sqlite3_key(db,”1q2w3e4r”,8);        //给

数据库设定密码1q2w3e4r

注:如果数据库没有加密,执行此函数后进行数据库操作反而会出现“此数据库已加密或不是一个数据

库文件”的错误?经测试,只能在新建数据库时设置密码!
2、 读取一个加密数据库中的数据:完成这个任务依然十分简单,你只需要在打开数据库之后,再次调

用一下sqlite3_key函数即可,例如,但数据库密码是123456时,你只需要在代码中加入sqlite3_key

(db,”123456″,6);
3、 更改数据库密码:首先你需要使用当前的密码正确的打开数据库,之后你可以调用sqlite3_rekey

(db,”112233″,6) 来更改数据库密码。

4、删除密码:也就是把数据库恢复到明文状态。这时你仍然只需要调用sqlite3_rekey函数,并且把该

函数的第二个参数置为NULL或者””,或者把第三个参数设为0。

三、使用SQLITE3数据库在stdafx.h文件中加入的代码
#define SQLITE_HAS_CODEC 1
extern “C”
{
#include “sqlite3/sqlite3.h”
};
#ifdef _DEBUG
#pragma comment(lib, “sqlite3/Sqlite3EncryptionD.lib”)
#else
#pragma comment(lib, “sqlite3/Sqlite3Encryption.lib”)
#endif
/////////