首页 › 分类存档 › sqlite

提升SQLite数据插入效率低、速度慢的方法

第七根弦 2017 年 10 月 11 日 sqlite 0

前言

SQLite数据库由于其简单、灵活、轻量、开源，已经被越来越多的被应用到中小型应用中。甚至有人说，SQLite完全可以用来取代c语言中的文件读写操作。因此我最近编写有关遥感数据处理的程序的时候，也将SQLite引入进来，以提高数据的结构化程度，并且提高大数据的处理能力（SQLite最高支持2PB大小的数据）。但是最开始，我发现，直接使用SQL语句的插入效率简直低的令人发指的。后来不断查文档、查资料，才发现了一条快速的“数据插入”之路。本文就以插入数据为例，整合网上和资料书中的各种提高SQLite效率的方法，给出提高SQLite数据插入效率的完整方法。（大神们勿喷）

1 数据

我使用的电脑是Win7 64位系统，使用VC2010编译，SQLIte版本为3.7.15.2 ，电脑CPU为二代i3处理器，内存6G。
实验之前，先建立要插入数据的表:

MySQL
1
create table t1 (id integer , x integer , y integer， weight real)

2 慢速——最粗暴的方法

SQLite的API中直接执行SQL的函数是：

C++
1
int sqlite3_exec(sqlite3*, const char *sql, int (*callback)(void*,int,char**,char**) void *, char **errmsg)

直接使用INSERT语句的字符串进行插入，程序部分代码（完整代码见后文），如下：
继续阅读 »

sqlite之我见–C/C++ API接口示例

第七根弦 2016 年 12 月 21 日 sqlite 0

在之前的两篇博文中，分别介绍了SQLITE的基础知识和操作，C/C++ 的一些常用API
sqlite之我见–简单介绍与基本操作
sqlite之我见–C/C++ API接口介绍 
本文中，我会给大家用几个小程序示例SQLITE C/C++ API的使用。
1.我们看下最简单的sqlite程序，通过sqlite3_open， sqlite3_exec， sqlite3_close来实现一个简单的数据库操作。

继续阅读 »

sqlite之我见–C/C++ API接口介绍

第七根弦 2016 年 12 月 21 日 sqlite 0

上一篇文章sqlite之我见–简单介绍与基本操作已经初步介绍了sqlite一些基本的知识与简单的操作，这里我们接着介绍最重要的部分，如何将sqlite用到我们的程序中。
1. 概论
sqlite3是为了满足以下需求而开发的
1）支持UTF-16编码
2）用户自定义的文本排序方法
3）可以对BLOBs字段建立索引

NOTE:sqlite3跟之前的版本数据库格式是不兼容的

最简单的程序可以用sqlite3_open(), sqlite3_exec(), sqlite3_close()3个接口来完成。
如果想更好地控制数据库引擎，可以用sqlite3_prepare()来把SQL语句编译成字节码，然后使用sqlite3_step()来执行编译后的字节码。以sqlite3_column_开头的一组API来获取查询结果集中的信息。

接下来我们先介绍一下SQLITE的一些常用API函数：

typedef struct sqlite3 sqlite3; //数据库连接对象
typedef struct sqlite3_stmt sqlite3_stmt; //预处理语句对象

继续阅读 »

sqlite之我见–简单介绍与基本操作

第七根弦 2016 年 12 月 21 日 sqlite 0

首先，看到此篇文章的人，肯定都对sqlite有所了解了，那些开场白之类的废话就不多写了，下面就简单的介绍sqlite的一些基本知识及简单操作，可能会有错漏的地方，欢迎批评指正，我也会不断学习并完善这篇文章

1.特性
1）ACID事物
2）零配置–无需安装与管理配置
3）储存在单一磁盘文件中的完整的数据库
4）数据库文件可以在不同字节顺序的机器间自由的共享
5）支持数据库文件大小至2TB
6）足够小，大致3w行C代码，250k
7）比一些流行的数据库在大部分普通数据库操作要快
8）简单，轻松的API
9）良好注释的源代码，并且有着90%以上的测试覆盖率
10）包含TCL绑定，可以通过wrapper支持其他语言的绑定
11）独立：没有额外依赖
12）Source完全的open，你可以用于任何用途，甚至出售
13）支持多种开发语言，C,PHP,Perl,JAVA,ASP.NET,Python

继续阅读 »

C++下使用加密版本SQLITE

第七根弦 2014 年 4 月 1 日 sqlite 0

SQLITE支持跨平台、跨语言，是做桌面产品比较合适的轻量级开源文件数据库，最新版本是3.7.15，下载位置：http://www.sqlite.org/sqlite-amalgamation-3071500.zip，非商业版本不提供加密功能，但有相应的第三方开源类库已经实现了加密功能。通常的方案是在C++下使用加密SQLITE库，.NET语言使用时进行封装，.NET下的SQLITE加密方式是不兼容的。
wxSQLite3除了封装SQLITE以外，还实现了一个SQLITE加密版本，wxSQLite3的最新版本是3.0.1，支持SQLITE 3.7.14.1。

首先下载wxSQLite3：http://sourceforge.net/projects/wxcode/files/Components/wxSQLite3/wxsqlite3-3.0.1.zip/download

解压后获取wxsqlite3-3.0.1\sqlite3\secure\src下所有文件。

新建C++ SDK DLL工程SQLITE3，加入预处理：
SQLITE_HAS_CODEC=1
CODEC_TYPE=CODEC_TYPE_AES128
SQLITE_CORE
THREADSAFE
SQLITE_SECURE_DELETE
SQLITE_SOUNDEX
SQLITE_ENABLE_COLUMN_METADATA

只把sqlite3secure.c包含在工程中，不使用预编译头。

在sqlite3.c及sqlite3secure.c文件头部加入：

#ifndef SQLITE_API
#define SQLITE_API __declspec(dllexport)
#endif

#ifndef SQLITE_HAS_CODEC
#define SQLITE_HAS_CODEC
#endif

在sqlite3.h头部加入（根据使用方法不同，此步骤并非必要）：
#ifndef SQLITE_API
#define SQLITE_API __declspec(dllimport)
#endif

#ifndef SQLITE_HAS_CODEC
#define SQLITE_HAS_CODEC
#endif

使用方引用sqlite3.h及sqlite3.lib

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
int result = 0;
sqlite3 *db = NULL;
 
result = sqlite3_open("c:\test.db", &db);
result = sqlite3_key(db, "abcd", 3); //使用密码，第一次为设置密码
//result=sqlite3_rekey(db,NULL,0); //清空密码
result = sqlite3_exec(db, "PRAGMA synchronous = OFF", 0, 0, 0);    //提高性能
result = sqlite3_exec(db, "PRAGMA cache_size = 8000", 0, 0, 0); //加大缓存
result = sqlite3_exec(db, "PRAGMA count_changes = 1", 0, 0, 0); //返回改变记录数
result = sqlite3_exec(db, "PRAGMA case_sensitive_like = 1", 0, 0, 0); //支持中文LIKE查询
 
result = sqlite3_exec(db, "CREATE TABLE [MyTable] ([ID] INTEGER PRIMARY KEY NOT NULL,[MyText] TEXT NULL)", 0, 0, 0);
result = sqlite3_exec(db, "INSERT INTO MyTable (MyText) VALUES ('测试!')", 0, 0, 0);
 
result = sqlite3_close(db);

VC2010中编译Sqlite3为静态库并带加密功能的方法.

第七根弦 2014 年 3 月 3 日 sqlite 0

废话不多说，直接贴出方法，目的在于请路过老鸟帮助测试一下功能是否全面，是否真正实现了加密（反正我用记事本打开生成的DB文件看不到写入记录的明文了）。

一、用开源的wxsqlite3（我用的版本是3.2.1.3）
1、到SQLite官网http://www.sqlite.org/下载sqlite-amalgamation-XXXXXX.zip（我下的版本是3.78）

，它已经包含了所有的源文件，也不需要另外的辅助工具了，解压到某一目录，如Sqlite3。
2、在VS2010里新建一个空工程，把所有文件放入工程内；
3、到http://wxcode.sourceforge.net/components/wxsqlite3下载wxsqlite3，然后把sqlite3secure.c

文件加入到工程即可；
4、在配置属性中设置配置类型为静态库(.Lib)，添加预处理：
SQLITE_HAS_CODEC=1
CODEC_TYPE=CODEC_TYPE_AES128
SQLITE_CORE
THREADSAFE
SQLITE_SECURE_DELETE
SQLITE_SOUNDEX
SQLITE_ENABLE_COLUMN_METADATA
5、编译生成Lib文件。编译时如提示未找到某某文件，则从wxsqlite3的sqlite3\secure\src\codec-c目

录内拷贝相关文件至你的工程目录下再编译即可，具体要拷贝的文件有：
codec.c;codec.h;rijndael.c;rijndael.h;codecext.c

二、SQLite3的加密函数说明
sqlite3_key是输入密钥，如果数据库已加密必须先执行此函数并输入正确密钥才能进行操作，如果数据

库没有加密，执行此函数后进行数据库操作反而会出现“此数据库已加密或不是一个数据库文件”的错

误。
int sqlite3_key( sqlite3 *db, const void *pKey, int nKey)，db 是指定数据库，pKey 是密钥，

nKey 是密钥长度。例：sqlite3_key( db, “abc”, 3);
sqlite3_rekey是变更密钥或给没有加密的数据库添加密钥或清空密钥，变更密钥或清空密钥前必须先正

确执行 sqlite3_key。在正确执行 sqlite3_rekey 之后在 sqlite3_close 关闭数据库之前可以正常操

作数据库，不需要再执行 sqlite3_key。
int sqlite3_rekey( sqlite3 *db, const void *pKey, int nKey)，参数同上。
清空密钥为 sqlite3_rekey( db, NULL, 0)。
其实SQLite的两个加密函数使用起来非常的简单，下面分情况说明：
1、 给一个未加密的数据库添加密码：如果想要添加密码，则可以在打开数据库文件之后，关闭数据库

文件之前的任何时刻调用sqlite3_key函数即可，该函数有三个参数，其中第一个参数为数据库对象，第

二个参数是要设定的密码，第三个是密码的长度。例如：sqlite3_key(db,”1q2w3e4r”,8);        //给

数据库设定密码1q2w3e4r

注：如果数据库没有加密，执行此函数后进行数据库操作反而会出现“此数据库已加密或不是一个数据

库文件”的错误？经测试，只能在新建数据库时设置密码！
2、 读取一个加密数据库中的数据：完成这个任务依然十分简单，你只需要在打开数据库之后，再次调

用一下sqlite3_key函数即可，例如，但数据库密码是123456时，你只需要在代码中加入sqlite3_key

(db,”123456″,6);
3、 更改数据库密码：首先你需要使用当前的密码正确的打开数据库，之后你可以调用sqlite3_rekey

(db,”112233″,6) 来更改数据库密码。

4、删除密码：也就是把数据库恢复到明文状态。这时你仍然只需要调用sqlite3_rekey函数，并且把该

函数的第二个参数置为NULL或者””,或者把第三个参数设为0。

三、使用SQLITE3数据库在stdafx.h文件中加入的代码
#define SQLITE_HAS_CODEC 1
extern “C”
{
#include “sqlite3/sqlite3.h”
};
#ifdef _DEBUG
#pragma comment(lib, “sqlite3/Sqlite3EncryptionD.lib”)
#else
#pragma comment(lib, “sqlite3/Sqlite3Encryption.lib”)
#endif
/////////