在 Python 中，我有以下內容可以在不使用文件的情況下將行批量加載到 Postgresql：import csvimport subprocessmylist, keys = [{'name': 'fred'}, {'name': 'mary'}], ['name']p = subprocess.Popen(['psql', 'mydb', '-U', 'openupitsme', '-h', 'my.ip.address', '--no-password', '-c', '\COPY tester(%s) FROM STDIN (FORMAT CSV)' % ', '.join(keys), '--set=ON_ERROR_STOP=false' ], stdin=subprocess.PIPE)for d in mylist: dict_writer = csv.DictWriter(p.stdin, keys, quoting=csv.QUOTE_MINIMAL) dict_writer.writerow(d)p.stdin.close()我試圖在 Go 中完成同樣的事情。我目前正在將行寫入文件，然后導入它們，然后刪除該文件。我想像在 Python 中一樣從 STDIN 導入行。我有：package mainimport ( "database/sql" "log" "os" "os/exec" _ "github.com/lib/pq")var ( err error db *sql.DB)func main() { var err error fh := "/path/to/my/file.txt" f, err := os.Create(fh) if err != nil { panic(err) } defer f.Close() defer os.Remove(fh) rows := []string{"fred", "mary"} for _, n := range rows { _, err = f.WriteString(n + "\n") if err != nil { panic(err) } } // dump to postgresql c := exec.Command("psql", "mydb", "-U", "openupitsme", "-h", "my.ip.address", "--no-password", "-c", `\COPY tester(customer) FROM `+fh) if out, err := c.CombinedOutput(); err != nil { log.Println(string(out), err) }}
2 回答
搖曳的薔薇
TA貢獻1793條經驗 獲得超6個贊
該github.com/lib/pq包的文檔實際上有一個例子，如何做你想做的。這是整個程序的改編文本：
package main
import (
"database/sql"
"log"
"github.com/lib/pq"
)
func main() {
records := [][]string{
{"Rob", "Pike"},
{"Ken", "Thompson"},
{"Robert", "Griesemer"},
}
db, err := sql.Open("postgres", "dbname=postgres user=postgres password=postgres")
if err != nil {
log.Fatalf("open: %v", err)
}
if err = db.Ping(); err != nil {
log.Fatalf("open ping: %v", err)
}
defer db.Close()
txn, err := db.Begin()
if err != nil {
log.Fatalf("begin: %v", err)
}
stmt, err := txn.Prepare(pq.CopyIn("test", "first_name", "last_name"))
if err != nil {
log.Fatalf("prepare: %v", err)
}
for _, r := range records {
_, err = stmt.Exec(r[0], r[1])
if err != nil {
log.Fatalf("exec: %v", err)
}
}
_, err = stmt.Exec()
if err != nil {
log.Fatalf("exec: %v", err)
}
err = stmt.Close()
if err != nil {
log.Fatalf("stmt close: %v", err)
}
err = txn.Commit()
if err != nil {
log.Fatalf("commit: %v", err)
}
}
在我的機器上，這會在大約 2 秒內導入 1 000 000 條記錄。
DIEA
TA貢獻1820條經驗 獲得超2個贊
下面的代碼應該指向你想要去的方向：
package main
import (
"fmt"
"log"
"os"
"os/exec"
"strings"
)
func main() {
keys := []string{"customer"}
sqlCmd := fmt.Sprintf("COPY tester(%s) FROM STDIN (FORMAT CSV)", strings.Join(keys, ","))
cmd := exec.Command("psql", "<dbname>", "-U", "<username>", "-h", "<host_ip>", "--no-password", "-c", sqlCmd)
cmd.Stdin = os.Stdin
output, _ := cmd.CombinedOutput()
log.Println(string(output))
}
如果密鑰需要是動態的，您可以從os.Args.
請注意，如果您打算使用 psql 命令，那么您不需要導入 database/sql 或 lib/pq。如果您對使用 lib/pq 感興趣，請查看lib/pq 文檔中的批量導入。
- 2 回答
- 0 關注
- 216 瀏覽
添加回答
舉報
0/150
提交
取消